Noindex چیست؟ تأثیر و نحوه استفاده کردن از آن

مدت زمان مطالعه این مقاله 7 دقیقه

تگ Noindex یکی از تگ‌های مهم در زمینه سئو است. اگر تگ نو ایندکس به درستی استفاده شود باعث بهتر شدن بهینه سازی یک سایت خواهد شد.

ما در این مقاله می‌خواهیم تگ نو ایندکس و نحوه Noindex کردن صفحات و همچنین تأثیر آن در سئو را برای شما توضیح دهیم، پس تا پایان مقاله همراه ما باشید.

تگ Noindex

Noidex مقداری است که می‌تواند در متا تگ Robots در کد HTML یک سایت استفاده شود؛ تگ Noindex باعث می‌شود، زمانی که موتورهای جستجو با مقدار Noidex در برچسب‌های متا یک صفحه برخورد کردند، تنها آن صفحه بررسی ‌شود و دیگر در فهرست موتورهای جستجو برای کاربران نمایش داده نمی‌شود.

همتای Noindex نمایه (Index) است که به صراحت اجازه نمایه سازی صفحات را به موتورهای جستجو می‌دهد.

بسیاری از صاحبان و دارندگان سایت‌ها، برای اینکه صفحات‌شان در نتایج جستجوی گوگل رتبه خوبی کسب کند، تلاش زیادی می‌کنند و برای انجام این کار نیاز است که تمام صفحات آن‌ها نمایه (Index) شوند.

شاید برای شما هم سوال باشد که تفاوت Noindex و Nofollow در چیست؟

در پاسخ به این سوال باید بگوییم که تگ نو ایندکس، برای این که یک صفحه ای از سایت مورد بررسی قرار نگیرد و به کاربر نمایش داده نشود، مورد استفاده قرار می‌گیرد و در برخی موارد از کاهش بازدید سایت جلوگیری می‌کند.

Nofollow به موتورهای جستجو می‌گوید که نباید لینک مورد نظر را دنبال کنند؛ به همین ترتیب، برخی از لینک‌هایی که در صفحه وجود دارد، گاهی اوقات توسط Google دنبال نمی‌شوند. چرا که ممکن است آن‌ها به سایت‌های اسپمی یا بی‌کیفیت منجر شوند و می‌توانند به رتبه بندی سایت شما آسیب برسانند.

نمایه سازی هرچه بیشتر صفحات، برای افزایش اعتبار در نتایج جستجو همیشه گزینه ی خوبی نیست؛ با Noindex کردن صفحات می‌توانید تصمیم بگیرید که آیا یک صفحه خاص باید در فهرست موتورهای جستجو گنجانده شود یا خیر. بنابراین نو ایندکس وسیله خوبی برای کنترل نمایه سازی تمام صفحات داخل یک سایت به صورت جداگانه و با کمترین تلاش است.

ممکن است، صفحات بی کیفیت تولید شوند یا این که صفحات تکراری در یک سایت وجود داشته باشد، ما کاری با این که این صفحات چرا و به چه دلیلی ایجاد می‌شوند نداریم، زیرا برای ایجاد محتوا و حتی پیاده سازی یک سایت، استفاده از تکنیک‌های سئو حائز اهمیت است؛ بنابراین، نو ایندکس ابزار مهمی برای بهینه سازی موتور جستجو (SEO) است.

گوگل همیشه از یک دستورالعمل Noindex پیروی می‌کند، در حالی که از وظیفه اصلی ربات‌های گوگل ایندکس کردن صفحات (بررسی صفحات) است.

کارایی Noindex

با کمک نو ایندکس می‌توانید صفحاتی را از فهرست موتورهای جستجو حذف کنید که ارزش کمی را دارند. Noindex کردن صفحات یک سایت شامل، نقشه های سایت یا نتایج عملکرد جستجوی داخلی سایت است.

همچنین برای صفحات با محتوای تکراری، مشابه یا صفحه بندی شده، تگ نو ایندکس نقش بسزایی را خواهد داشت؛ به عنوان مثال اگر شما دو محتوای مشابهی را داشته باشید، این کار باعث خواهد شد تا ربات‌های گوگل در ایندکس کردن صفحات شما دچار سردرگمی شوند و رتبه بندی سایت شما در نتایج گوگل کاهش پیدا کند. برای پیشگیری از این کاهش می‌توانید با استفاده از تگ نو ایندکس، از نمایه شدن یکی از محتواها جلوگیری کنید.

بنابراین، شما همیشه باید از یک برچسب متعارف برای محتوای تکراری استفاده کنید، زیرا این برچسب ارزش لینک صفحات آسیب دیده را به URL اعلام می‌کند و همزمان به Google Bot سیگنال می‌دهد که کدام صفحه در فهرست قرار گیرد.

یکی دیگر از موارد استفاده Noindex، صفحه بندی است که برای متن‌های طولانی یا سری تصاویر استفاده می‌شود، البته این را هم باید در نظر داشته باشید که  زیاد حذف کردن صفحه بندی‌ها، باعث از دست رفتن ترافیک می‌شود و همچنین تأثیر منفی را بر سئو سایت خواهد گذاشت.

نحوه اجرای نو ایندکس

یکی از راه حل‌ها، برای حذف یک صفحه خاص از فهرست بندی، افزودن نو ایندکس به متا تگ ربات‌ها در فراداده های صفحه ی مورد نظر است. این متا تگ شامل دستورالعمل‌هایی برای خزنده های Google و سایر موتورهای جستجو است.

برای حذف یک صفحه از فهرست موتور جستجو، باید برچسب زیر را در کد اصلی HTML قرار دهید:

<“meta name = “robots” content = “noindex>

به جای اینکه از روش‌های مختلفی برای نو ایندکس کردن، صفحات توسط خزنده ‌ها استفاده کنید، می‌توانید با متا تگ بالا به موتور جستجو اعلام کنید که صفحه یا محتوای مورد نظر را ایندکس نکند؛ به عنوان مثال، اگر می‌خواهید از نمایه سازی یک صفحه ی خاص (صفحه ی مورد نظر) توسط Google Bot جلوگیری کنید، نام و مقدار مشخصه را با “Google Bot” جایگزین کنید.

متناوباً می‌توانید، دستورالعمل نو ایندکس را از طریق فیلدی در هدر پاسخ HTTP پیاده سازی کنید. برای این منظور، باید کد زیر را به هدر پاسخ HTTP خود اضافه کنید:

X-Robots-Tag: noindex

البته این یکی از روش‌های Noindex کردن صفحات است، که در ادامه مقاله درباره آن توضیح می‌دهیم.

ترکیب نو ایندکس با Follow یا Nofollow

حال در ادامه ی موضوع Noindex کردن صفحات، می‌خواهیم ببینیم که آیا می‌شود تگ نو ایندکس را همزمان با Nofollow و Follow استفاده کرد یا خیر.

به صورت اختیاری، می‌توانید دستورالعمل نو ایندکس را با مقادیر “Follow” یا “Nofollow” ترکیب کنید. این‌ها به ربات‌های جستجو می‌گویند، که چگونه می‌توانند لینک‌ها را در صفحه ای که فهرست بندی نشده اند مدیریت کنند.

این ترکیب دستورالعمل، اغلب برای نقشه سایت HTML استفاده می‌شود. نمایه سازی نقشه سایت HTML به ندرت منطقی است، اما از نظر SEO، نقشه سایت ارزشمند است، زیرا گوگل و سایر موتورهای جستجو فقط در چند مرحله می‌توانند به همه ی زیرمجموعه های یک سایت دسترسی پیدا کنند.

تگ Nofolow همانند تگ نو ایندکس در کد HTML استفاده می‌شود. منظور ما از Nofollow در این مقاله این است که لینک‌های داخلی یک صفحه توسط موتورهای جستجو دنبال نشوند.

دستورالعمل Nofollow در مقابل Follow تضمین می‌کند که خزنده ها، لینک‌های داخلی یک صفحه را ارزیابی نکنند.

تفاوت در دستورالعمل “عدم اجازه” در فایل robots.txt

با استفاده از دستورالعمل عدم اجازه در یک پرونده robots.txt می‌توانید به ربات‌های جستجو بگویید که مناطق تعریف شده در یک صفحه را ایندکس (بررسی) نکنند.

این دستور به عنوان مثال، برای پرونده هایی مانند تصاویر در پایگاه داده ی بزرگ، به منظور صرفه جویی در بودجه خزیدن با ارزش در SEO استفاده می‌شود، اما اگر می‌خواهید محتوای خاصی ایندکس نشود، نباید از این دستورالعمل استفاده کنید.

بودجه خزش: تعداد سایت‌هایی است که توسط  ربات گوگل در یک زمان مشخص ایندکس می‌شوند.

سعی کنید که Noindex را با Nofollow و Follow همزمان استفاده نکنید، زیرا خزنده ها هنگام فهرست کردن یک سایت، همیشه پرونده robots.txt را فراخوانی می‌کنند و در ابتدا متوجه دستورالعمل عدم اجازه می‌شوند و در نتیجه از خزیدن در زیرصفحه های مربوطه خودداری می‌کنند.

نتیجه ی این امر این است که آن‌ها نمی‌توانند دستورالعمل‌های نو ایندکس احتمالی را در این صفحات مشاهده کنند و اگر از طریق بک لینک به هم لینک خورده باشند، هنوز زیر مجموعه ها را نیز در فهرست قرار می‌دهند.

اگر نمی‌خواهید صفحه خاصی در فهرست موتورهای جستجو گنجانده شود، در این صورت فقط باید از نو ایندکس استفاده کنید؛ البته ممکن است موارد مختلفی وجود داشته باشد، که شما نیاز به حذف برخی از صفحات، از فهرست شدن توسط Google را داشته باشید.

در اینجا ما دو دلیل اصلی برای محافظت از صفحات یک سایت در برابر نمایه سازی گوگل را برای شما نام برده ایم، از جمله:

1. از محتوای تکراری جلوگیری کنید

بخشی از محتوای شما ممکن است چندین بار با نسخه های مختلف نشان داده شود، همانطور که گفته شد در این صورت ربات‌های گوگل دچار سردرگمی خواهند شد و  نتیجه این کار باعث می‌شود علاوه بر جریمه گوگل، رتبه ی سایت مورد نظر نیز به شدت کاهش یابد؛ پس سعی کنید که محتوای تکراری ایجاد نکنید.

2. از محتوای محرمانه محافظت کنید

برخی از صفحات شما که حاوی منابع و محصولات مهم هستند نباید به صورت عمومی در صفحات جستجوی Google پیدا و بارگیری شوند. مهم است که آن‌ها را از چشم گوگل دور نگه دارید.

نحوه نو ایندکس کردن صفحات

در این قسمت ما می‌خواهیم 4 روش برای Noindex کردن صفحات یک سایت را برای شما شرح دهیم، پس همچنان در ادامه این مقاله همراه ما باشید.

از متا تگ “بدون فهرست” استفاده کنید، این برچسب به بخش اصلی HTML، صفحه ای را اضافه می‌کند که به موتورهای جستجو می‌گوید صفحه شما را ایندکس نکنند. به عنوان مثال متا تگ robots را در بخش <head> صفحه ی داده شده قرار دهید:

<! DOCTYPE html>

<html> <head>

<“meta name = “robots” content = “noindex>

()

<head/>

<body> (…) </body>

<html/>

اگر می‌خواهید صفحات شما توسط یک خزنده خاص، فاقد لینک باشند می‌توانید از کد زیر استفاده کنید:

به عنوان مثال، برچسب Google را به صورت زیر به روز کنید:

<“meta name = “googlebot” content = “noindex>

این برچسب، ربات گوگل را راهنمایی می‌کند تا صفحه را در نتایج جستجو گوگل نشان ندهد، اما با این حال هنوز در SERP موتورهای جستجو دیگر مانند Bing یا Ask.com ظاهر می‌شود.

امکان استفاده همزمان از چندین ربات متا تگ وجود دارد، به این صورت که:

<“meta name = “googlebot” content = “noindex>

<“meta name = “googlebot-news” content = “nosnippet>

از X-Robots-Tag HTTP استفاده کنید

X-Robots-Tag می‌تواند به عنوان عاملی برای پاسخ هدر HTTP استفاده شود. با این کار به ربات‌های گوگل (خزنده ها) دستور داده می‌شود تا صفحه ای را فهرست نکنند.

در HTML صفحات خود از پرونده Robots.txt استفاده کنید و می‌توانید آن‌را از طریق سرویس گیرنده FPT یا “File Manager” در CPanel میزبان وردپرس خود ویرایش کنید، بیشتر سئو کاران با استفاده از این فایل می‌توانند از ایندکس شدن چندین صفحه جلوگیری کنند.

با استفاده از فایل Robot.txt می‌شود از ایندکس شدن صفحاتی مانند موارد زیر جلوگیری کرد:

• صفحات تکراری
• صفحات چت
• صفحات پروفایل کاربران
• صفحات از خرید شما سپاسگذارم

البته صفحات زیاد دیگری هم هستند که با فایل Robot.txt می‌توان از ایندکس شدن آن‌ها جلوگیری کرد.

فایل‌های Robot.txt، با دستورالعمل‌هایی، به موتورهای جستجو نحوه ایندکس کردن یک صفحه از سایت را نشان می‌دهند اما ربات‌های متا، دستورالعمل‌های محکم و قوی‌تری را به موتورهای جستجو در نحوه ایندکس کردن (حزیدن) محتوای یک صفحه  نشان می‌دهند.

استفاده از افزونه Yoast SEO

استفاده از افزونه Yoast SEO در وردپرس یکی از ساده‌ترین روش‌های Noindex کردن صفحات است. برخی از افزونه ها به شما کمک می‌کنند صفحات نو ایندکس را ایجاد کنید، از جمله:

• Yoast SEO
• Protect WordPress Pages
• Posts

در ادامه نحوه استفاده از Yoast SEO برای Noindex کردن صفحات را برای شما توضیح می‌دهیم.

ابتدا باید در آدرس و صفحه وردپرسی خود افزونه Yoast SEO را نصب و فعال نمایید و پس از نصب و فعال سازی افزونه، مراحل زیر را دنبال کنید:

ابتدا از داشبورد وردپرس خود به پست یا صفحه ای که می‌خواهید ایندکس نشود، دسترسی پیدا کنید و به دنبال متا باکس Yoast SEO بگردید، حال روی Advanced کلیک کنید (مانند تصویر زیر).

در ادامه چندین گزینه برای شما ظاهر می‌شود (همانند تصویر زیر)، مورد اول به شما اجازه می‌دهد تا موتورهای جستجو صفحه شما را در نتایج جستجو نشان ندهند و مورد دوم موتورهای جستجو را از پیگری لینک‌های صفحه شما بازمی‌دارد.

نتیجه گیری

با توجه به مطالبی که در این مقاله درباره ی Noindex کردن صفحات گفته شد، این را هم در نظر داشته باشید برای این که سایت‌ شما به بهترین نحو بهینه شود باید تمام صفحات سایت‌تان ایندکس شوند تا رتبه بهتری را در نتایج گوگل کسب کند.

نکته ای که باید به آن توجه کنید این است که بعضی اوقات احتیاج داریم که از تگ نو ایندکس استفاده کنیم تا از کاهش رتبه سایت جلوگیری کنیم.

آیا شما هم از تگ Noindex در سایت خود استفاده کرده اید، چقدر در بهبود SEO سایت‌تان موثر بوده است؟
سوالات و دیدگاه های خود را با ما در این زمینه در میان بگذارید.

منابع

seobility

en.ryte

searchenginejournal