ربات‌های گوگل (Google Bots) چگونه کار می‌کنند؟

مدت زمان مطالعه این مقاله 7 دقیقه

آیا سایت شما برای ربات‌های گوگل رضایت بخش است؟ در این مقاله نحوه کار ربات‌های گوگل و 10 نکته بهینه سازی وجود دارد که می‌تواند به شما کمک کند، ترافیک طبیعی بیشتری را بدست آورید.

Google Bot چیست و چگونه بر رتبه بندی جستجوی Google تأثیر می‌گذارد؟

قبل از اینکه وارد دنیای پیچیده ی بهینه سازی موتورهای جستجو شویم، باید با برخی اصطلاحات آشنا باشید.

احتمالاً نام ربات‌های گوگل را شنیده اید، اما آیا می‌دانید آن‌ها چه چیزی هستند؟ به زبان ساده، Google Bot رباتی است که برای خزیدن در صفحات وب از طریق لینک‌ها طراحی شده است. از یک صفحه به صفحه دیگر می‌رود و هر لینکی را بررسی می‌کند تا پایگاه داده گوگل را به روز نگه دارد.

آیا می‌دانید خزیدن چیست؟ خزیدن فرآیندی است که در آن، موتورهای جستجو تیمی از عنکبوت‌ها یا خزنده ‌ها را برای یافتن هرگونه محتوای تازه منتشر شده، ارسال می‌کنند.

این فرآیند به Google امکان می‌دهد فقط در یک ثانیه بیش از 1 میلیون گیگابایت داده جمع‌آوری کند. برای درک کامل این فرآیند، باید بدانید که موتورهای جستجو چگونه کار می‌کنند.

بیایید با برخی ازاین اصطلاحات آشنا شویم:

خزیدن: کاوش کردن Google Bot در اینترنت و یافتن محتوای منتشر شده برای هر URL ای که پیدا می‌کنند.

فهرست یا ایندکس کردن: سازماندهیِ محتوایی را که در طی روند خزیدن، یافت می‌شود.

رتبه بندی یا Rank: نمایش محتوایی که هر زمان، کاربری درباره ی موضوع خاصی جستجو می‌کند، بهترین پاسخ (نتایج) را نشان دهد.

ربات‌های گوگل از یک لینک به لینک دیگر می‌روند، URL‌های جدید را کشف می‌کنند و از طریق JavaScript از لینک‌های تصویر، نوارهای ورودی و لینک‌های مخفی استفاده می‌کنند.

بنابراین، موتورهای جستجو محتوای شما را به همراه موضوع و ارزش آن پیدا می‌کنند. داشتن یک استراتژی مناسب در زمینه SEO به این معنی است که سایت شما از ساختار خوب، سرعت بارگیری مناسب و محتوای مناسب برخوردار است. در اینجا چند نکته مهم در مورد SEO وجود دارد که کار Google Bot را بسیار ساده تر می‌کند:

• اطمینان حاصل کنید که سایت شما برای موتورهای جستجو قابل مشاهده است.
• از لینک‌های “No-Follow” در سایت خود استفاده نکنید.
• برای سایت خود یک Sitemap سازمان یافته ایجاد کنید، بنابراین، Google Bot می‌تواند محتوای شما را به راحتی درک کرده و آن را مرور کند.
• برای یافتن خطاهای خزنده های گوگل، می‌توانید از Search Console Google استفاده کنید. این کنسول شما را راهنمایی می‌کند که چگونه این خطاها را برطرف کنید.

خزنده ی سایت چیست؟

قابلیت خزیدن اساساً به میزان دسترسی Google Bot به سایت شما بستگی دارد که این موضوع به عملکرد شما در SERP بستگی دارد. باید بدانید که Google با جادو سایت شما را پیدا نمی‌کند.

خزنده ‌ها از صفحه ای به صفحه ی دیگر سفر می‌کنند و با جستجوی کلمات کلیدی مناسب و عبارات مربوطه، فهرست ایجاد می‌کنند.

اکنون می‌پرسید، چگونه کاری کنم تا ربات‌های گوگل سایت من را جستجو کنند؟

شما باید سایت خود را برای خزیدن Google Bot بهینه کنید، بنابراین باید این نکات را در نظر بگیرید:

• باید بدانید که برای Google Bot سخت است که برخی از سایت‌ها را با استفاده از Ajax و JavaScript جستجو کند. بنابراین، محتوای شما باید به راحتی در یک Text Browser نمایش داده شود.
• معمولاً برخی سایت‌ها، چندین URL برای یک صفحه دارند، اما ربات گوگل می‌تواند آن‌ها را شناسایی کند. با این حال، گاهی اوقات، صفحات تکراری با چندین URL می‌توانند گیج کننده باشند و باعث کاهش خزیدن ربات‌های گوگل شوند.
• URL‌های غیر مهم را مسدود کنید. از فایل Robots.txt یا برچسب‌های متا ربات استفاده کنید، تا به ربات‌های گوگل کمک کنید ساختار سایت شما را بفهمند.
• استفاده از لینک‌های داخلی باعث می‌شود خزنده ‌های گوگل بیشتر سایت شما را مورد بررسی قرار دهد. هرگز سایت خود را به صفحات یا محصولات بی ربط لینک نکنید.
• سایت مپ برای هدایت Google Bot به سایت شما مفید است. با استفاده از سایت مپ، وب سایت شما به راحتی و با سرعت بیشتری ایندکس می‌شود.
• برای کمک به Google Bot بک لینک‌های قدرتمند بسازید.

Google Search Console اصلی ترین ابزار جستجوی سایت

Search Console یکی از کارآمدترین ابزارهایی است که می‌توانید با استفاده از آن قابلیت خزیده شدن در سایت خود توسط ربات‌های گوگل را بررسی کنید.

سرویس رایگان Google را امتحان کنید و سایت خود را در نتایج جستجو بررسی کنید. شما می‌توانید سایت خود را عیب یابی کنید، خطاها را پیدا کنید، بک لینک‌ها را مشاهده کنید، نقشه سایت ایجاد کنید و موارد دیگر. با گوگل سرچ کنسول، می‌توانید SEO خود را بهینه کرده و ترافیک طبیعی سایت خود را بهبود ببخشید.

گوگل سرچ کنسول می‌تواند به شما کمک کند کلمات کلیدی خود را با اندازه گیری میزان جستجوی ماهانه آن‌ها افزایش دهید.

بر این اساس، شما می‌دانید که کلمات کلیدی شما چقدر قدرتمند هستند و چه کلماتی را باید در آینده تغییر دهید یا بهینه کنید. یکی دیگر از معیارهای مهم، کنسول جستجوی گوگل این است که نشان می‌دهد کدام عناوین بیشترین تعداد بک لینک را دارند.

سایر ابزارهای Google Crawling

به گفته گوگل، همه ی سایت‌های موجود در اینترنت توسط Google Bot Desktop، یا ربات‌های اسمارت فون خزیده می‌شوند. Google Bot خزنده ی اصلی Google است، با این وجود گوگل 16 ربات موثر دیگر مانند: ربات‌های Images، ربات‌های News Ads Bot و ربات‌های Videos دارد. جدا از ابزارهای خزنده Google، خزنده ‌های دیگر وب عبارتند از:

• Bing Bot
• ربات Slurp
• DuckDuck Bot
• یاهو
• ربات Yandex
• Sogou Bot
• خزنده ی الکسا

چرا باید مثل ربات‌های گوگل فکر کنیم؟

گوگل همیشه به ما می‌گوید یک سایت عالی درست کنید.

اگر می‌توانید با سایتتان رضایت کاربران را جلب کنید، پس می‌توانید رضایت ربات‌های گوگل را نیز جلب کنید، بنابراین ترافیک بیشتری کسب خواهید کرد.

تجربه ی کاربر در مقابل تجربه ی خزنده

هنگام ایجاد یک سایت، به دنبال جلب رضایت چه کسانی هستید؟ کاربران یا ربات‌های گوگل؟

پاسخ کوتاه : هر دو!

پاسخ طولانی: طراحان UX معمولاً بیشتر به دنبال جلب رضایت کاربران اند، در حالی که متخصصان سئو به دنبال جلب رضایت گوگل هستند و در این بین، توسعه دهندگان وب سعی در ایجاد ارائه بهترین، از هر دو حالت را دارند.

شما نیز به عنوان متخصصان سئو، باید اهمیت هر یک را بدانید.

بله، ما باید بهترین تجربه ی کاربری را ارائه دهیم. همچنین باید سایت‌ خود را برای ربات‌های گوگل (و سایر موتورهای جستجو) بهینه کنیم.

خوشبختانه، Google بسیار کاربر محور است. اکثر تکنیک‌های مدرن سئو در ارائه یک تجربه کاربری خوب متمرکز هستند.

1- Robots.txt

Robots.txt یک فایل متنی است که در دایرکتوری اصلی یک سایت قرار می‌گیرد. Robots.txt‌ها یکی از اولین مواردی است که ربات‌های گوگل هنگام جستجوی سایت به دنبال آن است. توصیه می‌شود Robots.txt را به سایت خود اضافه کنید و لینکی به sitemap.xml خود داشته باشید.

روش‌های زیادی برای بهینه سازی فایل Robots.txt وجود دارد، اما احتیاط در انجام این کار بسیار مهم است.

یک توسعه دهنده ممکن است به طور تصادفی مکانی در Robots.txt را ببندد و مدت‌ها ربات گوگل را از خزیدن در سایت‌ها محروم کند. حتی پس از اصلاح اینگونه موارد، ممکن است چند هفته طول بکشد تا میزان بازدید و رتبه بندی شما به حالت طبیعی باز گردد.

نکات و آموزش‌های زیادی در مورد نحوه ی بهینه سازی فایل Robots.txt وجود دارد. قبل از اقدام به هرگونه ویرایش، به خوبی تحقیق کنید. فراموش نکنید که نتایج خود را پیگیری کنید!

2- Sitemap.xml

سایت مپ یک روش کلیدی برای ربات‌های گوگل برای یافتن صفحات در سایت شما است و یک فاکتور مهم رتبه بندی محسوب می‌شود.

در اینجا چند نکته برای بهینه سازی نقشه سایت آورده شده است:

• فقط یک فهرست نقشه سایت داشته باشید.
• به وبلاگ‌ها و صفحات کلی، نقشه‌ های سایت جداگانه اختصاص دهید.
• تمام صفحات را اولویت بالا (High Priority) قرار ندهید.
• صفحات 404 و 301 را از نقشه سایت خود حذف کنید.
• فایل Sitemap.xml خود را به Google Search Console ارسال کرده و خزیدن را بررسی کنید.

3- سرعت سایت

سرعت بارگیری به یکی از مهمترین فاکتورهای رتبه بندی، خصوصاً برای دستگاه‌های تلفن همراه تبدیل شده است. اگر سرعت بارگذاری سایت شما خیلی کند است، ممکن است Google Bot رتبه بندی شما را پایین بیاورد.

یک روش آسان برای اینکه بفهمید ربات‌های گوگل درباره سرعت سایت شما چه فکری می‌کنند، آزمایش سرعت سایت با ابزارهای رایگان موجود است.

Schema -4

افزودن داده‌ های ساخت یافته به سایت شما می‌تواند به ربات‌های گوگل کمک کند تا صفحات خاص و کل سایت شما را به طور کامل درک کنند.

برای کارایی بهتر، توصیه می‌شود که از JSON-LD استفاده کنید. گوگل حتی اشاره کرده است که JSON-LD زبان علامت گذاری ای است که آن‌ها ترجیح می‌دهند.

 5- Canonicalization

یک مشکل اساسی برای سایت‌های بزرگ، به ویژه سایت‌های تجارت الکترونیکی، مسئله ی تکراری بودن صفحات وب است.

دلایل بسیاری برای داشتن صفحه‌ های تکراری مانند صفحات مختلف زبان وجود دارد.

اگر سایتی با صفحات تکراری اجرا می‌کنید، بسیار مهم است که صفحه وب مورد نظر خود را با برچسب متعارف و ویژگی Hreflang متمایز کنید.

URL -6 طبقه بندی

تجربه ثابت کرده است که داشتن یک ساختار URL تعریف شده منجر به رتبه بندی بالاتر و بهبود تجربه ی کاربری می‌شود.

اگر صفحات قدیمی و دارای رتبه بندی خوب دارید، “جان مولر” (مدیر آنالیز وب مسترهای گوگل) توصیه نمی‌کند که URL را تغییر دهید. طبقه بندی URL در واقع چیزی است که باید از ابتدای توسعه سایت ایجاد شود.

اگر کاملاً مطمئن هستید که بهینه سازی URL‌ها به سایت شما کمک می‌کند، از ریدایرکت 301 استفاده کرده و Sitemap.xml خود را به روز کنید.

7- تصاویر

گوگل مدت هاست که به اهمیت بهینه سازی تصاویر اشاره می‌کند، اما در ماه ‌های اخیر بیشتر در مورد آن صحبت کرده است. بهینه سازی تصاویر می‌تواند به ربات‌های گوگل کمک کند، تا بهتر بتواند ارتباط تصاویر شما با محتوای شما را درک کند.

اگر به دنبال موفقیت سریع در بهینه سازی تصاویر خود هستید، توصیه می‌کنم:

نام تصویر: با حداقل کلمات ممکن تصویر را توصیف کنید.

Image Alt Text: از تگ آلت تصاویر به عنوان توضیحات یا خصوصیات تصاویر استفاده کنید.

Structured Data: برای توصیف تصاویر موجود در صفحه می‌توانید از Schema استفاده کنید.

نقشه سایت تصاویر: Google توصیه می‌کند برای خزیدن در تصاویر، یک نقشه سایت جداگانه برای آن‌ها اضافه کنید.

8- لینک‌های شکسته و حلقه های تغییر مسیر

همه ی ما می‌دانیم که لینک‌های خراب، نامناسب هستند و برخی از سئوکاران ادعا می‌کنند که لینک‌های خراب می‌توانند بودجه خزیدن را هدر دهند. با این حال، جان مولر اظهار داشت که لینک‌های خراب باعث کاهش بودجه خزیدن نمی‌شوند.

بودجه خزیدن چیست؟

بودجه خزیدن به تعداد صفحاتی گفته می‌شود که ربات‌های Google در هر روز در یک سایت بررسی می‌کنند (یا می‌خزند). این تعداد در هر روز با روز دیگر متفاوت است اما روند نسبتاً پایداری دارد.

برای یافتن لینک‌های خراب در سایت خود، می‌توانید از Search Console Google یا هر ابزار دیگری استفاده کنید.

حلقه ‌های تغییر مسیر نیز پدیده ی دیگری است که در سایت‌های قدیمی معمول است. یک حلقه تغییر مسیر هنگامی رخ می‌دهد که چندین مرحله در یک دستور تغییر مسیر وجود داشته باشد.

موتورهای جستجو اغلب در خزیدن حلقه ‌های تغییر مسیر مشکل دارند و می‌توانند خزیدن را خاتمه دهند. بهترین اقدام در اینجا این است که لینک نهایی را جایگزین لینک اصلی کنید.

9- عنوان و توضیحات متا

این مورد ممکن است برای بسیاری از متخصصان سئو کمی قدیمی باشد، اما ثابت شده است که داشتن عناوین و توضیحات متا بهینه شده می‌تواند منجر به رتبه بندی بالاتر و CTR در SERP شود.

بله، این بخشی از اصول SEO است، اما هنوز هم ارزش دارد که آن را اضافه کنید، زیرا ربات‌های گوگل این مطالب را می‌خوانند. نظریه‌ های زیادی در مورد بهترین روش برای نوشتن این موارد وجود دارد، اما توصیه های من بسیار ساده است:

• من کاراکتر (|) را به جای (-) ترجیح می‌دهم، اما ربات‌های گوگل اهمیتی نمی‌دهد.
• در عناوین متای خود، نام تجاری خود را در خانه، در بخش درباره ما و صفحات تماس بگنجانید.
• برای داشتن توضیحات متای طولانی اصرار نورزید.
• برای توضیحات متا، اولین پاراگراف خود را کپی کرده و ویرایش کنید تا در محدوده طول 150-160 کاراکتر قرار بگیرد.

نتیجه

Google Bot یک ربات کوچک است که روزانه به سایت شما مراجعه می‌کند و به دنبال مطالب جدید است. هر زمان که تغییری در سایت خود ایجاد کردید، می‌توانید ربات‌های گوگل را دعوت کنید تا بیاید و این تغییر را از Google Search Console مشاهده کند. در اصل، این کار امکان ایندکس شدن سریعتر سایت شما را فراهم می‌کند.

امیدوارم با مطالعه این مقاله، به پاسخ سوالات خود، رسیده باشید و اگر همچنان سوالاتی دارید، که برطرف نشده است، آن‌ها را از ما بپرسید.

منابع

searchenginejournal