ربات‌های گوگل (Googlebot) چگونه کار می‌کنند؟

مدت زمان مطالعه این مقاله
7 دقیقه

آیا سایت شما برای ربات‌های گوگل محبوب است؟ آیا محتوای شما علاوه بر ربات‌ها، برای کاربران هم رضایت‌بخش است؟ در این مقاله نحوه‌ی کار ربات‌های گوگل و 8 نکته بهینه‌سازی که می‌تواند به شما کمک کند ترافیک طبیعی بیشتری بدست آورید را معرفی خواهیم کرد.

Googlebot چیست؟

قبل از اینکه وارد دنیای پیچیده‌ی موتورهای جستجو شویم، باید با برخی اصطلاحات آشنا باشید.

احتمالاً نام ربات‌های گوگل را شنیده‌اید. آیا می‌دانید آن‌ها چه چیزی هستند؟

به زبان ساده Googlebot یا ربات گوگل، یک خزنده‌ی وب است که از طریق لینک‌ها به خزیدن در صفحات سایت می‌پردازد. ربات‌ها از یک صفحه به صفحه دیگر می‌روند و هر لینکی را بررسی می‌کنند تا پایگاه داده گوگل را به‌روز نگه دارند.

خزیدن به چه معناست؟

خزیدن یا Crawling فرآیندی است که در آن، موتورهای جستجو تیمی از عنکبوت‌ها یا خزنده‌ها را (Crawler) برای یافتن هرگونه محتوای تازه‌منتشر شده، فعال می‌کنند.

این فرآیند به Google امکان می‌دهد فقط در یک ثانیه بیش از 1 میلیون گیگابایت داده جمع‌آوری کند. برای درک کامل این فرآیند، باید بدانید که موتورهای جستجو چگونه کار می‌کنند.

ایندکس (Index) چیست؟

سازماندهیِ محتوایی را که در طی روند خزیدن، ایجاد می‌شود. منظور فهرستی از سایت‌ها است که اطلاعات محتوای آن‌ها در اختیار گوگل قرار دارد.

بنابراین، موتورهای جستجو محتوای شما را به همراه موضوع و ارزش آن پیدا می‌کنند. داشتن یک استراتژی مناسب در زمینه SEO به این معنی است که سایت شما از ساختار خوب، سرعت بارگیری مناسب و محتوای درستی برخوردار است.

در اینجا چند نکته مهم در مورد SEO وجود دارد که کار Googlebot را برای درک ارزش محتوا، بسیار ساده‌تر می‌کند:

• اطمینان حاصل کنید که سایت شما برای موتورهای جستجو قابل مشاهده است.
• از لینک‌های No-Follow در صفحات داخلیِ خود استفاده نکنید.
• برای سایت خود یک Sitemap سازمان‌یافته ایجاد کنید. چرا که ربات گوگل می‌تواند محتوای شما را به راحتی ببیند و آن را مرور کند.
• برای یافتن خطاهای خزنده های گوگل (همان ربات‌ها) می‌توانید از Google Search Console استفاده کنید. این ابزار شما را راهنمایی می‌کند که چگونه این خطاها را برطرف کنید (گوگل سرچ کنسول، اتاق فرمان سایت شما در موتور جستجوی گوگل است).

گفتنی است که سایر موتورهای جستجو نیز اتاق فرمانی شبیه به گوگل، در اختیار کاربران قرار داده‌اند. مثلا برای موتور جستجوی بینگ، Bing Webmaster Tools و برای موتور جستجوی یاندکس، Yandex Webmaster وجود دارد.

خزنده‌ی سایت چیست؟

قابلیت خزیدن و میزان Crawling در صفحات، به میزان دسترسی Googlebot و همینطور عملکرد شما در SERP (صفحه نتایج موتور جستجو) بستگی دارد.

باید بدانید که Google با جادوگری سایت شما را پیدا نمی‌کند! پس شما باید گوگل را از محتوای جدیدتان آگاه سازید.

خزنده‌ها از صفحه‌ای به صفحه‌ی دیگر سفر می‌کنند و با جستجوی کلمات کلیدی مناسب و عبارات مربوطه، Index یا فهرستی برای موضوعات مختلف ایجاد می‌کنند.

اکنون می‌پرسید چگونه نظر ربات‌های گوگل را جلب کنیم؟

شما باید سایت خود را برای خزیدن Googlebot بهینه کنید، بنابراین این نکات را در نظر بگیرید:

• باید بدانید که برای ربات گوگل  با سایت‌هایی که فقط از Ajax و JavaScript تشکیل شده‌اند مشکل دارد. چون ارزش محتوا را نمی‌توانند بررسی کنند.
• معمولا برخی سایت‌ها، چندین URL برای یک صفحه دارند، اما ربات گوگل می‌تواند آن‌ها را شناسایی کند. با این حال گاهی اوقات صفحات تکراری با چندین URL می‌تواند برای ربات‌ها گیج کننده باشند و باعث کاهش خزیدن ربات‌های گوگل شوند.
• URL‌های غیر مهم را مسدود کنید. از فایل Robots.txt یا برچسب‌های متا استفاده کنید تا به ربات‌های گوگل کمک کنید ساختار سایت شما را بفهمند.
• استفاده از لینک‌های داخلی باعث می‌شود خزنده‌های گوگل بیشتر سایت شما را مورد بررسی قرار دهند. هرگز سایت خود را به صفحات یا محصولات بی‌ربط لینک نکنید.
• Sitemap برای هدایت ربات گوگل  به سایت شما بسیار مفید است. با استفاده از Sitemap، سایت شما به راحتی و با سرعت بیشتری ایندکس می‌شود.
• برای کمک به Googlebot بک لینک‌های قدرتمند بسازید.

Google Search Console

گوگل سرچ کنسول، یکی از کارآمدترین ابزارهایی است که می‌توانید با استفاده از آن قابلیت خزیدن ربات‌ها در سایت خود را بررسی کنید.

شما با این سرویس رایگان Google می‌توانید سایت خود را عیب‌یابی کنید؛ خطاها را پیدا کنید، بک لینک‌ها را مشاهده کنید، نقشه سایت را به گوگل متصل کنید و موارد دیگر.

با گوگل سرچ کنسول می‌توانید سایت خود را بهینه کرده و روند افزایش ترافیک طبیعی را بهبود ببخشید.

گوگل سرچ کنسول می‌تواند به شما کمک کند تا وضعیت پیشرفت کلمات کلیدی خود را اندازه‌گیری کنید.

بر این اساس شما کلمات کلیدی قوی خود را می‌بینید و می‌دانید کدام کلمات برای شما، ورودیِ بیشتری آورده‌اند. از همین رو می‌توانید استراتژی لینک سازی خارجی را برای کلماتی که برایتان مهم هستند اجرا نمایید.

چرا باید مثل ربات‌های گوگل فکر کنیم؟

گوگل همیشه توصیه کرده است که یک سایت عالی درست کنید. یعنی اگر می‌توانید با سایتتان رضایت کاربران را جلب کنید، پس می‌توانید رضایت ربات‌های گوگل را نیز جلب کنید.

به عبارت دیگر، افکار ربات‌های گوگل به رضایت کاربران گره خورده است و اگر کاربران راضی باشند، ربات هم راضی است 🙂

تجربه‌ی کاربران در مقابل ربات‌ها

هنگام ایجاد یک محتوا، به دنبال جلب رضایت چه کسانی هستید؟ کاربران یا ربات‌های گوگل؟

پاسخ کوتاه: هر دو!

پاسخ طولانی: طراحان UX معمولا بیشتر به دنبال جلب رضایت کاربران‌اند، در حالی که اغلب متخصصان سئو به دنبال جلب رضایت گوگل هستند و در این بین، توسعه‌دهندگان وب، سعی در ایجاد رضایت‌مندی هر دو طرف دارند.

شما نیز به عنوان متخصصان سئو، باید اهمیت هر یک را بدانید.

بله، ما باید بهترین تجربه‌ی کاربری را ارائه دهیم. همچنین باید سایت‌ خود را برای ربات‌های گوگل (و سایر موتورهای جستجو) بهینه کنیم.

خوشبختانه، Google بسیار کاربر محور است. اکثر تکنیک‌های مدرن سئو در ارائه یک تجربه‌ی کاربریِ خوب متمرکز هستند.

نکاتی برای بهینه‌سازی ربات‌های گوگل

در این قسمت با مواردی آشنا می‌شوید که در عملکرد ربات‌ها نسبت به سایت شما موثر هستند و کیفیت گزارشاتی که خزنده‌ها از سایت شما به گوگل ارسال می‌کنند را تعیین می‌کند.

Robots.txt

Robots.txt یک فایل متنی است که در Root یک سایت قرار می‌گیرد. Robots.txt‌ها یکی از اولین مواردی است که ربات‌های گوگل هنگام جستجوی سایت به دنبال آن هستند.

Root یعنی ریشه‌ی هاست و اولین مسیر پس از آدرس دامنه را می‌گویند.

توصیه می‌شود لینک Sitemap.xml را به فایل Robots.txt اضافه کنید تا سرعت خزش ربات‌ها در صفحات سایت افزایش یابد.

روش‌های زیادی برای بهینه‌سازی فایل Robots.txt وجود دارد، اما احتیاط در انجام این کار بسیار مهم است.

یک توسعه‌دهنده ممکن است به طور تصادفی، مکانی در Robots.txt را ببندد و مدت‌ها ربات‌های گوگل را از خزیدن در آن صفحات محروم کند. حتی پس از اصلاح این گونه موارد، ممکن است چند هفته طول بکشد تا میزان بازدید و رتبه‌بندی شما به حالت طبیعی باز گردد.

نکات و آموزش‌های زیادی در مورد نحوه بهینه‌سازی فایل Robots.txt وجود دارد. قبل از اقدام به هرگونه ویرایش، به خوبی تحقیق کنید.

Sitemap.xml

سایت مپ یا نقشه سایت یک روش مرسوم برای پیدا کردن صفحات، توسط ربات‌های گوگل به حساب می‌آید. ضمن آنکه نقشه سایت، یک عامل مهم برای شناسایی و رتبه‌بندی صفحات محسوب می‌شود.

در اینجا سه نکته برای بهینه‌سازی نقشه سایت آورده‌ایم:

1. فقط یک نقشه سایت داشته باشید.
2. صفحات 404 را از نقشه سایت حذف کنید.
3. فایل Sitemap.xml را به Google Search Console ارسال کرده و وضعیت خزیدن ربات‌ها را بررسی نمایید.

سرعت سایت

سرعت بارگیری در سایت به یکی از مهمترین فاکتورهای رتبه‌بندی، خصوصا برای دستگاه‌های تلفن همراه تبدیل شده است. اگر سرعت بارگذاری سایت شما خیلی کُند باشد، ممکن است کاربران رغبتی برای تماشای صفحات دیگر سایت شما نداشته باشند و همین موضوع در امتیاز سئوی شما تاثیرگذار شود.

یک روش آسان برای اینکه بفهمید ربات‌های گوگل درباره‌ی سرعت سایت شما چگونه فکر می‌کنند، استفاد از ابزارهای رایگان موجود است. برای نمونه می‌توانید سایت خود را از اینجا بررسی کنید.

Schema

افزودن داده‌‌های ساختار یافته به سایت شما می‌تواند به ربات‌های گوگل کمک کند تا صفحات خاص و کل سایت شما را به طور کامل درک کنند.

برای کارایی بهتر، گوگل توصیه می‌کند از JSON-LD استفاده کنید. مثلا افزونه‌ی Schema Pro از JSON-LD استفاده می‌کند.

Cannibalization

یک مشکل اساسی برای سایت‌های بزرگ، به ویژه سایت‌های تجارت الکترونیکی، مسئله تکراری بودن صفحات وب است.

دلایل بسیاری برای داشتن صفحات تکراری وجود دارد.

اگر سایتی چند زبانه دارید که صفحات تکراری (به زبان‌های دیگر) اجرا می‌کند، بسیار مهم است که صفحه وب مورد نظر خود را با برچسب Hreflang متمایز کنید.

ساختار اصولی URL

تجربه ثابت کرده است که داشتن ساختار اصولی URL منجر به رتبه‌بندی بالاتر و بهبود تجربه‌ی کاربری می‌شود.

ساختار اصولی URLها چیزی است که باید در ابتدای توسعه‌ی سایت ایجاد شود. اما اگر ساختار URL شما اصولی نیست و برای صفحات قدیمی، رتبه‌بندیِ خوبی دارید، می‌توانید از ریدایرکت 301 استفاده کرده و Sitemap.xml خود را به‌روز کنید تا بدون از دست‌رفتنِ رتبه، ساختار URL شما اصلاح شود.

تصاویر

گوگل مدت‌هاست به اهمیت بهینه‌سازی تصاویر اشاره می‌کند. بهینه‌سازی تصاویر می‌تواند به ربات‌های گوگل کمک کند تا بهتر بتوانند ارتباط تصاویر شما با محتوای شما را درک کنند.

اگر به دنبال موفقیت سریع در بهینه‌سازی تصاویر خود هستید، توصیه می‌کنیم موارد زیر را به کار بگیرید:

جذابیت تصویر: از تصاویر جذاب و منحصر به‌‎فرد استفاده کنید و تصاویر تکراری را در سایت خود قرار ندهید.

اندازه تصاویر: یک اندازه‌ی ثابت برای تصاویر سایت تعیین کنید که عرض و ارتفاع آن، حداقل 600 پیکسل و حداکثر 1200 پیکسل باشد.

نام تصویر: با حداقل کلمات ممکن تصویر را توصیف کنید.

Alt تصویر: از تگ Alt تصاویر به عنوان توضیحات یا خصوصیات تصاویر استفاده کنید که می‌تواند شامل کلمه کلیدی و یا مترادف‌های آن باشد.

Structured Data: برای توصیف تصاویر موجود در صفحه می‌توانید از Schema استفاده کنید.

لینک‌های شکسته

همه ما می‌دانیم که لینک‌های خراب و شکسته برای سئوی سایت مضر هستند و برخی از فعالان سئو ادعا می‌کنند که لینک‌های شکسته می‌توانند بودجه خزش را هدر دهند. با این حال، جان مولر (کارشناس گوگل) اظهار داشته است که لینک‌های خراب باعث کاهش بودجه خزش نمی‌شوند!

بودجه خزش چیست؟

بودجه خزش به تعداد صفحاتی از یک سایت گفته می‌شود که ربات‌های Google در هر روز و در یک سایت بررسی می‌کنند. این تعداد در هر روز با روز دیگر متفاوت است اما روند نسبتا پایداری دارد.

برای یافتن لینک‌های شکسته در سایت خود، می‌توانید از brokenlinkcheck.com و یا هر ابزار دیگری استفاده کنید.

اگر در هدایت ربات‌ها و کار کردن در فضای Google Search Console مشکل دارید، شرکت در دوره جامع سئوکاران وبمستر را به شما پیشنهاد می‌کنیم.

لیست IP ربات‌های گوگل

لیست IP آدرس‌های Googlebot را از لینک زیر مشاهده نمایید.

با IP ایران نمی‌توانید لینک را ببینید!

developers.google.com/search/apis/ipranges/googlebot.json

در آخر

Googlebot ربات‌ کوچکی است که روزانه به سایت شما مراجعه می‌کند و به دنبال مطالب جدید است. هر زمانی که تغییری در سایت خود ایجاد کردید، می‌توانید ربات‌های گوگل را دعوت کنید تا بیایند و این تغییر را از Google Search Console مشاهده کنند. این کار، Index صفحات را سریعتر می‌کند.

امیدواریم با مطالعه این مقاله، به پاسخ سوالات خود رسیده باشید و اگر همچنان سوالی دارید که برطرف نشده، از بخش نظرات بپرسید.

منابع

searchenginejournal