ربات کوگل (Googlebot) یک کراولر (crawler) است که محتوای قابل ایندکس شدن وب سایت شما را جمع میکند. ربات گوگل برای این که موتور جستجو بتواند نتایج را آپدیت کند از اطلاعات جمع آوری شده توسط ربات گوگل استفاده میکند.
ربات گوگل چگونه کار می کند ؟
- ربات گوگل اطلاعات یک صفحه مانند کلمات، کدها، عکسها و منابعی مانند CSS و جاوااسکریپت را جمع آوری میکند.
- اگر لینک یا لینک هایی در صفحات موجود باشد، آنها را در نظر میگیرد. Googlebot از نقشه سایت ها و دیتابیس هایی استفاده می کند که شامل لینک های کشف شده قبلی هستند. این ربات ها از این داده ها برای تعیین مقاصد بعدی خود استفاده می کنند
- کلیه دیتای جمع آوری شده را به سرورهای گوگل ارسال میکند
خزنده یا Webcrawler چیست؟
به طور کلی خزنده‌های وب، نرم افزارهایی هستند که در اینترنت وارد سایتهای گوناگون می شوند و همه صفحات آنها را می خوانند و لینکها را دنبال می کنند و در نهایت اطلاعات صفحات را جمع آوری و به محل مشخصی ارسال می کنند. کراولرهای وب با نامهای دیگری از قبیل ant، bot، spider و robot نیز شناخته شده هستند. در بخش آموزش سئو وب سایت هانت می‌توانید بیشتر در مورد حوزه سئو اطلاعات کسب کنید.
ربات های گوگل چطور سایت های شما را بازدید می کنند؟
برای اینکه بفهمید ربات های گوگل چه زمان هایی به سایت شما مراجعه می کنند، می بایست فایل های Log سایت خود را بررسی کنید و یا به قسمت Crawl در کنسول جستجوی گوگل مراجعه نمایید.برای آموزش سئو با جدیدترین متدهای این حوزه می توانید از بهزاد ازند مدرس بین المللی سئو کمک بگیرید.
گوگل لیست آدرس های آی پی ربات های خود را هیچ گاه منتشر نمی کند و همین طور این آی پی ها مدام در حال تغییر هستند. اگر می خواهید ماهیت ربات های گوگل را تایید کنید، می بایست از ابزارهای تبدیل آی پی به نام استفاده کنید. اسپمرها می توانند به راحتی نام user-agent خود را به Googlebot تغییر دهند اما شبیه سازی آی پی به این راحتی نیست.
شما می توانید با استفاده از فایل Robots.txt به ایجاد محدودیت و کنترل دسترسی ربات گوگل به سایت خود بپردازید. دقت داشته باشید که در صورت اشتباه در این کار، ممکن است جلوی دسترسی گوگل به محتوای اصلی سایت را بگیرید. این کار موجب عدم ایندکس محتوای سایت خواهد شد. همچنین راه های دیگری نیز برای جلوگیری از ایندکس شدن بعضی از صفحات سایت وجود دارد.
انواع ربات گوگل
ربات های مختلفی توسط گوگل ایجاد شده است که هر کدام برای کراول (crawl) محتوایی خاص کربرد دارند:
- Googlebot desktop: این ربات به بررسی و ایندکس نسخه دسکتاپی وب سایت ها می ردازد.
- Googlebot mobile: این ربات به بررسی و ایندکس نسخه مویابلی سایت ها می پردازد.
- Googlebot Video: این ربات به بررسی ویدئوهای موجود در وب می پردازد.
- Googlebot Images: این ربات به پایش تصاویر موجود در وب می پردازد.
- Googlebot News: این ربات مختص سایت های خبری است.
- Googlebot AdsBot : این ربات برای سایت هایی که از طریق سیستم تبلیغات کلیکی ادوردز برای تلبلیغ نتایج خود استفاده می کنند کاربرد دارد.
هانت با طراحی سایت شرکتی، شخصی و فروشگاهی می‌تواند کمکی به رشد کسب و کار شما کند.
دیدگاهتان را بنویسید