درک نحوه کار موتورهای جستجو برای متخصصان سئو امری اساسی است. در اینجا یک تجدید نظر در مورد خزیدن، رندر، ایندکس و رتبه بندی ارائه شده است.

“تفاوت بین خزیدن، رندرینگ، ایندکس کردن و رتبه بندی چیست؟”

در این مقاله، نحوه کار موتورهای جستجو و مرور هر مرحله از فرآیند را بررسی می‌کنیم.

4 مرحله جستجو

خزیدن

خزیدن زمانی اتفاق می افتد که یک موتور جستجو صفحات وب را از سرورهای وب سایت ها درخواست می کند.

تصور کنید که گوگل و مایکروسافت بینگ پشت یک کامپیوتر نشسته اند و لینک صفحه وب را در پنجره مرورگر خود تایپ کرده یا روی آن کلیک می کنند.

بنابراین، ماشین های موتورهای جستجو از صفحات وب مشابه آنچه شما انجام می دهید بازدید می کنند. هر بار که موتور جستجو از یک صفحه وب بازدید می کند، یک کپی از آن صفحه جمع آوری می کند و تمام پیوندهای موجود در آن صفحه را یادداشت می کند. پس از اینکه موتور جستجو آن صفحه وب را جمع آوری کرد، از پیوند بعدی در لیست پیوندهایی که هنوز بازدید نشده است، بازدید می کند.

برنامه‌های جمع‌آوری اطلاعات مورد استفاده توسط موتورهای جستجو «عنکبوت»، «ربات» یا «خزنده» نامیده می‌شوند.

برنامه خزنده اصلی گوگل “Googlebot” است، در حالی که مایکروسافت بینگ دارای “Bingbot” است. هر کدام از موتورهای جستجو دارای ربات های تخصصی دیگری برای بازدید از تبلیغات (به عنوان مثال، GoogleAdsBot و AdIdxBot)، صفحات تلفن همراه و موارد دیگر هستند.

این مرحله از پردازش صفحات وب توسط موتورهای جستجو ساده به نظر می رسد، اما پیچیدگی زیادی در آنچه پیش می آید، فقط در این مرحله وجود دارد.

به این فکر کنید که چه تعداد سیستم وب سرور می تواند وجود داشته باشد، سیستم عامل های مختلف با نسخه های مختلف اجرا شود، همراه با سیستم های مدیریت محتوای مختلف (مانند وردپرس، Wix، Squarespace)، و سپس سفارشی سازی های منحصر به فرد هر وب سایت.

بسیاری از مسائل می تواند خزنده های موتورهای جستجو را از خزیدن صفحات باز دارد، که دلیلی عالی برای مطالعه جزئیات مربوط به این مرحله است.

ابتدا موتور جستجو باید قبل از اینکه بتواند صفحه را درخواست کند و از آن بازدید کند، پیوندی به صفحه پیدا کند.

موتورهای جستجو می توانند پیوندهای صفحات وب را از طریق روش های زیر کشف کنند:

• هنگامی که یک اپراتور وب سایت لینک را مستقیماً به گوگل ارسال می کند (inception) یا نقشه سایت را در اختیار موتور جستجو قرار می دهد.
• زمانی که وب سایت های دیگر به صفحه لینک می دهند.
• از طریق پیوندهایی به صفحه از داخل وب سایت، با فرض اینکه وب سایت قبلاً برخی از صفحات ایندکس شده را دارد.
• پست های رسانه های اجتماعی
• پیوندهای موجود در اسناد
• URLهایی که در متن نوشته شده یافت می شوند و پیوندی ندارند.
• از طریق متادیتا
• و بیشتر.

متادیتا چیست؟

متادیتا ( Metadata) به عبارت ساده داده ای در مورد داده است. دسترس قراردادن متادیتا به موتورهای جستجو می توانید به آنها کمک کنید راحتر صفحات سایت شما را ایندکس کرده و بهتر درک کنند.

رندرینگ

هنگامی که موتور جستجو یک صفحه وب را می خزد، سپس صفحه را “رندر” می کند. این شامل گرفتن اطلاعات HTML، جاوا اسکریپت و CSS برای ایجاد نحوه نمایش صفحه برای کاربران دسکتاپ و/یا تلفن همراه است.

این مهم است تا موتور جستجو بتواند بفهمد محتوای صفحه وب چگونه در متن نمایش داده می شود. پردازش جاوا اسکریپت به آنها کمک می کند تا مطمئن شوند تمام محتوایی را دارند که یک کاربر هنگام بازدید از صفحه می بیند.

موتورهای جستجو مرحله رندر را به عنوان یک فرآیند فرعی در مرحله خزیدن دسته بندی می کنند. من آن را در اینجا به عنوان یک مرحله جداگانه در فرآیند فهرست کردم، زیرا واکشی یک صفحه وب و سپس تجزیه محتوا به منظور درک نحوه تشکیل آن در مرورگر دو فرآیند مجزا هستند.

گوگل از همان موتور رندر مورد استفاده مرورگر گوگل کروم به نام “Rendertron” استفاده می کند که از سیستم مرورگر کرومیوم ساخته شده است.

Bingbot از Microsoft Edge به عنوان موتور خود برای اجرای جاوا اسکریپت و رندر صفحات وب استفاده می کند. همچنین اکنون بر روی مرورگر مبتنی بر Chromium ساخته شده است، بنابراین اساساً صفحات وب را با روش Googlebot ارائه می دهد.

گوگل کپی صفحات را در مخزن خود در قالب فشرده ذخیره می کند. به نظر می‌رسد که مایکروسافت بینگ نیز این کار را انجام می‌دهد (اما من سندی برای تأیید این موضوع پیدا نکردم). برخی از موتورهای جستجو ممکن است یک نسخه مختصر از صفحات وب را فقط بر حسب متن قابل مشاهده و بدون تمام قالب بندی ذخیره کنند.

رندر بیشتر برای صفحاتی که بخش های کلیدی محتوا وابسته به JAVA SCRIPT/AJAX هستند در سئو به یک مشکل تبدیل می شود.

هم گوگل و هم مایکروسافت بینگ جاوا اسکریپت را برای مشاهده تمام محتوای صفحه اجرا می کنند و ساختارهای پیچیده تر جاوا اسکریپت می تواند برای موتورهای جستجو چالش برانگیز باشد.

من صفحات وب ساخته شده با جاوا اسکریپت را دیده ام که اساساً برای موتورهای جستجو نامرئی بوده و موتور جستجو قادر به رتبه بندی آنها نیستند.

ایندکس کردن

هنگامی که یک صفحه خزیده شد و رندر شد، موتورهای جستجو بیشتر صفحه را پردازش می‌کنند تا مشخص کنند که آیا در فهرست ذخیره می‌شود یا نه، و متوجه شوند که صفحه در مورد چیست.

نمایه موتور جستجو از نظر عملکردی شبیه به فهرست کلماتی است که در انتهای کتاب یافت می شود.

فهرست یک کتاب، تمام کلمات و موضوعات مهم موجود در کتاب را فهرست می‌کند و هر کلمه را به ترتیب حروف الفبا فهرست می‌کند، همراه با فهرستی از شماره‌های صفحه‌ای که کلمات/موضوعات در آن یافت می‌شوند.

یک فهرست موتور جستجو حاوی کلمات کلیدی و توالی کلمات کلیدی زیادی است که با لیستی از تمام صفحات وب که کلمات کلیدی در آن یافت می شوند، مرتبط است.

این شاخص تا حدی شباهت مفهومی به جدول جستجوی پایگاه داده دارد، که ممکن است در اصل ساختار مورد استفاده برای موتورهای جستجو بوده باشد. اما موتورهای جستجوی اصلی احتمالاً اکنون از چیزی چند نسل پیچیده‌تر برای دستیابی به هدف جستجوی یک کلمه کلیدی و بازگرداندن همه URLهای مرتبط با کلمه استفاده می‌کنند.

استفاده از قابلیت جستجو برای جستجوی تمام صفحات مرتبط با یک کلمه کلیدی، یک معماری صرفه جویی در زمان است، زیرا هر بار که کسی آن را جستجو می کند، به زمان بسیار غیرقابل اجرا برای جستجوی همه صفحات وب برای یک کلمه کلیدی در زمان واقعی نیاز دارد.

همه صفحات خزیده شده به دلایل مختلف در فهرست جستجو نگهداری نمی شوند. به عنوان مثال، اگر صفحه ای دارای متا تگ روبات با دستورالعمل “noindex” باشد، به موتور جستجو دستور می دهد که صفحه را در فهرست قرار ندهد.

به طور مشابه، یک صفحه وب ممکن است یک X-Robots-Tag را در هدر HTTP خود داشته باشد که به موتورهای جستجو دستور می دهد صفحه را ایندکس نکنند.

در موارد دیگر، تگ متعارف یک صفحه وب ممکن است به موتور جستجو دستور دهد که صفحه ای متفاوت از صفحه فعلی به عنوان نسخه اصلی صفحه در نظر گرفته شود و در نتیجه سایر نسخه های غیر متعارف صفحه از فهرست حذف شوند.

گوگل همچنین اعلام کرده است که صفحات وب در صورتی که کیفیت پایینی داشته باشند (صفحات محتوای تکراری، صفحات محتوای نازک و صفحات حاوی تمام یا بخشی از حد محتوای نامربوط) ممکن است در فهرست نگهداری نشوند.

سابقه نشان داده وب سایت هایی با رتبه بندی جمعی ناکافی ممکن است همه صفحات وب خود را ایندکس نکنند – این نشان می دهد که وب سایت های بزرگتر با پیوندهای خارجی ناکافی ممکن است به طور کامل ایندکس نشوند.

بودجه خزیدن (crawl budget) ناکافی همچنین ممکن است منجر به ایندکس نشدن تمام صفحات وب سایت شود.

یکی از مؤلفه‌های اصلی سئو، تشخیص و تصحیح زمانی است که صفحات ایندکس نمی‌شوند. به همین دلیل، ایده خوبی است که تمام مسائل مختلفی را که می‌تواند نمایه‌سازی صفحات وب را مختل کند، به طور کامل مطالعه کنید.

رتبه بندی

رتبه بندی صفحات وب مرحله ای از پردازش موتورهای جستجو است که احتمالاً بیشترین تمرکز روی آن است.

هنگامی که یک موتور جستجو فهرستی از تمام صفحات وب مرتبط با یک کلمه کلیدی یا عبارت کلیدی خاص را داشته باشد، باید تعیین کند که وقتی جستجو برای کلمه کلیدی انجام می شود، چگونه آن صفحات را مرتب کند.

اگر یک متخصص سئو هستید، احتمالاً قبلاً با برخی از مواردی که فرآیند رتبه بندی شامل می شود آشنا هستید. فرآیند رتبه بندی موتورهای جستجو به عنوان “الگوریتم” نیز شناخته می شود.

پیچیدگی مربوط به مرحله رتبه بندی جستجو به قدری زیاد است که به تنهایی مستلزم چندین مقاله و کتاب برای توصیف است.

معیارهای زیادی وجود دارد که می تواند بر رتبه یک صفحه وب در نتایج جستجو تأثیر بگذارد. گوگل گفته است که بیش از 200 فاکتور رتبه بندی توسط الگوریتم آن استفاده می شود.

هانت با گردآوری بروزترین فاکتورها می تواند شما را برای درک بهتر رتبه دهندی گوگل کمک کند:

200 فاکتور رتبه بندی گوگل

PageRank اولین نسخه گوگل از الگوریتم رتبه بندی خود است که در سال 1996 اختراع شد. این الگوریتم بر اساس مفهومی ساخته شده است که پیوند به یک صفحه وب – و اهمیت نسبی منابع پیوندهایی که به آن صفحه وب اشاره می کنند – می تواند برای تعیین قدرت رتبه بندی نسبی صفحه محاسبه شود. به تمام صفحات دیگر

استعاره ای از این موضوع این است که پیوندها تا حدودی به عنوان رای تلقی می شوند و صفحاتی که بیشترین رای را داشته باشند در رتبه بندی بالاتر از سایر صفحات با لینک/رای کمتر برنده خواهند شد.

به سرعت به سال 2022 برسید و بسیاری از DNA الگوریتم رتبه بندی قدیمی هنوز در الگوریتم رتبه بندی گوگل جاسازی شده است. آن الگوریتم تجزیه و تحلیل پیوند همچنین بر بسیاری از موتورهای جستجوی دیگر که انواع مشابهی از روش‌ها را توسعه دادند، تأثیر گذاشت.

روش الگوریتم قدیمی گوگل باید به صورت مکرر روی پیوندهای وب پردازش می کرد و قبل از تکمیل فرآیند رتبه بندی ده ها بار مقدار PageRank را در بین صفحات منتقل می کرد. این توالی محاسبه تکراری در میلیون‌ها صفحه ممکن است نزدیک به یک ماه طول بکشد تا تکمیل شود.

امروزه، لینک‌های صفحه جدید هر روز معرفی می‌شوند و گوگل رتبه‌بندی‌ها را به نوعی روش قطره‌ای محاسبه می‌کند و به صفحات و تغییرات اجازه می‌دهد تا با سرعت بیشتری بدون نیاز به فرآیند محاسبه لینک به مدت یک ماه، در نظر گرفته شوند.

علاوه بر این، پیوندها به روشی پیچیده ارزیابی می شوند – با لغو یا کاهش قدرت رتبه بندی پیوندهای پولی، پیوندهای معامله شده، پیوندهای اسپم شده، پیوندهای تأیید نشده ویراستاری و موارد دیگر.

نتیجه

درک مراحل کلیدی جستجو یک امر مهم برای حرفه ای شدن در صنعت سئو است. متخصصان سئو از سوابق و سطوح مختلف تجربه هستند. آنچه مهم است این است که آنها به اندازه کافی آموزش پذیر باشند تا یاد بگیرند و به یک سطح اساسی از درک برسند.