چگونه تعامل Googlebot با وب سایت خود را کنترل کنیم؟

Googlebot چیست؟

ربات گوگل به عنوان ربات جستجوگر نرم افزار خزنده وب است. این ربات به جمع آوری اطلاعات وب سایت‌هایی برای ارائه صفحات نتایج گوگل می‌پردازد. وظیفه ربات گوگل این است که اسناد وب سایت‌ها را جمع آوری کرده تا یک فهرست جستجو برای موتور جستجو گوگل ایجاد کند.

انواع ربات گوگل

گوگل دارای ربات‌های مختلفی است که آن‌ها را متناسب با عملکردشان تقسیم بندی می‌کند. این ربات‌ها شامل:

Google bot desktop

گوگل بات دسکتاپ، بررسی و ایندکس نسخه‌های دسکتاپ وب سایت شما را انجام می‌دهد.

Google bot mobile

همانطور که می‌دانید وب سایتی که طراحی می‌کنید باید نسبت به نسخه موبایلی هم Responsive باشد تا کاربران بتوانند از طریق موبایلشان هم از وب سایت بازدید کنند. بنابراین اگر خودتان در طراحی تخصص ندارید و یک شرکت طراحی سایت، سایت شما را طراحی کرده است؛ باید حواستان به نسخه موبایل هم باشد و مطمئن شوید که طراحان سایت آن را هم رسپانسیو طراحی کرده باشند. بررسی و ایندکس این وب سایت‌ها را Googlebot mobile انجام می‌دهد.

برای گرفتن رتبه بهتر لازم است طراحی سایت خود را به افرادی بسپارید که در این کار مهارت دارند. شرکت پارس وب یکی از بهترین شرکت های طراحی سایت در مشهد است که طراحی سایت را منطبق با قوانین گوگل، بهینه شده از نظر سئو، رسپانسیو و کاربردی و زیبا برای شما طراحی می‌کند. تا هم بتوانید در گوگل رتبه مناسبی دریافت کنید و هم مشتریان شما از تعامل با سایتتان لذت ببرند.

Google bot Video

یکی از ارزشمندترین محتواهایی که داخل سایت بارگذاری شده و باعث ماندن کاربر در آن می‌شود، محتوایی ویدئویی است. اگر می‌خواهید با گذاشتن ویدئو در سایت بازخورد مثبتی از گوگل بگیرید باید، محتوای ویدئویی تان با محتوا سایت هماهنگ باشد. چراکه  Googlebot Video آن را بررسی خواهد کرد.

Google bot Images

نه تنها محتوای متنی و ویدئویی بله گوگل بات حتی نسبت به عکس‌های بارگذاری شده در سایت هم حساس است و با یکی از بات‌های خود آن‌ها را مورد بررسی قرار می‌دهد.

Google bot News

اما سایت‌های خبری هم نیاز به ایندکس و پایش دارند. بنابراین گوگل، Googlebot News خود را به سراغ این سایت می‌فرستد تا آن‌ها را هم بررسی کند.

Google bot ads

گوگل بات حتی تبلیغات را هم زیر ذره بین خود دارد. به این شکل که با استفاده از گوگل بات ادز بر کیفیت تبلیغات نظارت می‌کند.

Googlebot  چگونه کار می‌کند؟

برای اینکه یک ربات گوگل به راحتی در صفحات وب سایت شما خزش کند باید برای ان یک نقشه سایت طراحی و آن را در کنسول جستجو ثبت کنید. البته طراحی نقشه سایت ارتباطی با رتبه شما در گوگل ندارد. در واقع با این کار صفحاتی که باید توسط گوگل ایندکس شود را به خزنده‌ها معرفی می‌کنید.

اهمیت بک لینک‌ها زمانی مشخص می‌شود که گوگل بات خود را برای بررسی به وب سایت شما فرستاده و لینکی که در صفحه قراردادید را ثبت و به لیست صفحات خود اضافه می‌کند. اهمیت نقشه راه زمانی مشخص می‌شود که بات گوگل از آن برای خزیدن در سایت استفاده می‌کند. ابتدا تمام لینک‌های شما را دسته بندی کرده و در آن‌ها می‌خزد.

ضمن اینکه اگر با تغییری در لینک‌های صفحه مواجه شود، به لیستش اضافه می‌شود. بنابراین هرچقدر نقشه سایت شما بهتر طراحی و محتوای سایت بهینه‌تر باشد، مسیر خزش راحت‌تر می‌شود. به همین دلیل پیلار کلاستر یا محتوای بنیادی برای گوگل بات از اهمیت بالایی برخوردار است.

navigation یا راهبری سایت از با اهمیت ترین اقدامات جهت بهینه سازی و سئو سایت به حساب می‌اید که به بات های گوگل کمک می‌کند بتوانند درک بهتری از معماری سایتتان داشته باشند و تمامی صفحات شما را بررسی کنند و به آن‌ها رتبه بدهند. به همین علت هم اگر شما یک متخصص سئو هستید، لازم است ساختن sitemap را در دستورکارهای اساسی خود قرار دهید.

بیشتر بخوانید: همانطور که گفتیم ساخت سایت مپ یا نقشه سایت از اساسی ترین اقداماتی است که یک متخصص سئو باید بر روی سایت انجام دهد. همچنین شما باید سایت مپ را بر روی سرچ کنسول هم اضافه کنید. به این صورت گوگل راحت‌تر به آن دسترسی خواهد داشت. همچنین اگر مشکلی در سایت مپ سایت شما وجود داشته باشد، سرچ کنسول آن را به شما نمایش خواهد داد تا با برطرف کردن آن بتوانید به راحتی با ربات های گوگل تعامل کنید. اگر شما نمی‌دانید که ساخت سایت مپ چگونه است و چطور می‌توان آن را به سرچ کنسول متصل کرد؟ کافی است مقاله لینک داده شده را در سایت پارس وب مطالعه کنید و راهنمای ارائه شده در آنجا را قدم به قدم اجرا نمایید.

چگونگی کنترل تعامل Google bot با وب سایت

اما سوال اینجاست که وقتی محتوایی را بارگذاری کردیم، آیا می‌توانیم آن را از دسترس خزنده‌های گوگل خارج کنیم؟ یا اینکه می‌توانیم تعامل Google bot را با وب سایت خود کنترل کنیم؟ تیم Search Relation گوگل در آخرین پادکست خود یعنی Search of record اینگونه پاسخ می‌دهد:

Googlebot  را از بخش‌های خاص صفحه وب مسدود کنید.

طبق آن چیزی که در این پادکست گذاشته شده مسدود کردن خزنده‌های گوگل در بخش‌های مختلف مثل صفحات محتوا تصویری و محصولات غیرممکن است. درواقع شما نمی‌توانید خزنده‌ها را برای خزش در یک صفحه HTML مسدود کنید. تنها این راه حل ارائه شده که خیلی ایده آل به نظرنمی رسد. با استفاده از HTML data-nosnippet می‌توانید بخشی از محتوا متنی را از دید خزنده‌ها پنهان کنید.

یکی دیگر روش‌های پیشنهادی استفاده از فایل iframe یا جاوااسکریپتی است که با robots.txt مسدود شده باشد. البته به این نکته هم اشاره شده که به کاربردن فایل رباتی iframe یا همان جاوااسکریپت مشکلاتی در خزیدن و نمایه سازی به وجود می‌آورد که تشخیص و رفع آن به راحتی انجام نمی‌شود.

دسترسی Googlebot را به وب سایت مسدود کنید

برای مسدود کردن گوگل بات از دسترسی به وب سایت اینطور گفته شد که: " ساده‌ترین راه robots.txt است: اگر یک Disallow: / برای عامل کاربر Googlebot اضافه کنید،  Googlebot تا زمانی که این قانون را در آنجا نگه دارید، سایت شما را تنها می‌گذارد."

اما این راه حل مناسبی برای افرادی که به دنبال روشی بهتر در مسدود کردن دسترسی خزنده‌ها به سایتشان هستند نیست. پس راه حل قوی‌تری که ارائه شد، به این گونه بود که:

" اگر می‌خواهید حتی دسترسی به شبکه را مسدود کنید، باید قوانین فایروال ایجاد کنید که محدوده IP ما را در یک قانون انکار بارگذاری کند. برای فهرستی از آدرس‌های IP Googlebot به اسناد رسمی Google مراجعه کنید. "

جمع بندی

زمانی که شما محتوایی را داخل سایت بارگذاری می‌کنید، بنا به دلایل مختلف شاید قصد داشته باشید که این صفحه از دید خزنده‌های گوگل مخفی بماند. یا اینکه با این سوال مواجه شوید که چگونه تعامل Google bot را با وب سایت خود کنترل کنیم. باید توجه داشته باشید مسدود کردن گوگل بات نسبت به صفحه گوگل به معنای کسب یا از دست دادن رتبه در گوگل نیست یا اینکه صفحه را در نتایج گوگل نبینید.