اگر نمی‌تو،د این کار را انجام دهید، گوگل می‌گوید «نرخ ،یدن را برای مدت کوتاهی کاهش دهید (مثلاً چند ساعت یا 1-2 روز)، سپس یک صفحه خطای اطلاعاتی را با 500، 503 یا کد وضعیت پاسخ HTTP 429.”
چرا ما اهمیت می دهیم. اگر متوجه مشکلات ،یدن شدید، ممکن است ارائه دهنده میزب، یا CDN شما اخیراً این تکنیک ها را به کار گرفته باشد. ممکن است بخواهید با آنها یک درخواست پشتیب، ارسال کنید تا پست وبلاگ Google را در مورد این موضوع به آنها نشان دهید تا مطمئن شوید که از 404s یا 403s برای کاهش نرخ ،یدن استفاده نمی کنند.
منبع: https://searchengineland.com/google-warns-a،nst-using-403-or-404-status-codes-for-googlebot-crawl-rate-limiting-393303
به جای آن چه باید کرد. گوگل یک سند راهنمای دقیق فقط در مورد کاهش ،یدن Googlebot در سایت شما. روش پیشنهادی این است که از تنظیمات نرخ ،یدن کنسول جستجوی گوگل برای تنظیم نرخ ،یدن خود استفاده کنید.
چرا اخطار اخیراً تعداد سایت‌ها و CDNهایی که از این تکنیک‌ها برای محدود ، ،یدن Googlebot استفاده می‌کنند، افزایش یافته است. طی چند ماه گذشته ما متوجه افزایش تلاش مالکان وب سایت و برخی از شبکه های تحویل محتوا (CDN) برای استفاده از 404 و دیگر 4، خطاهای مشتری (اما نه 429) تلاش برای کاهش نرخ ،یدن Googlebot.
Google در مورد استفاده از خطاهای 404 و سایر خطاهای وضعیت سرور مشتری 4،، مانند 403s، به منظور تلاش برای تعیین محدودیت نرخ ،یدن برای Googlebot هشدار داده است. گری ایلیز از تیم روابط جستجوی گوگل، “لطفا این کار را نکنید.” نوشت.
گوگل توضیح داد: «برای کاهش سریع نرخ ،یدن، می‌تو،د نرخ ،یدن Googlebot را در کنسول جستجو تغییر دهید. تغییرات ایجاد شده در این تنظیم معمولاً در عرض چند روز منع، می شود. برای استفاده از این تنظیمات ابتدا مالکیت سایت خود را تأیید کنید. اطمینان حاصل کنید که از تنظیم نرخ ،یدن روی مقداری که برای نیازهای سایت شما بسیار پایین است، خودداری کنید. بیشتر بد،د منظور از بودجه ،یدن برای Googlebot چیست. اگر تنظیمات نرخ ،یدن برای سایت شما در دسترس نیست، درخواست ویژه را ثبت کنید برای کاهش سرعت ،یدن شما نمی تو،د درخواست افزایش نرخ ،یدن را داشته باشید.”
