چرا؟ خوب، کدهای وضعیت 4، به این م،ی است که سند در دسترس نیست، بنابراین Google آن را بررسی نمی کند زیرا سرور می گوید در دسترس نیست. گری این را گفت زیرا او یک یا دو شکایت در مورد عدم رعایت قو،ن robots.txt توسط گوگل دریافت کرد.
به طور خلاصه، مطمئن شوید که فایل robots.txt شما دارای کد وضعیت 200 است و Google می تواند به آن دسترسی داشته باشد.
بحث انجمن در لینکدین.
منبع: https://www.seroundtable.com/google-robotstxt-404-34722.html
در اینجا PSA دیگری از Gary Illyes از گوگل است. به طور خلاصه، اگر کد وضعیت 4، را با فایل robots.txt خود ارائه دهید، گوگل قو،نی را که در آن فایل مشخص کرده اید نادیده می گیرد.
گری نوشت لینکدین، “PSA از صندوق ورودی من: اگر robotstxt خود را با کد وضعیت HTTP 403 ارائه دهید، همه قو،ن موجود در فایل توسط Googlebot نادیده گرفته می شود. خطاهای مشتری (4،، به جز 429) به م،ای robotstxt در دسترس نیست، مانند 404 و 403 در این مورد معادل هستند.”
