اگر کد وضعیت 4xx ارائه شود، Google دستورالعمل‌های Robots.txt را نادیده می‌گیرد


لیزی ساسمن Googlebot

در اینجا PSA دیگری از Gary Illyes از گوگل است. به طور خلاصه، اگر کد وضعیت 4، را با فایل robots.txt خود ارائه دهید، گوگل قو،نی را که در آن فایل مشخص کرده اید نادیده می گیرد.

چرا؟ خوب، کدهای وضعیت 4، به این م،ی است که سند در دسترس نیست، بنابراین Google آن را بررسی نمی کند زیرا سرور می گوید در دسترس نیست. گری این را گفت زیرا او یک یا دو شکایت در مورد عدم رعایت قو،ن robots.txt توسط گوگل دریافت کرد.

گری نوشت لینکدین، “PSA از صندوق ورودی من: اگر robotstxt خود را با کد وضعیت HTTP 403 ارائه دهید، همه قو،ن موجود در فایل توسط Googlebot نادیده گرفته می شود. خطاهای مشتری (4،، به جز 429) به م،ای robotstxt در دسترس نیست، مانند 404 و 403 در این مورد معادل هستند.”

به طور خلاصه، مطمئن شوید که فایل robots.txt شما دارای کد وضعیت 200 است و Google می تواند به آن دسترسی داشته باشد.

بحث انجمن در لینکدین.


منبع: https://www.seroundtable.com/google-robotstxt-404-34722.html

توسط علی جهانی

علی جهانی ملقب به سنیور سئو است