جان مو،، مدیر گوگل، کمی ناراضی بود Reddit در مورد این که صفحات نتایج جستجوی داخلی شما قابل ،یدن و نمایه سازی باشند. همانطور که می د،د، به طور کلی، گوگل نمی خواهد نتایج جستجو را ایند، کند، اما جان گفت، این به ویژه برای صفحات نتایج جستجو که هیچ نتیجه ای پیدا نشده است صادق است.
در سال 2007، گوگل به مدیران وبسایتها گفت که از فهرستبندی نتایج جستجوی داخلی جلوگیری کنند. دستورالعمل اصلی این است که “از robots.txt برای جلوگیری از ،یدن در صفحات نتایج جستجو یا سایر صفحاتی که به طور خودکار تولید می شوند استفاده کنید که ارزش زیادی برای کاربر، که از موتورهای جستجو می آیند اضافه نمی کند.” اکنون میخواند: «از فایل robots.txt در سرور وب خود برای مدیریت بودجه ،یدن خود با جلوگیری از ،یدن در فضاهای بینهایت مانند صفحات نتایج جستجو استفاده کنید».
بحث انجمن در Reddit.
منبع: https://www.seroundtable.com/google-index-search-results-35232.html
سپس ده سال بعد، جان مو، از گوگل توضیح داد که چرا گوگل نمیخواهد صفحات نتایج جستجوی شما در فهرست خود قرار گیرند. او گفت، “آنها فضاهای بی نهایت ایجاد می کنند (،یدن)، اغلب صفحاتی با کیفیت پایین هستند، اغلب به نتایج جستجوی خالی/نرم افزار 404 منجر می شوند.” بعداً او توضیح داد که این یک مشکل ضعیف است و این نوع صفحات می توانند به پاسخ های نرم 404 در کنسول جستجو منجر شوند.
به طور خلاصه، جان گفت: “اگر نمی تو،د انتخاب کنید کدام صفحات نتایج جستجو باید ایند، شوند، باید همه آنها را از ایند، شدن مسدود کنید – از متا تگ robots.txt Disallow یا noindex robots استفاده کنید.”
خواندن این شعار به نوعی سرگرم کننده است، بنابراین در اینجا آمده است:
متأسفانه، بسیاری از CMS ها، پلتفرم های میزب،، پلتفرم های تجارت الکترونیک و غیره هنوز به صورت پیش فرض صفحات نتایج جستجو را ربات نمی کنند. احتمالاً بیش از یک دهه است که این راهنمایی ها را ارائه کرده ایم. به خصوص اگر یک صفحه نتایج جستجو هیچ نتیجه ای نداشته باشد، دلیلی برای ایند، شدن آن وجود ندارد. و حتی برای سایر صفحات نتایج جستجو، این یک تمرین خوب است که یا همه آنها را مسدود کنید، یا فقط اجازه دهید یک مجموعه دست انتخاب شده ایند، شود (به ،وان مثال، جستجوهای نوع محصول شناخته شده، جایی که نتایج بیشتر شبیه صفحات دسته بندی هستند). اگر نمیتو،د صفحات نتایج جستجوی قابل فهرستسازی را محدود کنید، اکیداً توصیه میکنم همه صفحات جستجو را بدون فهرست یا روباتسازی کنید. هنوز هم این یک اتفاق معمولی است که میبینیم سایتها نتایج جستجو را با صفحات باز نتایج جستجو اسپم میکنند — برای جلوگیری از آن کار زیادی لازم نیست، و تمیز ، آن بعد از آن چنین دردسر دارد.