ممکن است بین یک ساعت تا 100 درخواست SemrushBots طول بکشد تا تغییرات ایجاد شده در فایل robots.txt شما را کشف کند و این دستورالعمل ها را برای ،یدن در وب سایت رعایت کند. اگر می خواهید تأیید کنید که SemrushBot از قو،ن شما پیروی می کند، می تو،د Semrush را به صورت رایگان امتحان کنید و خودتان ابزارهای مختلف را آزمایش کنید تا ببینید آیا آنها کار می کنند یا خیر.
مسدود ، خلاصه SemrushBot
در پایان این صفحه، می‌د،د که چگونه داده‌های وب‌سایت خود را برای کاربران Semrush که سعی در تجزیه و تحلیل دامنه برای بهینه‌سازی موتورهای جستجو (SEO) و کمپین‌های بازاریابی دیجیتال دارند، غیرقابل دسترس کنید.
User-agent: SiteAuditBot
Disallow: /3. SemrushBot-BA را مسدود کنید
این قانون مانع از ،یدن Semrush SplitSignalBot در وب سایت شما برای ابزار SplitSignal می شود که برای انجام تست های A/B برای بازاریابی دیجیتال استفاده می شود:
User-agent: SemrushBot
Disallow: /2. SemrushAuditBot را مسدود کنید
User-agent: SemrushBot-SI
Disallow: /5. SemrushBot-SWA را مسدود کنید
این قانون مانع از ،یدن SemrushBot به وب سایت شما برای ممیزی SEO و مسائل فنی می شود:
توجه: AhrefsBot را نیز می توان با استفاده از دستور Disallow در فایل robots.txt مسدود کرد. اگر می خواهید از ،یدن آن ربات در وب سایت خود جلوگیری کنید، این راهنمای مرتبط را در مورد نحوه مسدود ، AhrefsBot ببینید.
جزئیات درباره مسدود ، تاخیرها
User-agent: SemrushBot-CT
Disallow: /7. SplitSignalBot را مسدود کنید
این دستورالعمل مانع از دسترسی SemrushBot به وب سایت شما با ابزار On Page SEO Checker می شود:
SemrushBot را می توان با به روز رس، فایل robots.txt به غیر مجاز ، User-Agent مسدود کرد. پس از مسدود ، SemrushBot User-Agent، ،کبوت نمی تواند وب سایت را ب،د.
1. Main SemrushBot را مسدود کنید
این قانون robots.txt مانع از بررسی SemrushBot می شود که صفحات وب را برای تجزیه و تحلیل با ابزار SEO Writing Assistant بررسی کند:
همانطور که متوجه شدید، SemrushBot را می توان با به روز رس، فایل robots.txt برای غیر مجاز ، User-Agent مسدود کرد. پس از مسدود ، عامل اصلی SemrushBot کاربر، ،کبوت نمی تواند وب سایت را برای ثبت داده ها برای نمودار وب پیوندها ب،د. با این حال، Semrush چندین User-Agent برای هر ربات دارد که داده های وب سایت را برای مجموعه ابزار خود جمع آوری می کند.
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 شیفته سئو شده است. هدف استفان این است که بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو را به اشتراک بگذارد تا بتو،د ترافیک بیشتری را برای وب سایت خود به دست آورید.
