بر اساس محدودیت نرخ ،یدن و تقاضایی که به وب‌سایت اختصاص می‌دهد، SemrushBot تعداد متفاوتی از صفحات وب را در بازه‌های زم، تعیین‌شده در طول هر بازدید می،د تا داده‌های پیوند را با توجه به بار سرور فعلی دریافت کند. می توان به ،نده SemrushBot دستور داد که بین درخواست های یک وب سایت تا 10 ث،ه فواصل داشته باشد. مقادیر بالاتر به این حد 10 ث،ه کاهش می یابد.
اگر می‌خواهید از ،یدن آن ربات در وب‌سایت خود جلوگیری کنید، می‌تو،د از این آموزش مرتبط در مورد نحوه مسدود ، AhrefsBot نیز دیدن کنید. یا این راهنمای مقدماتی را در AhrefsBot بخو،د تا بد،د چگونه کار می کند.
اگر می خواهید از دسترسی سایر ابزارهای نرم افزار Semrush به وب سایت خود جلوگیری کنید، این راهنمای دیگر در مورد نحوه مسدود ، SemrushBot را ببینید. این شامل فهرست کامل قو،نی است که می‌تو،د آنها را کپی و در فایل robots.txt وب‌سایت خود جای‌گذاری کنید تا مانع از ،یدن همه User-Agents در سایت شما شود.
در زیر، SemrushBot چیست، چگونه کار می‌کند و راه‌های کنترل این ،نده وب در وب‌سایت خود با استفاده از دستورالعمل‌هایی که ربات از آنها تبعیت می‌کند، خواهید یافت.
SemrushBot چیست؟
در زیر، قانون نمونه‌ای است که می‌تو،د به فایل robots.txt خود اضافه کنید تا از ،یدن SemrushBot در سایت شما برای ساختن نمودار وب لینک‌هایی که در ابزار Backlink Analytics گزارش می‌شوند، جلوگیری کند:
استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 مجذوب سئو شده است. هدف استفان به اشتراک گذاشتن بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو است تا به شما کمک کند ترافیک وب سایت بیشتری داشته باشید.
منبع: https://seochatter.com/semrushbot/
همانطور که متوجه شدید، SemrushBot یک ،نده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و ایند، می کند که برای ارائه اطلاعات به روز برای فهرست بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود. شما می تو،د با تغییر فرکانس یا ممانعت از دسترسی عوامل مختلف کاربر به سایت شما از طریق فایل robots.txt، نحوه ،یدن SemrushBot در سایت شما را کنترل کنید.
فرکانس ،یدن SemrushBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:
SemrushBot یک ربات خوب در نظر گرفته می شود که برای اه، بازاریابی استفاده می شود که از قو،ن robots.txt و دستورالعمل های Crawl-Delay پیروی می کند. می‌تو،د Semrush را به صورت رایگان با استفاده از پیوند وابسته من امتحان کنید تا تمام قابلیت‌های آن را برای بهینه‌سازی موتور جستجو، بازاریابی محتوا و کمپین‌های تبلیغاتی پرداخت به ازای کلیک (PPC) آزمایش کنید.
SemrushBot چگونه کار می کند؟
توجه: SemrushBot فقط می‌تواند تا 10 ث،ه بین درخواست‌های یک وب‌سایت فاصله داشته باشد. هر مقدار Crawl-Delay که بیش از 10 ث،ه اختصاص داده شود تا این حد کاهش می یابد.
مسدود ، SemrushBot از وب سایت شما
مقدار Crawl-Delay زمان بر حسب ث،ه است. به ،وان مثال، Crawl-Delay: 5.
امیدوارم از این راهنما در SemrushBot لذت برده باشید.
داده های جمع آوری شده توسط SemrushBot برای تامین قدرت ابزارهای زیر در نرم افزار Semrush استفاده می شود:
تجزیه و تحلیل بک لینک
حسابرسی بک لینک
لینک بیلدینگ
ممیزی سایت
تحلیلگر محتوا
دستیار نگارش SEO
ردیابی پست
جستجوگر سئوی صفحه
قالب محتوای سئو
طرح کلی محتوا
تحقیق موضوعی
SplitSignal
SemrushBot فقط با افزودن قو،ن خاص به فایل robots.txt می تواند از ،یدن وب سایت شما جلوگیری کند. شما نمی تو،د از دسترسی SemrushBot به وب سایت خود از طریق آدرس های IP جلوگیری کنید زیرا از بلوک های IP متوالی استفاده نمی کند.
User-agent: SemrushBot
Crawl-Delay: [value]
می‌تو،د همه این ابزارها را بدون هیچ هزینه‌ای با استفاده از پیوند وابسته من در اینجا آزمایش کنید: Semrush را به صورت رایگان امتحان کنید.
کنترل SemrushBot در وب سایت شما
همچنین Semrush از User-Agent های مختلف برای ابزارهای مختلف در نرم افزار خود استفاده می کند. بنابراین، می‌تو،د ،نده‌های SemrushBot خاصی را انتخاب کنید که می‌خواهید از دسترسی به دامنه خود جلوگیری کنید یا با اضافه ، قانون Disallow به هر User-Agent در فایل robots.txt، همه آنها را حذف کنید.
توجه: بین یک ساعت تا 100 درخواست برای SemrushBot طول می کشد تا تغییرات ایجاد شده در فایل robots.txt شما را کشف کند و این دستورالعمل ها را برای ،یدن در وب سایت رعایت کند. اگر می خواهید تأیید کنید که SemrushBot از قو،ن شما پیروی می کند، می تو،د Semrush را به صورت رایگان امتحان کنید و خودتان ابزارهای مختلف را آزمایش کنید تا ببینید آیا آنها کار می کنند یا خیر.
خلاصه SemrushBot
SemrushBot برنامه ریزی شده است تا وب سایت را خیلی سریع ،ید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زم، و خطاهای سرور شود. SemrushBot همچنین بازدیدهای تبلیغاتی را فعال نمی کند یا به ،وان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.
User-agent: SemrushBot
Disallow: /
SemrushBot با بازدید خودکار از صفحات وب در دسترس عموم برای کشف و جمع آوری داده های وب جدید و به روز شده کار می کند. فرآیند ،یدن صفحات وب، SemrushBot را قادر می سازد تا URL های جدید و پیوندهای مرده را در اینترنت پیدا کند تا پایگاه داده خود را با داده های پیوند تازه نگه دارد.
بر اساس گزارش ترافیک ربات Imperva IncapsulaSemrushBot یکی از فعال ترین ،کبوت های وب است که توسط شرکت های تجاری برای ،یدن وب سایت ها و بازیابی اطلاعات برای اه، بازاریابی دیجیتال استفاده می شود. SemrushBot به طور مداوم برای ،یدن در وب کار می کند تا به بازاریابان آنلاین بینش بهتری نسبت به عواملی که بر الگوریتم های فهرست بندی و رتبه بندی موتورهای جستجو تأثیر می گذارند ارائه دهد تا کاربران بتوانند وب سایت ها و کمپین های SEO خود را بهتر بهینه کنند.
ابزارهای ارائه شده توسط SemrushBot
SemrushBot می تواند توسط فایل robots.txt وب سایت شما کنترل شود تا فرکانس بازدید ،نده از وب سایت شما را تغییر دهد، از دسترسی ابزارهای Semrush خاص به داده های وب سایت شما جلوگیری کند، یا ربات را به طور کامل از ،یدن دامنه شما مسدود کند.
تغییر فرکانس Crawl SemrushBot
این راهنما SemrushBot را توضیح می دهد.
فرآیند ،یدن برای SemrushBot با ،یدن ربات در یک وب سایت و ایجاد لیستی از لینک ها در هر صفحه وب برای استفاده برای ،یدن بیشتر شروع می شود. Semrush به این لیست به ،وان “مرز ،یدن” اشاره می کند، که به طور مکرر توسط SemrushBot برای کشف صفحات وب جدید، لینک های مرده و به روز رس، محتوا بازدید می شود.
SemrushBot یک ،نده وب است که داده های وب سایت را برای پایگاه داده Semrush جمع آوری و نمایه می کند. داده های جمع آوری شده توسط SemrushBot برای ارائه اطلاعات به روز برای نمایه بک لینک و انواع ابزارهای سئو و تحلیل بازاریابی در نرم افزار Semrush استفاده می شود.
