AhrefsBot: چیست و چگونه کار می کند

AhrefsBot یک ،نده وب است که پایگاه داده پیوند را برای مجموعه ابزار بازاریابی دیجیتال Ahrefs گردآوری و فهرست می کند. AhrefsBot وب را می ،د تا پایگاه داده پیوندها را با پیوندهای جدید پر کند و وضعیت پیوندهای موجود را بررسی می کند تا داده های به روز را برای کاربران Ahrefs فراهم کند.

AhrefsBot یک ربات خوب برای اه، بازاریابی است که از قو،ن robots.txt و دستورالعمل‌های Crawl-Delay با User-Agent String پیروی می‌کند: Mozilla/5.0 (سازگار؛ AhrefsBot/7.0؛ +http://ahrefs.com/robot/) .

AhrefsBot چگونه کار می کند؟

168.119.64.245
168.119.64.246
168.119.64.247
168.119.64.248
168.119.64.249
168.119.64.250
168.119.64.251
168.119.64.252
168.119.64.253
168.119.64.254
168.119.65.107
168.119.65.108
168.119.65.109
168.119.65.110
168.119.65.111
168.119.65.112
168.119.65.113
168.119.65.114
168.119.65.115
168.119.65.116
168.119.65.117
168.119.65.118
168.119.65.119
168.119.65.120
168.119.65.121
168.119.65.122
168.119.65.123
168.119.65.124
168.119.65.125
168.119.65.126
168.119.65.43
168.119.65.44
168.119.65.45
168.119.65.46
168.119.65.47
168.119.65.48
168.119.65.49
168.119.65.50
168.119.65.51
168.119.65.52
168.119.65.53
168.119.65.54
168.119.65.55
168.119.65.56
168.119.65.57
168.119.65.58
168.119.65.59
168.119.65.60
168.119.65.61
168.119.65.62
168.119.68.117
168.119.68.118
168.119.68.119
168.119.68.120
168.119.68.121
168.119.68.122
168.119.68.123
168.119.68.124
168.119.68.125
168.119.68.126
168.119.68.171
168.119.68.172
168.119.68.173
168.119.68.174
168.119.68.175
168.119.68.176
168.119.68.177
168.119.68.178
168.119.68.179
168.119.68.180
168.119.68.181
168.119.68.182
168.119.68.183
168.119.68.184
168.119.68.185
168.119.68.186
168.119.68.187
168.119.68.188
168.119.68.189
168.119.68.190
168.119.68.235
168.119.68.236
168.119.68.237
168.119.68.238
168.119.68.239
168.119.68.240
168.119.68.241
168.119.68.242
168.119.68.243
168.119.68.244
168.119.68.245
168.119.68.246
168.119.68.247
168.119.68.248
168.119.68.249
168.119.68.250
168.119.68.251
168.119.68.252
168.119.68.253
168.119.68.254

آدرس های IP AhrefsBot برای Cloudflare

استفان هاکمن یک کارآفرین و بنیانگذار SEO Chatter است. او در بهینه سازی موتورهای جستجو و بازاریابی دیجیتال تخصص دارد و از سال 2005 مجذوب سئو شده است. هدف استفان به اشتراک گذاشتن بهترین نکات و اخبار در مورد بازاریابی موتورهای جستجو است تا به شما کمک کند ترافیک وب سایت بیشتری داشته باشید.


منبع: https://seochatter.com/ahrefsbot/

توجه: اگر می‌خواهید از ،یدن آن ربات در وب‌سایت خود جلوگیری کنید، می‌تو،د از این آموزش مرتبط در مورد نحوه مسدود ، SemrushBot نیز دیدن کنید. یا این راهنمای مقدماتی را در SemrushBot بخو،د و توضیح دهد که چیست و چگونه کار می کند.

لیست IP AhrefsBot

مقدار Crawl-Delay زمان بر حسب ث،ه است. به ،وان مثال، Crawl-Delay: 5.

مسدود ، AhrefsBot از وب سایت شما

در حال حاضر بیش از 12 تریلیون پیوند در پایگاه داده وجود دارد که AhrefsBot در اینترنت ،یده است. این داده پیوند توسط بازاریابان دیجیتال و متخصصان بهینه سازی موتورهای جستجو (SEO) برای برنامه ریزی، اجرا و نظارت بر کمپین های بازاریابی آنلاین خود استفاده می شود.

AhrefsBot همیشه به دستورالعمل Disallow احترام می گذارد که به ،کبوت دستور می دهد تا وب سایت را ن،د و AhrefsBot را از ذخیره داده های پیوند در مورد وب سایت در پایگاه داده خود جلوگیری می کند. آن را برای کاربران Ahrefs از دسترس خارج می کند. با این حال، اگر این یک تغییر جدید در فایل robots.txt شما باشد، AhrefsBot برای دریافت دستورالعمل Disallow به زمان نیاز دارد. پس از کشف، AhfefsBot دستورالعمل Disallow را در طول ،یدن برنامه ریزی شده بعدی رعایت می کند.

51.222.253.0
51.222.253.1
51.222.253.2
51.222.253.3
51.222.253.4
51.222.253.5
51.222.253.6
51.222.253.7
51.222.253.8
51.222.253.9
51.222.253.10
51.222.253.11
51.222.253.12
51.222.253.13
51.222.253.14
51.222.253.15
51.222.253.16
51.222.253.17
51.222.253.18
51.222.253.19
51.222.253.20
51.222.253.21
51.222.253.22
51.222.253.23
51.222.253.24
51.222.253.25
51.222.253.26
51.222.253.27
51.222.253.28
51.222.253.29
51.222.253.30
51.222.253.31
51.222.253.32
51.222.253.33
51.222.253.34
51.222.253.35
51.222.253.36
51.222.253.37
51.222.253.38
51.222.253.39
51.222.253.40
51.222.253.41
51.222.253.42
51.222.253.43
51.222.253.44
51.222.253.45
51.222.253.46
51.222.253.47
51.222.253.48
51.222.253.49
51.222.253.50
51.222.253.51
51.222.253.52
51.222.253.53
51.222.253.54
51.222.253.55
51.222.253.56
51.222.253.57
51.222.253.58
51.222.253.59
51.222.253.60
51.222.253.61
51.222.253.62
51.222.253.63

خلاصه AhrefsBot

این راهنما AhrefsBot را توضیح می دهد.

54.36.148.0/24
54.36.149.0/24

195.154.122.0/24
195.154.123.0/24
195.154.126.0/24
195.154.127.0/24
51.222.253.0/26

آدرس های IP فردی AhrefsBot

اگر از Cloudflare استفاده می کنید، AhrefsBot ممکن است توسط فایروال Cloudflare مسدود شود. می‌تو،د از محدوده‌های IP بالا یا آدرس‌های IP منفرد زیر استفاده کنید تا با افزودن آنها به لیست سفید دیوار آتش، محدودیت‌ها را برطرف کنید.

AhrefsBot با بازدید خودکار صفحات وب در دسترس عموم و دنبال ، پیوندهای موجود در آن صفحات کار می کند. فرآیند ،یدن از پیوندی به پیوند دیگر، AhrefsBot را قادر می سازد تا URL های جدید و پیوندهای مرده را در اینترنت پیدا کند تا پایگاه داده خود را با داده های پیوند تازه نگه دارد.

User-agent: AhrefsBot Disallow: /

AhrefsBot از محدوده IP و IP های فردی استفاده می کند که می توانند در لیست سفید یا سیاه برای دسترسی ،نده وب سایت قرار گیرند که در زیر مشاهده خواهید کرد. اگر برای لیست سیاه این آدرس های IP برای وب سایت خود به کمک نیاز دارید، سپس این راهنمای مرتبط را در مورد نحوه مسدود ، AhrefsBot با نمونه کدی که می تو،د در فایل htaccess. ریشه وب سایت خود کپی و جایگذاری کنید، بررسی کنید.

محدوده IP AhrefsBot

AhrefsBot هر 24 ساعت بیش از 6 میلیارد صفحه وب را می ،د و فهرست پیوندها را هر 15 تا 30 دقیقه به روز می کند. از یک فرآیند الگوریتمی برای تعیین بودجه ،یدن برای هر وب سایت استفاده می کند. بر اساس محدودیت نرخ ،یدن و تقاضایی که به وب‌سایت اختصاص می‌دهد، AhrefsBot تعداد متفاوتی از صفحات وب را در طول هر بازدید برای واکشی داده‌های پیوند می‌،د.

AhrefsBot همچنین برنامه ریزی شده است تا وب سایت را خیلی سریع ،ید تا از بارگذاری بیش از حد آن جلوگیری کند، که می تواند منجر به مهلت زم، و خطاهای سرور شود. همچنین هیچ اطلاعاتی در مورد وب سایت هایی که تجزیه و تحلیل می کند جمع آوری یا ذخیره نمی کند. همچنین AhrefsBot بازدیدهای تبلیغاتی را فعال نمی کند یا به ،وان ترافیک بازدیدکننده در Google Analytics نشان داده نمی شود.

یک تماس استراتژی با محتوای اصلاح شده رزرو کنید

بر اساس گزارش ترافیک ربات Imperva IncapsulaAhrefsBot یکی از فعال ترین ،کبوت های وب است که توسط شرکت های تجاری برای ،یدن وب سایت ها و بازیابی اطلاعات برای اه، بازاریابی دیجیتال استفاده می شود. AhrefsBot به طور مداوم کار می کند تا به بازاریابان آنلاین بینش بهتری نسبت به الگوریتم های نمایه سازی و رتبه بندی موتورهای جستجو مانند گوگل، یاهو و بینگ بدهد تا بتوانند وب سایت ها و کمپین های SEO خود را بهتر بهینه کنند.

کنترل AhrefsBot در وب سایت شما

امیدوارم از این راهنما در AhrefsBot لذت برده باشید.

در زیر، AhrefsBot چیست، چگونه کار می‌کند و راه‌هایی برای کنترل این ،نده وب در وب‌سایت خود با استفاده از دستورالعمل‌هایی که ربات از آنها تبعیت می‌کند، خواهید یافت.

Ahrefsbot: چیست و چگونه کار می کند

AhrefsBot چیست؟

User-agent: AhrefsBot
Crawl-Delay: [value]

AhrefsBot را می توان با افزودن نشانه گذاری زیر به فایل robots.txt از ،یدن وب سایت شما مسدود کرد:

فرکانس ،یدن AhrefsBot را می توان با تعیین حداقل تاخیر قابل قبول بین دو درخواست متوالی در فایل robots.txt با استفاده از این نشانه گذاری تغییر داد:

AhrefsBot می تواند توسط فایل robots.txt وب سایت شما کنترل شود تا فرکانس بازدید ،نده از وب سایت شما را تغییر دهد و آن را به طور کامل از ،یدن پیوندها در دامنه شما مسدود کند.

تغییر فرکانس ،یدن AhrefsBot

همانطور که متوجه شدید، AhrefsBot یک ،نده وب است که پایگاه داده پیوند را برای مجموعه ابزار بازاریابی دیجیتال Ahrefs کامپایل و نمایه می کند. AhrefsBot به طور مداوم با ،یدن در وب کار می کند تا پایگاه داده پیوند خود را با پیوندهای جدید پر کند و وضعیت پیوندهای موجود را برای یافتن URL های مرده بررسی می کند. این فرآیند داده های لحظه به لحظه را برای کاربران Ahrefs فراهم می کند. شما فرکانس ،یدن AhrefsBot وب سایت خود را تغییر می دهید و از دسترسی آن به سایت خود از طریق فایل robots.txt یا آدرس های IP جلوگیری می کنید.

توسط علی جهانی

علی جهانی ملقب به سنیور سئو است