یک موتور جستجو مانند گوگل از سه چیز تشکیل شده است: یک ،نده، یک شاخص و یک الگوریتم. یک ،نده پیوندها را در وب دنبال می کند. این کار را 24/7 انجام می دهد! هنگامی که یک ،نده به یک وب سایت می آید، نسخه HTML را در یک پایگاه داده غول پیکر به نام ایند، ذخیره می کند. این شاخص هر بار که ،نده به وب سایت شما می آید، به روز می شود و نسخه جدید یا اصلاح شده آن را پیدا می کند. بسته به اینکه گوگل چقدر سایت شما را مهم می‌داند و تعداد تغییراتی که در وب‌سایت خود ایجاد می‌کنید، ،نده بیشتر یا کمتر مورد استفاده قرار می‌گیرد.
یک راه آسان برای یادگیری، انجام آموزش های فنی سئو ما است. این دوره های سئو به شما یاد می دهند که چگونه مسائل فنی سئو را شناسایی کرده و آنها را حل کنید (با افزونه Yoast SEO ما). ما همچنین یک آموزش اختصاص داده شده به ،یدن و نمایه سازی داریم! برای کاربران Premium خوب است بد،د: Yoast SEO Academy در حال حاضر بدون هزینه اضافی در اشتراک Premium شما گنجانده شده است!
،یدن با امکاناتی که گوگل برای ،یدن وب سایت شما دارد، ارتباط دارد. خوشبختانه، شما می تو،د ،نده ها را در سایت خود مسدود کنید. اگر وب سایت یا صفحه ای در وب سایت شما مسدود شده است، به ،نده Google می گویید: «اینجا نیایید». در نتیجه، سایت شما یا صفحه مربوطه در نتایج جستجو ظاهر نمی شود. حداقل در بیشتر موارد.
اگرچه ،یدن بخشی اساسی از سئوی فنی است (با تمام مواردی که گوگل را قادر می‌سازد تا سایت شما را فهرست کند) انجام می‌شود، اما در حال حاضر برای ا،ر مردم چیزهای بسیار پیشرفته‌ای است. با این حال، مهم است که درک کنید ،یدن چیست. شما ممکن است مسدود کنید – شاید حتی بدون اینکه بد،د! – ،نده های سایت شما، به این م،ی که هرگز در گوگل رتبه بالایی نخواهید داشت. بنابراین، اگر در مورد SEO جدی هستید، ،یدن باید برای شما مهم باشد.
آیا می خواهید از رقبای خود پیشی بگیرید؟ سپس دانش اولیه سئو فنی ضروری است. البته، شما همچنین باید محتوای عالی و مرتبط برای سایت خود ایجاد کنید. خوشبختانه، افزونه Yoast SEO از (تقریبا) همه چیز در سایت وردپرس شما مراقبت می کند. با این حال، درک یکی از مهمترین مفاهیم سئو فنی خوب است: ،یدن.
دوباره ،نده چیست؟
واقعیت جالب: به ،نده ربات، ربات یا ،کبوت نیز گفته می شود! و گاهی اوقات از ،نده گوگل به ،وان Googlebot یاد می شود.
به خواندن ادامه دهید: ترافیک ربات: چیست و چرا باید به آن اهمیت دهید »
ماریکه ون د راکت
بیشتر بخو،د: اصول سئو: گوگل چه می کند »
و ،یدن چیست؟
این غیرضروری است، زیرا بعید است که در یک روز مشخص، چندین تغییر در URL ایجاد کنید. ناگفته نماند، تقریباً هر CMS نش،های اینترنتی ،وجی را تولید می‌کند که منطقی نیست که ،نده‌ها می‌توانند با خیال راحت از آنها عبور کنند. اما به جای نادیده گرفتن این آدرس‌ها، ،نده‌ها هر بار که با یک آدرس اینترنتی روبرو می‌شوند، دوباره و دوباره آنها را می،ند. تمام این ،یدن غیر ضروری طول می کشد تن از منابع انرژی که است برای سیاره ما مضر است.
،یدن سایت خود را با Yoast SEO Premium بهبود بخشید
- اگر فایل robots.txt شما ،نده را مسدود کند، گوگل به وب سایت یا صفحه وب خاصی شما نمی آید.
- قبل از ،یدن وب سایت شما، ،نده نگاهی به هدر HTTP صفحه شما می اندازد. این هدر HTTP حاوی یک کد وضعیت است. اگر این کد وضعیت می گوید که صفحه ای وجود ندارد، گوگل وب سایت شما را نمی ،ند. میخواهی بیشتر بد،؟ ما همه چیز را در مورد این نکته هدر HTTP در ماژول آموزش SEO فنی خود توضیح خواهیم داد!
- اگر متا تگ روبات در یک صفحه خاص، موتور جستجو را از فهرست ، آن صفحه مسدود کند، گوگل آن صفحه را می،د، اما آن را به فهرست خود اضافه نمی‌کند.
چگونه ،نده ها بر محیط تأثیر می گذارند
پس چگونه کار می کند؟ ما یک ویژگی تنظیمات ،یدن داریم که URL ها، فیدها و دارایی های غیر ضروری را از وب سایت شما حذف می کند. این باعث می شود که ،نده ها وب سایت شما را کارآمدتر ،نده کنند. نگران نباشید، شما هنوز کنترل دارید! زیرا این ویژگی همچنین به شما این امکان را می دهد که برای هر نوع دارایی تصمیم بگیرید که آیا واقعاً می خواهید URL را حذف کنید یا خیر. اگر می خواهید بیشتر بد،د، در اینجا همه چیز را در مورد تنظیمات ،یدن توضیح خواهیم داد.
آیا می خواهید در مورد ،یدن بیشتر بد،د؟
بله شما آن را درست خواندید. ،نده ها تأثیر قابل توجهی بر محیط زیست دارند. به این صورت است: ،نده ها می توانند چندین بار در روز به سایت شما بیایند. چرا؟ آنها می خواهند محتوای جدیدی را کشف کنند یا بررسی کنند که آیا به روز رس، جدیدی وجود دارد یا خیر. و هر بار که از سایت ما بازدید می کنند، می ،ند هر چیزی که برای آنها شبیه یک URL است. این بدان م،است که یک URL اغلب چندین بار در روز ،یده می شود.
ماریکه رئیس استراتژی Yoast و بنیانگذار آکادمی Yoast SEO است. او دوست دارد ایده ها و محصولات جدیدی ارائه دهد تا SEO را برای همه قابل دسترس کند و از رشد سالم Yoast اطمینان حاصل کند!
منبع: https://yoast.com/what-is-crawlability/
برای اطمینان از اینکه انرژی خود را هدر نمی دهید، مهم است که از تنظیمات ،یدن سایت خود مطلع باشید. خوشبختانه، لازم نیست همه کارها را خودتان انجام دهید. استفاده از ابزارهایی مانند Yoast SEO Premium کار را برای شما آسان تر می کند!
