همه چیز در مورد فایل ربات سایت Robots.txt و بهینه سازی آن در وردپرس

خب وقتی گوگل چنین فایلی دارد حتما مهم است! وقتی فایل ربات شما خالی از دستورات باشد، ربات ها هر گونه که بخواهند با سایت شما رفتار می کنند. هر ربات و موتور جستجویی وقتی سایت شما را برای اولین بار میبیند به این فایل سر میزند. حتما حس کرده اید که ارتباطی بین فایل ربات سایت و ربات موتور جستجو وجود دارد! اولین کاری که می کند سر زدن به این فایل است، بنابراین دو حالت بیشتر وجود ندارد، یا این فایل را دارید و شامل دستورات است، یا این فایل خالی است که همین یعنی فایلی ندارید. دستورها با دو گزینه “متغیر Wildcard” و “متشابه Matches” میتوانند گزینه های بیشتر و دارای تنوع را پوشش دهند. بهتر است دقیق تر با دستورات آشنا شوید و همیشه نظر یک متخصص را بپرسید تا بتوانید یک نقشه سایت درست حسابی برای خود بسازید. آدرس نقشه سایت با این دستور مشخص می شود تا ربات موتورهای جستجو به آن دسترسی مستقیم پیدا کنند و از آن برای ایندکس بهتر و سریع تر استفاده کنند. به این آدرس سر بزنید تا فایل ربات گوگل را ببینید.

برچسب گذاری کیلویی در سایت، باعث مشکلات زیادی برای سئو میشود که در نهایت میتواند رتبه صفحات سایت شما را سایت entityseo کاهش بدهد. اما در برچسب گذاری اغلب محصولات فروشگاه های اینترنتی و برخی از مقالات، نیاز به نوشتن توضیح یا راهکار دیگری ندارید. همانطور که گفتم، ممکن است در برخی از کلمات مخاطب شما قبل از مطالعه مقالات برچسب، نیاز به مطالعه یک توضیح کوتاه و ابتدایی داشته باشد. خروج سریع کاربر: زمانی که کاربر برای مطالعه یک مقاله پایه ای وارد صفحه برچسب سایتتان میشود و در آنجا میان مقالات تخصصی گیر میکند، احتمالا دکمه back مرورگرش را انتخاب و سپس و وارد سایت دیگری میشود. برای اینکار کافیست وارد “پیشخوان وردپرس” شده، روی “تنظیمات افزونه” کلیک کرده و “ابزارها” را انتخاب کنید. در کادر مشخص شده، متن فایل ربات خود را به صورت دستی وارد کرده و روی بررسی TEST کلیک کنید. این یعنی سایت ها از طرف موتور جستجو، نسبت به رقبای خودشان بررسی میشوند. با دستور Disallow و عبارت search موتور جستجو را از ایندکس نتایج جستجوی کاربران محروم کرده ایم.

وقتی این گزینه را بزنیم، سایت یک فایل ربات می سازد و کدهای مربوطه را به آن وارد می کند. استفاده از فایل ربات به مدیر سایت واگذار شده و یک حرکت اختیاری است. این فایل متنی شامل رشته متن هایی موسوم به “دستور” است که به ربات موتورهای جستجو مثل گوگل و بینگ می گوید چطور با سایت رفتار کنند. به انتهای .php اضافه شد، یعنی تمام آدرس هایی که با .php تمام می شوند از دستور مورد نظر پیروی کنند. این عبارت شامل تمام خویشاوندان، حیوون خونگی و حتی پرنده ی تو باغچه ها هم می شود. نقشه سایت Sitemap: با این دستور برای ربات ها مشخص می کنید که نقشه XML سایت کجاست. تاخیر در ایندکس، ایندکس یا نوایندکس، خطاب کردن ربات موتور جستجو و … کلماتی مثل “MUST”, “MUST NOT”, “REQUIRED”, “SHALL”, “SHALL NOT”, “SHOULD”, “SHOULD NOT”, “RECOMMENDED”, “MAY” و غیره که اصلا ربات موتور جستجو از آنها چیزی حالی نمی شود. چرا باید فایل ربات robots.txt داشته باشید؟ باید مراقب باشید چون این فایل به همه چیز حتی بزرگ و کوچک بودن حروف حساس است. چون یک وبمستر حرفه ای میداند با فایل ربات چه کار کند. از نظر گوگل هم اساسا یکی از فاکتورهای مهم سئو داشتن فایل ربات است.

کافیست افزونه Virtual Robots.txt را نصب و فعال کنید. اگر قبلا حساب سرچ کنسول (همان وبمستر تولز قدیم) را ایجاد کرده اید، وارد پنل کاربری خود شوید. شوید. وارد این مسیر شدید، روی گزینه Upload to this Directory کلیک کرده و فایل خود را برای آپلود انتخاب کنید. شوید. کافیست در اینجا روی Upload کلیک کرده و فایل را برای آپلود انتخاب کنید. چگونه قوانینی را می توانم در robots.txt قرار دهم؟ دستور محروم کردن Disallow: این دستور مشخص می کند که رباتی که در User Agent خطاب شده به این آدرس دسترسی نداشته و نباید به آن سر بزند. نام ربات User Agent: این مورد نام مشخص ربات موتور جستجو را خطاب می کند و دستورات را برای ربات مورد نظر مشخص می کند. پس آن را از دسترسی گوگل و بینگ و هر موتور جستجوی دیگری خارج می کنم. پس پیشنهاد میکنیم تمام این ربات ها را در فایل ربات خود قرار دهید. پس شما هم نیازمند فایل ربات هستید.

تنها کاری که لازم است انجام دهید دیدن فایل ربات سایت است. پس منطقی است هر سایتی یک فایل ربات داشته باشد. به همین دلیل نیازمند تحقیق و بررسی هستید تا ببینید باید به کدام ربات اجازه دهید و کدام را از سایت محروم کنید. پس از فعال سازی، افزونه وردپرس نام برده سایت را بررسی کرده و خودکار مواردی که لازم است از دسترس موتورهای جستجو خارج شوند را Disallow می کند. اینکه از افزونه سازنده فایل ربات استفاده کنید تا آن را برای شما نصب و راه اندازی کند. روی آن کلیک کنید تا فایل شما ساخته شود. در وبمستران گوگل حساب خود را ایجاد کنید و سایت را به آن متصل کنید. همچنین اگر نقشه سایت خود را ساخته باشید، خودکار در فایل ربات سایت اضافه می شود. پس از ساخته شدن فایل ربات با افزونه Yoast میتوانید دستورات خود را در افزونه قرار دهید و آن را ذخیره کنید.

کاربران برای دانلود این ویدیو، از کلمات مختلفی استفاده میکنند. در بخش ابزارها، سه ابزار در اختیار شما قرار گرفته است که یکی از آنها “ویرایشگر فایل” است. اصلا آنها زبان آدمیزان حالیشان نیست، پس خودتان را خسته نکنید. پس آموزش خود را ادامه دهید. دایرکت ادمین را باز کرده و روی مدیریت فایل File Manager کلیک کنید. اضافه کنید. پس از اضافه کردن آن، کافیست سایت را در مرورگر در حالت Private باز کرده و پس از آدرس سایت، آدرس فایل ربات را وارد کنید تا ببینید کار خود را درست انجام داده اید یا نه. یعنی با جستجو آموزش سئو دو صفحه از سایتتان در نتایج هستند اما به دلیل ارزش پایین صفحات، هیچ کدام به نتایج اول نمیرسند و در صفحات انتهایی گوگل (5 تا 10 و…) باقی میمانند. شما اگر به سایت های بزرگ دانلود فیلم و نرم افزار هم مراجعه کنید، میبینید که بیشتر صفحات آنها دارای برچسب های کیلویی و با تعداد بالا هستند. بیشتر وب سایت ها مخصوصا سایت های وردپرسی یک فایل ربات robots.txt دارند ولی به این معنی نیست که مدیر سایت این فایل را می شناسد.

همانطور که گفتیم ربات موتورهای جستجو زیاد هستند، پس باید برای آنها مشخص کنید کدام یک حق دارند به سایت شما سر بزنند و کدام یک حقی برای دیدن سایت ندارند. قطعا داشتن فایل ربات کمک می کند بتوان استراتژی سئوی سایت را کنترل کرد، میتوان نقشه سایت را برای گوگل و بینگ مشخص کرد، قسمت های نامناسب سایت را از ایندکس گوگل خارج کرد و آدرس های ویژه را در آن قرار داد. پس از اینکه فایل متنی خودتان را در رایانه خود ساختید، انکد آن را روی UTF8 قرار داده و آن را با نام robots.txt ذخیره کنید. پس از نوشتن دستورات، باید آن را به صورت یک فایل انکد 8 UTF8 ذخیره کنید. توجه: اگر سایت شما هم بدون www و هم با www و یا با http و با https قابل دسترسی باشد، باید توجه کنید که در تمامی این حالت فایل robots.txt شما باید میان تمامی این آدرس ها کاملا یکسان باشد، در غیر این صورت ربات های موتور جستجو در خزیدن سایت شما سردرگم خواهند شد.

اگر اولین بارتان باشد که این قسمت را باز میکنید و قبل از نصب افزونه یوست سئو فایل ربات خود را نساخته باشید، دکمه برای شما به صورت “ایجاد فایل ربات” نمایش داده خواهد شد. به هر حال، این افزونه در بخشی از ابزارهای خود این امکان را فراهم کرده تا بتوانید نقشه سایت خود را بسازید، ایندکس را کنترل کنید یا اینکه یک فایل ربات robots.txt بسازید. مدیر سایت در فایل ربات به موتورهای جستجو دستور میدهد تا سایت را ایندکس کنند یا اینکه با دستورات خود مجوز خزیدن به بخش های مختلف سایت را به ربات موتور جستجو می دهد. اوه نه، صبر کنید، چرا شما میخواهید فقط از گوگل ترافیک داشته باشید، در حالی که ممکن است از موتور جستجوی دیگری چون بینگ یا یاهو هم ترافیک کسب کنید! تقریبا همه سایت های دنیا دارای فایل ربات هستند چون این فایل برای سایت مهم تلقی می شود. روی ویرایشگر فایل کلیک کنید تا در صفحه باز شده برای شما ویرایش دو فایل مهم سایت فراهم شود. این فایل توسط مدیر سایت ساخته می شود و در این قسمت از هاست قرار میگیرد تا برخی فعالیت های سایت را بتوان با آن کنترل کرد.

صندلی خودتان را سفت بچسبید که میخواهیم با روش های هیجان انگیزی آشنایتان کنیم. میخواهیم وارد جزئیات این ترفندها شویم. پیشنهاد ما همیشه اینست که اول کل دستورات را مرور کنید، چند مثالی از آنها را ببینید و سپس تصمیم بگیرید کدام بخش از سایت را از ایندکس خارج کرده و کدام را در ایندکس وارد کنید. مثل اینست که بگویید “هیچ موجود زنده ای” حق ندارد به تلفن شما دست بزند. اکنون نوبت شماست. به سایت خود برگردید و تمام این بهینه سازی ها را روی سایت خود انجام دهید. اگر میخواهید فهرست کاملی از ربات موتورهای جستجو را ببینید، به این آدرس بروید. عملا فایل ربات از طرف مدیر سایت برای موتورهای جستجو تهیه و ارائه می شود. بله درست حدس می زنید، فایل ربات سایت برای ربات موتورهای جستجو ساخته می شود، موتورهای جستجو ابزاری دارند که به آن ربات یا بات bot می گویند. معمولا هاست های سی پنل گرانتر هستند ولی ارزش این را دارند چون یک پنل هاستینگ حرفه ای به شما ارائه می کنند. این ربات ها وظیف دارند سایت ها را بررسی کرده و تغییرات جدید را در دیتابیس خود ذخیره کنند.

در این نوشته ما سعی داریم تا با شناسایی درست و عمیق فایل مهم ربات سایت به شما این وضعیت را تغییر دهیم و شما بدانید که چگونه فایل ربات سایت را کنترل کنید، بهترین فایل ربات را بسازید و دسترسی هایش را محدود یا مجاز کنید. برای ساختن فایل ربات در وردپرس ما یک راه ساده را به شما پیشنهاد میکنیم. باید به افتخار وردپرس کلاه خود را از سر برداریم. در سرچ کنسول موتور جسجوی گوگل، مدیر سایت میتواند فایل ربات سایت خود را برای گوگل ارسال کند تا گوگل از آن استفاده کند. در واقع یا ربات را از یک آدرس دور نگه می دارید و از آدرس محافظت می کنید، یا اینکه به ربات موتور جستجو اعلام می کنید به کدام بخش ها سر بزند و کدام بخش ها را بیشتر مورد بررسی قرار دهد. با این دستور ربات منتظر گذر زمان مشخص شده می شود سپس اقدام به بررسی و ایندکس می کند. وقتی فایلی نداشته باشید ربات هم آزاد است به تمام بخش های سایت سر بزند.

فایل ربات یک فایل متنی با ساختار txt ساده است، که دقیقا در ریشه root هاست سایت قرار گرفته و برای تمام موتورهای جستجو و کاربران بازدید کننده دارای دسترسی مجاز است. دستور سوم: دسترسی به دیگر قسمت های سایت هم باز است و قسمتی از مسیر مسدود شده ی directory2 دارای دسترسی مجاز است و آدرس آن directory2/subdirectory1 است. دستورات فایل ربات به دو صورت Allow و Disallow تعریف می شوند، برای مجوز دادن به ربات موتور جستجو از دستور Allow استفاده می شود و برای محروم کردن یا محافظت کردن از آدرس یا قسمتی از سایت هم از Disallow استفاده می شود. برای خطاب کردن ربات موتور جستجو باید نام آن را وارد کنید، پس نیازمند دانستن نام کامل و تعداد کامل ربات موتورهای جستجو هستید. چه دستوراتی در فایل ربات robots.txt قرار دهم؟ تمامی دستوراتی که باید به فایل ربات بدهید با مقادیر زیر کنترل می شوند. در واقع گوگل یکی از فاکتورهای رتبه بندی سایت را داشتن فایل ربات قلمداد می کند. اگر میخواهید ربات های گوگل با تاخیر برگه های شما را ایندکس کنند در سرچ کنسول می توانید آن را کنترل کنید. حتی سایت گوگل هم دارای فایل ربات است. یکی از استانداردهای گوگل که در راهنمای موتور جستجوی این شرکت در یک فایل PDF در اختیار کاربران به صورت عمومی قرار گرفته، داشتن فایل ربات در سایت است.

اما هنوز بررسی فایل ربات به نسخه جدید اضافه نشده، پس بهتر است موقتا از نسخه قدیمی برای تست فایل ربات استفاده کنید. این افزونه به طور خودکار یک فایل می سازد، دسترسی های آن را بررسی کرده و آن را به گوگل و بینگ نشان می دهد. اگر واقعا مصمم هستید سایت خود را با افزونه Yoast SEO بهینه سازی کنید. وقتی از وایلد کارد یا متغیر استفاده کنید، عملا هر رباتی را نشانه رفته اید. توجه: برای برخی کاربران گزارش شده که وقتی اولین بار فایل ربات توسط افزونه یوست Yoast ساخته می شود، وارد یک برگه سراسر کدنویسی شده می شوند. یک نمونه فایل صحیح ربات robots.txt که شاید بیشتر کاربران به دنبال آن هستند، میتوانید آن را در زیر مشاهده کنید. ربات گوگل کمی بیشتر از بقیه می فهمد و با این دستور میتوان آدرسی را برای گوگل مجاز کرد که در میان آدرس های محروم قرار گرفته است. دستور مجاز کردن Allow: بر خلاف تصور سئوکار ها، این دستور فقط برای ربات گوگل کاربرد دارد.

توسط علی جهانی

علی جهانی ملقب به سنیور سئو است