آموزش ساخت فایل robots.txt و بهینه سازی آن برای سئو ...

آیا می‌دانید فایل robots.txt چیست و چگونه می‌توان با کمک آن سئوی سایت را بهبود داد؟ فایل robots.txt یکی از ابزارهای مهم و ضروری در بهینه‌سازی سایت برای موتورهای جستجو است.

این فایل به موتورهای جستجو می‌گوید که چگونه وب‌سایت شما را مورد بررسی قرار دهند و کدام صفحات را خزش کنند یا نکنند. این موضوع باعث می‌شود که فایل robots.txt به یکی از ابزارهای بسیار موثر در سئو تبدیل شود.

با استفاده مناسب از این فایل، می‌توانید به شکل چشمگیری بهبود عملکرد سئوی سایت خود را تجربه کنید.اگر به بهینه‌سازی موتورهای جستجو (SEO) سایت خود اهمیت می‌دهید و نمی‌خواهید هیچ جزئیاتی را در این زمینه از قلم بیندازید، خواندن این مقاله ضروری است. در این مقاله، نحوه ساخت فایل robots.txt را برای سایت‌های وردپرسی به شما آموزش می‌دهیم و نشان می‌دهیم که چگونه می‌توانید از این فایل برای بهبود سئوی سایت خود بهره ببرید.

پس تا انتهای مقاله همراه ژاکت آکادمی باشید.

فایل Robots.txt چیست؟

همه بازدیدکنندگان سایت شما انسان‌های عادی نیستند؛ بلکه ربات‌های گوگل نیز در فواصل زمانی مختلف به سایت شما سر می‌زنند.

به این فرایند خزیدن یا کراول (Crawl) گفته می‌شود.

بازدید ربات‌های گوگل از سایت شما به منظور یافتن صفحات جدید یا ایندکس کردن صفحات موجود انجام می‌شود.

فایل robots.txt یک فایل متنی است که نحوه کراول کردن ربات‌ها و ایندکس کردن صفحات سایت را مشخص می‌کند.

به طور کلی، این فایل به ربات‌های گوگل دستور می‌دهد که چگونه در سایت شما حرکت کنند و چه صفحاتی را ببینند یا نبینند.

فایل robots.txt بخشی از پروتکل Robots Exclusion Protocol (REP) است که شامل دستورالعمل‌هایی برای مدیریت دسترسی ربات‌ها به صفحات وب است.

لینک‌های فالو و نوفالو نیز جزئی از همین پروتکل هستند.

این فایل توسط وب‌مسترها ایجاد می‌شود تا به ربات‌های گوگل بگویند که کدام صفحات سایت را کراول کنند و کدام صفحات را نادیده بگیرند.

استفاده از فایل robots.txt به شما این امکان را می‌دهد که کنترل بهتری بر روی نحوه دسترسی ربات‌های موتورهای جستجو به محتوای سایت خود داشته باشید.

با این فایل می‌توانید مشخص کنید که کدام بخش‌های سایت شما توسط ربات‌ها دیده شود و کدام بخش‌ها نادیده گرفته شود که این امر می‌تواند به بهینه‌سازی سئوی سایت کمک بسیاری کند.

نحوه ساخت فایل  Robots txt چگونه است؟

قبل از پرداخت به روش ساخت فایل robots.txt لازم است که بدانیم این فایل از چهار دستور اصلی تشکیل می‌شود:

User-agent: در این بخش، ربات یا ربات‌هایی که دستورات برای آن‌ها نوشته شده را مشخص می‌کنید. Disallow: این دستور به ربات می‌گوید که اجازه ندارد به بخش‌های مشخص شده از سایت دسترسی پیدا کند. Allow: این دستور به ربات اجازه می‌دهد که به بخش‌های خاصی از سایت دسترسی پیدا کند، حتی اگر آن بخش‌ها در دستور Disallow قرار گرفته باشند. Sitemap: این دستور برای اعلام آدرس نقشه سایت به ربات‌های موتور جستجو استفاده می‌شود.

در ادامه مقاله، تمامی این دستورات را به طور دقیق‌تر مورد بررسی قرار خواهیم داد.

برای ساخت فایل robots.txt ، دو روش اصلی وجود دارد که می‌توانید یکی از آن‌ها را انتخاب کنید:

استفاده از افزونه برای سایت‌های وردپرسی ساخت فایل robots بصورت دستی

ساخت فایل روبوتس با افزونه وردپرسی

با استفاده از افزونه‌های مختلف وردپرس می‌توانید به راحتی فایل robots.txt را ایجاد و مدیریت کنید.

این افزونه‌ها به شما امکان می‌دهند تا دستورات مورد نظر خود را به سادگی وارد کرده و فایل را مستقیماً از پنل مدیریت وردپرس ویرایش کنید.

افزونه All in One SEO (AIOSEO) با بیش از 2 میلیون نصب فعال، یکی از محبوب‌ترین افزونه‌ها برای سئو و بهینه‌سازی وب‌سایت‌های وردپرسی است.

این افزونه به دلیل طراحی کاربرپسند خود، گزینه‌ای عالی برای مبتدیان به شمار می‌آید.

با استفاده از AIOSEO، می‌توانید به راحتی فایل robots.txt خود را ایجاد و ویرایش کنید.

در ادامه نحوه انجام این کار توضیح داده می‌شود.

1.

نصب و فعال‌سازی افزونه: ابتدا افزونه All in One SEO را نصب و فعال کنید.

پس از فعال‌سازی، از منوی All in One SEO گزینه Tools را انتخاب کنید تا به صفحه ابزارها دسترسی پیدا کنید.

2.

فعال کردن گزینه Custom Robots.txt: در این صفحه، گزینه Enable Custom Robots.txt را فعال کنید.

با فعال کردن این گزینه، یک فایل سفارشی robots.txt در وردپرس ایجاد می‌شود که می‌توانید آن را ویرایش کنید.

3.

مشاهده فایل Robots.txt موجود: افزونه AIOSEO فایل robots.txt موجود را در بخش Robots.txt Preview در پایین صفحه نمایش می‌دهد.

این بخش شامل قوانین پیش‌فرضی است که توسط وردپرس اضافه شده‌اند و به موتورهای جستجو دستور می‌دهد که از فایل‌های اصلی وردپرس استفاده نکنند، اجازه ایندکس کردن تمام مطالب را بدهند و به نقشه‌های XML سایت دسترسی داشته باشند.

4.

افزودن قوانین سفارشی: برای افزودن قوانین جدید، دکمه Add Rule را انتخاب کنید.

سپس، در قسمت “User Agent”، عامل کاربری مورد نظر خود را وارد کنید.

اگر می‌خواهید قانون برای همه ربات‌ها اعمال شود، از علامت * استفاده کنید.در قسمت Rule، مشخص کنید که آیا می‌خواهید دسترسی به بخش مشخصی از سایت مجاز یا غیرمجاز باشد.

سپس نام فایل یا مسیر دایرکتوری را در قسمت Directory Path وارد کنید.

5.

ذخیره تنظیمات: پس از وارد کردن قوانین، برای ذخیره تنظیمات روی دکمه Save Changes کلیک کنید.

این مراحل به شما کمک می‌کند تا فایل robots.txt سایت وردپرسی خود را به راحتی ایجاد و مدیریت کنید و کنترل بیشتری بر روی نحوه خزش و ایندکس‌شدن صفحات سایت توسط موتورهای جستجو داشته باشید.

ساخت و یا ویرایش فایل Robots نیازمند داشتن دانش سئو و بهینه سازی وبسایت است.

با شرکت در دوره سئو پیشرفته ژاکت آکادمی علاوه بر مباحث سئو داخلی و خارجی، اصول سئو تکنیکال را یاد بگیرید و به راحتی خودتان Robots.txt را برای سایتتان به بهترین شکل بسازید و یا ادیت کنید.

این دوره کامل با 50% تخفیف ویژه در حال عرضه است و برای مشاهده آن می‌توانید بر روی بنر زیر کلیک نمایید.

ساخت فایل Robots.txt به صورت دستی

در این روش، شما باید فایل robots.txt را به صورت دستی ایجاد کنید و سپس آن را در دایرکتوری اصلی سایت خود آپلود کنید.

برای این کار در دایرکتوری اصلی وب‌سایت خود راست‌کلیک کرده و گزینه “Create new file” را انتخاب کنید.

سپس نام فایل را به robots.txt تغییر دهید.

اگر فایل موجود باشد می‌توانید از طریق سی‌پنل هاست یا با استفاده از FTP به هاست خود متصل شوید و فایل robots.txt را ویرایش و سفارشی‌سازی کنید.

در اینجا نحوه انجام این کار با استفاده از FTP توضیح داده شده است:

اتصال به هاست با استفاده از FTP: ابتدا از طریق یک کلاینت FTP مانند FileZilla به هاست خود متصل شوید.  پیدا کردن فایل Robots.txt: پس از ورود به هاست، به دایرکتوری اصلی وب‌سایت خود (پوشه public_html) بروید و فایل robots.txt را پیدا کنید. ویرایش فایل Robots.txt: فایل robots.txt را باز کرده و دستورات مورد نظر خود را وارد کنید.

برای مثال: User-agent: * Disallow: /private/ Allow: /public/ Sitemap: https://www.example.com/sitemap.xml ذخیره تغییرات: پس از ویرایش فایل، آن را ذخیره کنید و مطمئن شوید که تغییرات اعمال شده‌اند.

این روش به شما امکان می‌دهد تا کنترل کاملی بر نحوه دسترسی ربات‌های موتور جستجو به محتوای سایت خود داشته باشید و می‌توانید فایل robots.txt خود را به دلخواه حتی در سایت‌های غیر وردپرسی سفارشی‌سازی کنید.

لیست دستورات فایل Robots.txt که باید هنگام ساخت آن بدانید

فایل robots.txt ابزاری قدرتمند برای کنترل دسترسی ربات‌های موتورهای جستجو به بخش‌های مختلف وب‌سایت است.

این فایل شامل دستورات متعددی است که به شما امکان می‌دهد تعیین کنید کدام بخش‌های سایت شما باید یا نباید خزش شوند.

دستور User-agent دستور Disallow دستور Allow دستور Sitemap

در ادامه، این چهار دستور مهم و نحوه استفاده از آن‌ها را بررسی می‌کنیم:

 User-agent

دستور User-agent در فایل robots.txt برای هدف قرار دادن یک ربات خاص استفاده می‌شود.

این دستور به شما امکان می‌دهد تا مشخص کنید که کدام ربات باید دستورات بعدی را دنبال کند.

به دو روش می‌توان از این دستور استفاده کرد:

هدف قرار دادن همه ربات‌ها: با استفاده از کاراکتر ستاره (*)، می‌توانید تعیین کنید که دستورات باید توسط همه ربات‌ها رعایت شوند.

این کار زمانی مفید است که بخواهید قوانینی عمومی برای تمام ربات‌ها تعریف کنید.

هدف قرار دادن یک ربات خاص: با مشخص کردن نام ربات، می‌توانید تنظیمات خاصی را فقط برای آن ربات تعیین کنید.

برای مثال، اگر بخواهید دسترسی یک ربات خاص مانند ربات‌های موتور جستجو بینگ را محدود کنید، می‌توانید نام آن را که bingbot است را در دستور User-agent بیاورید.

دستور Disallow

دستور Disallow به ربات‌های موتور جستجو می‌گوید که نباید به چه بخش‌هایی از سایت شما دسترسی پیدا کنند.

این دستور برای زمانی مفید است که می‌خواهید برخی قسمت‌های سایتتان را از دید موتورهای جستجو پنهان کنید تا ایندکس نشوند.

به عنوان مثال، فرض کنید در سایت خود پوشه‌ای به نام videos دارید که شامل ویدیوهایی است که نمی‌خواهید توسط موتورهای جستجو ایندکس شوند.

می‌توانید با استفاده از دستور زیر در فایل robots.txt، دسترسی ربات‌ها به این پوشه را محدود کنید:

دستور Allow

دستور Allow به ربات‌های موتور جستجو این امکان را می‌دهد که به بخش‌های خاصی از سایت دسترسی پیدا کنند، حتی اگر آن بخش‌ها در لیست ممنوعیت Disallow باشند.

این دستور به‌ویژه برای ربات‌های گوگل مفید است و به شما کمک می‌کند تا به صورت دقیق‌تری دسترسی ربات‌ها به محتوای سایت خود را مدیریت کنید.

برای مثال، اگر نمی‌خواهید ربات‌ها به کل پوشه videos دسترسی داشته باشند، اما می‌خواهید که یک فایل مشخص، مثلاً X.mp4، در آن پوشه قابل ایندکس باشد، می‌توانید تنظیمات زیر را در فایل robots.txt اعمال کنید:

دستور Sitemap

می‌توانید با استفاده از دستور Sitemap در فایل robots.txt، محل نقشه سایت خود را به ربات‌های موتورهای جستجو اعلام کنید.

این دستور به ربات‌ها نشان می‌دهد که نقشه سایت شما در کجا قرار دارد و توسط موتورهای جستجویی مانند گوگل، بینگ، یاهو و Ask پشتیبانی می‌شود.

به عنوان مثال، اگر می‌خواهید به ربات‌ها اطلاع دهید که آدرس سایت مپ شما چیست، می‌توانید از دستور زیر استفاده کنید:

این کار به ربات‌ها کمک می‌کند تا سریع‌تر و کارآمدتر محتوای سایت شما را ایندکس کنند و درک بهتری از ساختار سایت شما داشته باشند.

ارائه نقشه سایت در فایل Robots.txt باعث می‌شود موتورهای جستجو بتوانند به طور کامل‌تری صفحات شما را پوشش دهند.

چرا فایل robots.txt را باید برای سئو بهینه‌ سازی کرد؟

فایل robots.txt یک ابزار کلیدی در بهینه‌سازی موتورهای جستجو (SEO) است که به شما اجازه می‌دهد کنترل دقیقی بر نحوه خزش و ایندکس شدن صفحات سایتتان داشته باشید.

در ادامه دلایلی را بررسی می‌کنیم که نشان می‌دهند چرا استفاده از این فایل می‌تواند برای سئو سایت شما مفید باشد:

جلوگیری از کنیبالیزیشن جلوگیری از ایندکس‌ فایل‌های خاص جلوگیری از نمایش برخی محتواها در نتایج جستجو (SERP) حفظ و مدیریت بودجه خزش وبسایت

جلوگیری از هم‌نوع خواری صفحات (Cannibalization)

یکی از مشکلاتی که ممکن است در سایت شما پیش بیاید، کنیبالیزیشن است.

این اتفاق زمانی رخ می‌دهد که دو صفحه مشابه از سایت شما هم‌زمان در نتایج جستجوی گوگل ظاهر می‌شوند، و کاربران به جای یک صفحه، دو صفحه شبیه به هم را می‌بینند.

این مشکل می‌تواند به کاهش ترافیک سایت شما منجر شود.

با استفاده از فایل robots.txt، می‌توانید صفحات مشابه یا تکراری را شناسایی کرده و از ایندکس شدن آن‌ها جلوگیری کنید.

این اقدام به شما کمک می‌کند تا کنیبالیزیشن را کاهش دهید و ترافیک سایت خود را بهبود بخشید.

جلوگیری از ایندکس‌ شدن فایل‌های خاص

اگر در سایتتان فایل‌هایی مانند PDF، تصاویر، یا ویدئو دارید که نمی‌خواهید در نتایج جستجوی گوگل نمایش داده شوند، می‌توانید از فایل robots.txt برای جلوگیری از ایندکس شدن آن‌ها توسط موتورهای جستجو استفاده کنید.

این قابلیت برای سایت‌هایی که محتوای پولی یا دوره‌های آموزشی ارائه می‌دهند بسیار مفید است، زیرا می‌توانید دسترسی به این فایل‌ها را محدود کنید و از نمایش آن‌ها در نتایج جستجو جلوگیری کنید.

جلوگیری از نمایش برخی محتواها

اگر نمی‌خواهید بعضی از صفحات سایت شما، مانند صفحه “درباره ما” یا “تماس با ما”، در نتایج جستجوی گوگل نمایش داده شوند، می‌توانید از فایل robots.txt استفاده کنید.

با این روش می‌توانید این صفحات را از ایندکس شدن توسط موتورهای جستجو مستثنی کرده و مطمئن شوید که فقط محتوای دلخواه شما در نتایج جستجو دیده می‌شود.

این کار به شما امکان می‌دهد تا کنترل بیشتری روی نمایش محتوای سایتتان داشته باشید

مدیریت کراول باجت

اگر برای خزش ربات‌ها به سایت خود معیارهای مشخصی تعیین نکنید، ممکن است تعداد زیادی ربات به سایت شما مراجعه کنند که این امر می‌تواند به افزایش بار روی سرور و مشکلات سایت منجر شود.

با استفاده از فایل robots.txt، می‌توانید ترافیک ربات‌ها را کنترل کرده و از ایجاد بار اضافی بر روی سرور جلوگیری کنید.

این کار نه‌تنها عملکرد سایت شما را بهبود می‌بخشد، بلکه به دیده شدن بهتر صفحات مهم سایت نیز کمک می‌کند.

نکات بهینه‌سازی فایل robots.txt برای بهبود سئو

حال که دانستید چرا باید در هنگام ساخت فایل robots txt آن را برای سئو نیز بهینه کنید، به سراع نکاتی می‌رویم که با آن‌ها بتوانید این کار را انجام دهید.

اولین نکته‌ای که باید توجه کنید این است که صفحات غیرمهم معمولاً آن دسته از صفحاتی هستند که برای کاربران چندان مفید نیستند و ممکن است تکراری یا دارای محتوای ضعیف باشند.

به عنوان مثال، می‌توانید صفحاتی مثل صفحات جستجوی داخلی، صفحات تشکر پس از خرید، و برخی صفحات مدیریت را از دسترس ربات‌ها خارج کنید. با این حال، صفحاتی مانند سبد خرید و صفحات پرداخت، که برای تجربه کاربری اهمیت زیادی دارند، نباید از خزش منع شوند، چون این صفحات شامل اطلاعات حیاتی هستند که موتورهای جستجو باید به آن‌ها دسترسی داشته باشند. نکته دوم این است که اضافه کردن نقشه سایت (Sitemap) در فایل robots.txt به موتورهای جستجو کمک می‌کند که همه صفحات مهم سایت شما را به‌راحتی پیدا کنند.

این کار فرایند ایندکس شدن صفحات سایت را سریع‌تر و مؤثرتر می‌کند.مثال:

User-agent: * Disallow: /search/ Disallow: /admin/ Disallow: /category/ Allow: /sitemap.xml

در مثال بالا، موتورهای جستجو از خزش صفحات جستجو، صفحات مدیریت و صفحات دسته‌بندی منع شده‌اند، اما به سایت مپ اجازه دسترسی داده شده است.

نمونه‌ای از فایل robots.txt بهینه برای سئو

در زیر نمونه‌ای از یک فایل robots.txt بهینه‌شده برای سئو را نشان می‌دهد.

در این فایل، بخش‌های مختلفی مانند User-agent، Disallow، و Allow وجود دارد که هر کدام دستورالعمل‌های خاصی را به موتورهای جستجو می‌دهند.

ساخت فایل robots.txt بهینه یکی از اولین و ساده‌ترین کارهایی است که می‌توانید برای بهبود سئوی سایت خود انجام دهید.

با محدود کردن دسترسی به صفحات غیرمهم و هدایت موتورهای جستجو به سمت صفحات مهم، می‌توانید رتبه سایت خود را در نتایج جستجو بهبود بخشید.

User-agent: *

Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

نتیجه‌گیری

ساخت و بهینه‌سازی فایل robots.txt به موتورهای جستجو کمک می‌کند تا به جای صرف زمان و منابع روی صفحات غیرضروری یا تکراری، تمرکز خود را روی محتوای ارزشمند سایت شما بگذارند.

این کار نه تنها بودجه خزش سایت را مدیریت می‌کند، بلکه به بهبود رتبه صفحات مهم سایت شما در نتایج جستجو کمک می‌کند.

در این مقاله با یکدیگر بررسی کردیم که فایل روبوتس چیست، چگونه می‌توان فایل robots.txt را ساخت و همچنین دستورهای حیاتی و مهم آن را با یکدیگر بررسی کردیم تا بتوانید در هنگام ساخت این فایل مهم برای وبسایت آن را برای سئو سایت خود نیز بهینه‌سازی کنید.

سوالات متداول

robots.txt چیست؟

robots.txt یک فایل با فرمت txt است که در داخل روت یا ریشه وبسایت بارگزاری می‌شود و شامل دستوراتی است که به ربات‌های موتورهای جستجو اجازه می‌دهد که چه صفحات یا فایل‌هایی را ایندکس و چه فایل و صفحاتی را ایندکس نکنند.

robots.txt کجاست؟

برای دسترسی به این فایل کافی است به سی پنل یا دایرکت ادمین سایت خود بروید و وارد پوشه public_html شوید.

این پوشه همان روت یا ریشه سایت شماست.

در آنجا فایل robots.txt را مشاهده خواهید کرد.

Google rating: 4.4
کد خبر: « 122024 »
« ویراستار: نادر حسین پور »

بازدیدها: 22082 1 ماه پیش

لینک منبع خبر:

https://academy.zhaket.com/create-robots-txt/