سلام دوستان! اگه شما هم مثل من عاشق سئو هستی و می‌خوای سایتت رو به گوگل بگی “هی، بیا این صفحات مهم رو بخون، بقیه‌ش رو ول کن!”، این مقاله برات عالیه. تصور کن بودجه کراول سایتت مثل بودجه ماهانه‌ته – نمی‌خوای همه‌ش رو صرف چیزای بی‌ارزش کنی، درسته؟ فایل robots.txt دقیقاً مثل یه مدیر مالی باهوش عمل می‌کنه و به خزنده‌های گوگل (مثل Googlebot) می‌گه کجا برن و کجا نرن.

در این tutorial، قدم به قدم یاد می‌گیری چطور فایل robots رو تنظیم کنی تا بودجه کراول‌ت رو بهینه کنی، به خصوص اگه سایتت وردپرس‌ی باشه. ما از منابع معتبر انگلیسی مثل Google Search Central، Search Engine Journal و Moz استفاده کردیم تا همه چیز دقیق و به‌روز باشه. آماده‌ای؟ بریم شروع کنیم! (و یادت باشه، اگه سایتت رو خدمات هاستینگ قوی میزبانی کنی، سرعت خزش هم بهتر می‌شه و سئوت می‌ترکونه.)

بودجه کراول چیه و چرا مهمه؟

اول بیایم یه کم پایه‌ای حرف بزنیم. بودجه کراول (Crawl Budget) یعنی تعداد URLهایی که گوگل می‌تونه و می‌خواد در یه بازه زمانی خاص (مثل یه روز) از سایتت بخونه. گوگل منابع محدودی داره – سرورها، پهنای باند و زمان – پس نمی‌تونه همه سایت‌های دنیا رو هر لحظه اسکن کنه. برای سایت‌های بزرگ (بیش از ۱ میلیون صفحه) یا حتی سایت‌های وردپرس متوسط با پلاگین‌های زیاد، این بودجه مثل طلا می‌مونه. اگه بودجه کراول هدر بره (مثلاً خزنده‌ها صفحات تکراری یا بی‌ارزش رو بخونن)، صفحات مهم‌ت دیرتر ایندکس می‌شن و سئوت ضربه می‌خوره.

حالا فایل robots کجا وارد می‌شه؟ این فایل ساده (یه متن خام) به خزنده‌ها می‌گه “این مسیرها رو بلاک کن”، تا بودجه کراول رو صرف محتوای باکیفیت کنن. طبق Google، بلاک کردن صفحات بی‌ارزش با robots.txt می‌تونه شانس ایندکس شدن‌شون رو کم کنه و بودجه رو آزاد کنه. عالیه، نه؟ حالا بریم سراغ ساختش.

فایل robots.txt چیه و چطور کار می‌کنه؟

فایل robots یه پروتکل ساده‌ست که از سال ۱۹۹۴ وجود داره و به خزنده‌ها دستور می‌ده. این فایل رو در ریشه سایتت (مثل yoursite.com/robots.txt) می‌ذاری و خزنده‌ها قبل از هر خزش، اول اون رو چک می‌کنن. syntaxش ساده‌ست: با User-agent شروع می‌شه (برای مشخص کردن خزنده خاص، مثل Googlebot) و بعد Disallow یا Allow می‌گی.

مثال پایه‌ای:

User-agent: *
Disallow: /admin/

این به همه خزنده‌ها می‌گه پنل ادمین رو نخونن. * یعنی همه، اما می‌تونی خاص کنی: User-agent: Googlebot برای فقط گوگل.

نکته صمیمی: مراقب باش! اگه اشتباهی Disallow / بذاری، کل سایتت بلاک می‌شه. همیشه با ابزار Google Search Console تست کن. در سئو وردپرس، پلاگین‌هایی مثل Yoast یا AIOSEO می‌تونن این فایل رو خودکار بسازن و ویرایش کنن – عالی برای تازه‌کارها!

قدم به قدم: تنظیم فایل robots برای بهینه‌سازی بودجه کراول

حالا بریم سراغ tutorial اصلی. ما ۵ قدم کلیدی رو بررسی می‌کنیم، با کدهای آماده برای کپی-پیست. این‌ها بر اساس بهترین شیوه‌های Google و SEJ هستن. فرض کنیم سایتت وردپرس‌ی باشه، اما این‌ها برای هر CMSی کار می‌کنن.

قدم ۱: صفحات بی‌ارزش رو شناسایی کن

قبل از کد، بدون چی بلاک کنی. در وردپرس، صفحات تکراری مثل /?s=search یا /wp-admin/ بودجه رو هدر می‌دن. از Google Search Console (بخش Crawl Stats) یا ابزارهایی مثل Screaming Frog استفاده کن تا URLهای پرخزش رو ببینی.

**نکته برای *سئو وردپرس***: پلاگین‌های فکت‌فیلتر (مثل WooCommerce) URLهای بی‌نهایت می‌سازن. بلاک‌شون کن تا *بودجه کراول* آزاد بشه.

قدم ۲: syntax پایه رو بنویس

یه فایل txt بساز و این کد رو بذار (برای وردپرس استاندارد):

User-agent: *
Allow: /

# بلاک ادمین وردپرس
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# بلاک صفحات لاگین و ثبت‌نام
Disallow: /wp-login.php
Disallow: /wp-register.php

# بلاک آرشیوهای تکراری
Disallow: /tag/
Disallow: /*?*

# سیت‌مپ رو معرفی کن
Sitemap: https://yoursite.com/sitemap.xml

این کد فایل robots رو برای سئو وردپرس بهینه می‌کنه: ادمین بلاکه، اما AJAX مجاز (برای پلاگین‌ها). ?* query stringها رو بلاک می‌کنه تا بودجه کراول صرف صفحات اصلی بشه.

چطور اعمال کنی؟ در وردپرس، از FTP برو به root و آپلود کن. یا با Yoast: برو به SEO > Tools > File Editor و robots.txt رو فعال کن.

قدم ۳: بلاک منابع غیرضروری برای صرفه‌جویی در بودجه کراول

خزنده‌ها JS، CSS و تصاویر رو هم می‌خونن – اگه بزرگ باشن، بودجه رو می‌خورن. بلاک کن، اما نه همه‌شون! (وگرنه رندرینگ خراب می‌شه.)

کد مثال (اضافه به کد قبلی):

# بلاک تصاویر تزئینی (نه لوگوها!)
User-agent: Googlebot
Disallow: /images/decorative/

# بلاک JS غیرضروری
Disallow: /assets/js/popup.js

طبق SEJ، این کار crawl rate رو کم می‌کنه و سرور رو سبک نگه می‌داره – به خصوص اگه خدمات هاستینگ‌ت shared باشه.

هشدار صمیمی: CSS/JS اصلی رو بلاک نکن، وگرنه گوگل صفحه‌ت رو ناقص می‌بینه و SEOت افت می‌کنه.

قدم ۴: مدیریت duplicate content در سئو وردپرس

در وردپرس، permalinkها، categoryها و tagها duplicate می‌سازن. با فایل robots بلاک‌شون کن:

کد پیشرفته:

# بلاک تگ‌ها و دسته‌بندی‌های تکراری
Disallow: /category/*/
Disallow: /tag/*/

# بلاک پارامترهای فیلتر (مثل WooCommerce)
Disallow: /*?*sort=*
Disallow: /*?*color=*
Disallow: /*?*s=*

این wildcardها (* و ?) معجزه می‌کنن! مثلاً /?s=* جستجوهای داخلی رو بلاک می‌کنه و بودجه کراول رو به پست‌های اصلی می‌فرسته. بعد از اعمال، در Search Console چک کن – crawl errors کم می‌شن.

**لینک داخلی برای *SEO***: اگه می‌خوای *خدمات هاستینگ* رو بهینه کنی، سرعت سرور رو چک کن؛ هاستینگ خوب = crawl سریع‌تر.

قدم ۵: تست و نظارت

کد رو آپلود کردی؟ حالا تست کن:

• Google Search Console > Crawl > robots.txt Tester.
• Logهای سرور رو ببین (در cPanel یا خدمات هاستینگ‌ت).

برای نظارت مداوم: از Ahrefs یا Moz استفاده کن تا crawl efficiency رو track کنی. اگه 404ها زیاد شد، یعنی بلاک کردی اما لینک داری – internal linkها رو fix کن.

مثال کامل فایل robots برای سایت وردپرس e-commerce

فرض کن سایت فروشگاهی داری. این کد کامل رو کپی کن:

User-agent: *
Allow: /

# وردپرس کور
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php$
Disallow: /wp-register.php

# بلاک duplicate و query
Disallow: /*?*s=*
Disallow: /*?*sort=*
Disallow: /*?*filter=*
Disallow: /tag/*
Disallow: /category/*

# بلاک منابع
Disallow: /assets/js/non-critical/
Disallow: /images/large/

# سیت‌مپ
Sitemap: https://yoursite.com/sitemap_index.xml

این فایل robots بودجه کراول رو ۳۰-۵۰% بهینه می‌کنه، طبق تجربیات Yoast. حالا سایتت نفس راحت می‌کشه!

اشتباهات رایج و چطور اجتناب کنی

• بلاک بیش از حد: صفحات مهم رو از دست ندی – همیشه تست کن.
• فراموش کردن سیت‌مپ: همیشه Sitemap اضافه کن تا خزنده‌ها راهنمایی بشن.
• عدم به‌روزرسانی: سایتت تغییر کرد؟ فایل robots رو آپدیت کن.
• نادیده گرفتن موبایل: Googlebot-Mobile رو جدا در نظر بگیر.

طبق Moz، ۴۰% سایت‌ها robots.txt اشتباه دارن – تو جزو اون ۶۰% باش!

نتیجه‌گیری: سئوت رو با فایل robots بوست کن

خب دوستان، دیدی چقدر ساده‌ست؟ با تنظیم دقیق فایل robots.txt، بودجه کراول‌ت رو افزایش دادی، خزنده‌ها رو هدایت کردی و سئو وردپرس‌ت رو قوی‌تر کردی. حالا برو امتحان کن – نتایج رو در Search Console ببین و بهم بگو چطور شد! اگه خدمات هاستینگ‌ت ضعیفه، اول اون رو ارتقا بده تا SEO کلی بهتر بشه.

اگه سؤالی داری، کامنت بذار. موفق باشی، و یادت نره: سئو یه ماراتنه، نه دوی سرعت! 🚀

(منابع: Google Developers ، Search Engine Journal ، Moz ، WPBeginner ، Yoast )