فایل Robots.txt در وردپرس برای چیست؟

Robots.txt یک فایل متنی است که به یک وبسایت اجازه می دهد تا یک سری دستور العمل هایی را به ربات های خزنده وب (web crawling bots) ارائه کند.

موتور های جستجویی مانند گوگل و بینگ از این خزنده های وب که برخی اوقات نیز به عنوان ربات های وب شناخته می شوند برای آرشیو و دسته بندی کردن وبسایت ها استفاده می کنند. اکثر ربات ها جوری تنظیم شده اند که قبل از خواندن دیگر فایل های موجود در سرور یک وبسایت ابتدا فایل Robots.txt موجود در آن سایت را بخوانند. این عمل به این خاطر انجام می شود تا اگر مدیر سایتی یک سری دستور العمل هایی را برای نوع خزیدن و ایندکس کردن سایت خود در نظر گرفته است, موتور های جستجو نیز از آنها با خبر شوند و طبق آنها شروع به ایندکس کردن صفحات سایت کنند.

فایل robots.txt شامل دستور هایی است که از ربات ها در خواست می کند تا یک فایل یا دایرکتوری را نادیده بگیرند و در نتایج جستجوی خود نشان ندهند. صرف نظر کردن از ایندکس کردن یک فایل یا دایرکتوری می تواند به منظور حفظ امنیت یا به دلیل اینکه صاحب آن وبسایت معتقد است محتوای این فایل ها و دایرکتوری ها بی ارتباط با دسته بندی وبسایت خود در موتور های جستجو باشد انجام گیرد.

اگر یک سایت دارای بیش از یک ساب دامین (subdomain) باشد, برای هر ساب دامین باید یک فایل robots.txt مجزا ایجاد کرد. این نیز مهم است تا بدانید همه ربات ها از فایل robots.txt جهت اعمال دستورالعمل هایی برای ایندکس کردن صفحات آن سایت استفاده نمی کنند. برخی از ربات های مخرب فایل robots.txt را برای پیدا کردن فایل ها و دایرکتوری هایی که باید در ابتدا به آنها حمله کنند مرور می کنند. همچنین اگر در دستورات یک فایل robots.txt از ربات ها خواسته شده باشد تا از ایندکس کردن یک صفحه خاص صرف نظر شود, در صورتی که لینک آن صفحه در صفحات دیگری که قابل خزش میباشند وجود داشته باشد, آن صفحه در نتایج جستجو دیده خواهد شد.

کاربر گرامی برای ارسال دیدگاه اگر عضو روکش هستید باید سایت شوید در غیر اینصورت باید عضو شوید.