در حال حاظر سایت شما دارای یک فایل robots.txt با محتویات زیر است.
User-agent: *
Disallow: /wp-admin/
بهتر هست در آخر فایل robots.txt خط زیر را هم اضافه کنید و بعد اقدام به ثبت نقشه سایت در گوگل وبمستر تولز نمایید.
Sitemap: http://asiohost.ir/sitemap_index.xml
داشتن فایل robots.txt اجباری نیست ولی مفید هست و باعث میشه موتور های جستجوگر به راحتی بتونند سایت شما را Crawl یا همون خزش کنند.