مقدمه:
در این آموزش، یاد خواهید گرفت که چگونه مانع از خزیدن و ایندکس شدن سایت شما توسط موتورهای جستجو مانند گوگل شوید. این کار از طریق فایل robots.txt در cPanel انجام میشود.
- وارد حساب cPanel خود شوید و لاگین کنید.
- سپس به بخش Files رفته و روی File Manager کلیک کنید.
- وارد پوشه public_html شوید.
- فایلی با نام robots.txt ایجاد کنید.
- فایل را انتخاب کرده و راست کلیک کنید و سپس روی گزینه Edit کلیک نمایید.
- در پنجره ویرایش، کد زیر را وارد کرده و روی دکمه Save Changes کلیک نمایید:
User-agent: *
Disallow: /
- توجه: با این روش، رباتهای موتورهای جستجو مانند گوگل، بینگ و غیره از ایندکس کردن سایت شما جلوگیری خواهند کرد. این فرآیند معمولاً ۶ تا ۷ روز طول میکشد تا در خزش بعدی اعمال شود.