# 🛑 Վերահսկողություն բոլոր բոտերի համար User-agent: * Crawl-delay: 86400 Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /wp-json/ Disallow: /xmlrpc.php Disallow: /search Disallow: /?s= Disallow: /*.php$ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Allow: / # ✅ Թույլատրում ենք Facebook preview crawler-ին User-agent: facebookexternalhit Allow: / # ✅ Թույլատրում ենք Telegram preview bot-ին User-agent: TelegramBot Allow: / # 🛑 Ամբողջությամբ արգելում ենք չար, անպետք կամ չարաշահող բոտերին User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: python Disallow: / User-agent: curl Disallow: / User-agent: spider Disallow: / User-agent: TestCrawler Disallow: / User-agent: dataprovider.com Disallow: / User-agent: Screaming Frog SEO Spider Disallow: / User-agent: nutch Disallow: / User-agent: CCBot Disallow: / User-agent: optimizer Disallow: / User-agent: motor Disallow: / User-agent: MSIE 5 Disallow: / User-agent: MSIE 6 Disallow: / User-agent: empty Disallow: / User-agent: link Disallow: / User-agent: oBot Disallow: / # 📛 Bingbot՝ թույլ մի հարցում օրական User-agent: bingbot Crawl-delay: 86400 Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /xmlrpc.php Disallow: /wp-json/ Allow: / # 📛 Googlebot User-agent: Googlebot Crawl-delay: 86400 Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /xmlrpc.php Disallow: /wp-json/ Allow: / # 📛 YandexBot User-agent: YandexBot Crawl-delay: 86400 Disallow: /wp-admin/ Disallow: /wp-login.php Disallow: /xmlrpc.php Disallow: /wp-json/ Allow: / # 🛑 Feed բոտերը արգելված են User-agent: feed Disallow: /