Blokowanie robotów sieciowych takich jak np. Ahref, MajesticSEO czy Yandex lub innych w robots.txt, htaccess może być nieskuteczne. Najskuteczniejszą metodą blokady jest blokada globalna z poziomu serwera czyli wpisanie określonych dyrektyw w pliku httpd.conf
Poniżej przykładowa zawartość pliku httpd.conf
# Block Bad Bots
SetEnvIfNoCase User-Agent "BaiDuSpider" bad_bot
SetEnvIfNoCase User-Agent "bot*" bad_bo
SetEnvIfNoCase User-Agent "Cityreview" bad_bot
SetEnvIfNoCase User-Agent "crawl" bad_bot
SetEnvIfNoCase User-Agent "Dotbot" bad_bot
SetEnvIfNoCase User-Agent "Exabot" bad_bot
SetEnvIfNoCase User-Agent "Java" bad_bot
SetEnvIfNoCase User-Agent "MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "NG\ 1.x (Exalead)" bad_bot
SetEnvIfNoCase User-Agent "Sogou" bad_bot
SetEnvIfNoCase User-Agent "Sosospider" bad_bot
SetEnvIfNoCase User-Agent "spider" bad_bot
SetEnvIfNoCase User-Agent "Twiceler" bad_bot
SetEnvIfNoCase User-Agent "Yandex" bad_bot
SetEnvIfNoCase User-Agent "YandexBot" bad_bot
<Location />
Order Allow,Deny
Deny from env=bad_bots
Allow from all
</Location>
Oczywiście robotów może być więcej
