Mari blok bot yang paling menjengkelkan di internet - Baidu spider.
vim .htaccess
Sekarang Tambah berikut untuk memblokir
RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Baidu [NC]
RewriteRule ^.*$ - [F,L]
Sekarang menyimpan file, dan memblokir Baidu spider
Pengujian untuk melihat apakah yang diblokir
Salah satu cara untuk melakukan ini adalah dengan menggunakan curl
curl -I http://www.domain.com -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
Sekarang Anda akan mendapatkan 403 Forbidden
HTTP/1.1 403 Forbidden Date: Mon, 06 Jan 2014 19:18:11 GMT
