Block Bot Dari User Agent String

Tahukah Anda bahwa Anda dapat memblokir bad bot dari file .htaccess Anda?

Mari blok bot yang paling menjengkelkan di internet - Baidu spider.

vim .htaccess

Sekarang Tambah berikut untuk memblokir

RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC,OR] 
RewriteCond %{HTTP_USER_AGENT} Baidu [NC] 
RewriteRule ^.*$ - [F,L]

Sekarang menyimpan file, dan memblokir Baidu spider

Pengujian untuk melihat apakah yang diblokir

Salah satu cara untuk melakukan ini adalah dengan menggunakan curl

curl -I http://www.domain.com -A "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

Sekarang Anda akan mendapatkan 403 Forbidden

HTTP/1.1 403 Forbidden
Date: Mon, 06 Jan 2014 19:18:11 GMT
  • 2 Пользователи нашли это полезным
Помог ли вам данный ответ?

Связанные статьи

Apa Saja System Operasi/Os yang Tersedia?

Kami memiliki berbagai sistem operasi linux yang tersedia untuk menginstal, jika Anda ingin...

One Liner Command Centos

kill all pts for x in $(ps aux | grep pts| awk '{print $2}'); do kill $x; done Strace all...

Block Bittorrent Traffic Dengan IPtables

IPTABLES adalah program aplikasi user-space yang memungkinkan administrator sistem untuk...

Cara Extrak File tar.gz

Katakanlah Anda ingin mengekstrak tar lastest.tar.gz dari wordpress.org. tar -zxvf latest.tar.gz...

Install Remi Dan EPEL yum repository Centos 7

Menambahkan repo pada Centos 6/7 x86_64 dan i386 Installing optional EPEL yum repo Untuk type...