Malam semua !!!, kali ini saya akan mempostingkan Sekaligus mengabulkan
request dari teman saya hehe... singkat cerita mengenai si Robot.txt
ini, The Robot Exclusion Standard, juga dikenal sebagai Robots Exclusion
Protocol atau robots.txt protokol, adalah konvensi untuk mencegah web
crawler bekerja sama dengan robot web lain untuk mengakses semua atau
bagian dari sebuah website yang jika dilihat secara terbuka. Jika
seorang pemilik situs ingin memberikan instruksi kepada robot web mereka
harus menempatkan sebuah file teks yang disebut robots.txt di root dari
hirarki situs web (misalnya www.Galangkuatir.blogspot.com /robots.txt).
File teks harus berisi petunjuk dalam format tertentu. Robot yang
memilih untuk mengikuti instruksi mencoba untuk mengambil file ini dan
membaca petunjuk sebelum mengambil file lainnya dari situs web.
Langkah-langkah setting Robots.txt untuk Blogger :
1. Login ke akun Blogger Anda
2. Klik Setelan > Preferensi Penelusuran
3. Pada Tab Perayapan dan Pengindeksan muncul menu robots.txt khusus pilih edit
4. Kemudian masukkan perintah dibawah ini :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search?updated-min=
Disallow: /search?updated-max=
Sitemap: http://faizarma2.blogspot.com/feeds/posts/default?orderby=updated
5.Edit "faizarma2.blogspot.com" dengan Alamat Blog Sobat :)
Tidak ada komentar:
Posting Komentar