Cara mengatur Robot.txt khusus pada Blogger/Blogspot

Cara setting Robots.txt khusus di Blogger/Blogspot

Setting Robot.txt

Apa itu robots.txt??? adalah file berformat (txt) sebuah perintah bagi robot mesin pencari seperti Google, Yahoo, Bing untuk menelusuri atau merayapi mana yang boleh ditampilkan/diindex mesin pencari pada blog kita. Robot.txt berfungsi untuk mengatur dan mengontrol halaman mana yang boleh di tampilkan mesin pencari. Setiap blog mempunyai robots.txt yang di setting secara default robots.txt pada blog oleh penyedia layanan diatur sebagai berikut :

Robot.txt defaul diblogger

User agent: Mediapartners-Google
Disallow:
User­agent: *
Disallow:/search
Allow:/
Sitemap: http://namablog/feeds/posts/defaul?torderby=UPDATED

Apa arti dari kode­kode di atas

• User­agent: Mediapartners-Google yaitu Bot Crawler/robot perayap Mediapartners­Google. Mediapartners­-Google adalah bot crawler untuk google adsense.
• Disallow: yaitu yang tidak batasan halaman yang artinya boleh merayapi semua halaman blog  
• User­agent: * yaitu berlaku untuk semua robot Search Engine / mesin pencari  
• Disallow: /search yaitu tidak diperbolehkan merayapi atau menjelajah url yang memiliki awalan urlbloganda.com/search. penulisan kode default 
• Disallow: /search, yaitu artinya perayapan untuk label seperti alamat http://namablog.com/search/label/Tutorial, nantinya tidak akan dirayapi oleh mesin pencari karena Label bukan URL yang real menuju halaman tertentu.
• Allow: / yaitu mengizinkan semua halaman untuk dirayapi, kecuali yang tertulis pada disallow di atas. Tanda (/) kurang lebih artinya nama blog. Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED sitemap atau alamat feed blog kita.   

Cara mencegah robot.txt merayapi pada halaman tertentu  

Mencegah robot google merayapi halaman tertentu di blog anda, teman­teman tidak ingin halaman tertentu diindex oleh mesin pencari. Untuk URL halaman pada blog anda misal : http://namabloganda.blogspot.com/p/about.html, Maka untuk robots.txt akan seperti kode dibawah ini: 

User­agent: Mediapartners-Google
Disallow:
User­agent: *
Disallow: /search
Disallow: /p/about.html
Allow:/
Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Cara menambahkan atau editing robots.txt di blogger

• Masuk ke "Setelan"
• klik "Preferensi Penelusuran" 
• Klik edit pada "Robots.txt"
• klik "Ya"
• Masukan "kode robots.txt yang diinginkan"
• Klik "Simpan Perubahan"  

Catatan: Hati-hati dengan penggunaan robots.txt, apabila salah penulisan bisa jadi blog sobat diabaikan oleh mesin pencari.

Related Posts:

• Cara membuat dan memasang halaman facebook tampil di blog
• Cara memperbaiki kesalahan perayapan pada Google search console
• Cara mengatur Tag tajuk Robot khusus di Blogger/Blogspot
• Cara mengatur Robot.txt khusus pada Blogger/Blogspot
• Cara membuat Twitter Followers muncul di Blog

Tweet