Membuat file robot.txt untuk website anda

Robot yang satu ini bukan robot yang bisa bergerak sendiri dengan menggunakan mesin, tapi robot ini adalah file yang diperlukan oleh sebuah website/ blog agar bisa terindeks dengan cepat oleh search engine seperti Google, Yahoo, Bing, dan lain lain. Dengan adanya robots.txt search engine seperti Google akan lebih mudah mengindex website/ blog Anda. Robots.txt merupakan informasi bagi search engine mengenai direktori mana yang boleh diakses atau tidak. Selain itu, dengan robots.txt kita bisa memblock search engine agar tidak mengakses website/ blog kita.

berikut contoh robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://idcolo.com/sitemap.xml

Untuk sitemap sengaja saya tambahkan http://www.idcolo.com karena website/blog ini misalnya memakai fasilitas dari cms wordpress, silahkan Anda ganti dengan sitemap blog Anda. Misalkan http://www.namadomain.com/sitemap.xml.


Semoga Membantu,

IDColo Support Dept.

share this article to: Facebook Twitter Google+ Linkedin Technorati Digg

Posted by Mas Paidi, Published at 10.21 and have 1 komentar