Secara sederhana Robot.txt ini yakni sebuah konvensi untuk memerintah robot mesin pencari atau web crawler atau juga mencegah semua halaman untuk di indeks.
Misalnya Anda tidak ingin halaman tertentu ditampilkan kepada mesin pencari! dan dengan Robot.txt inilah kita sanggup memanfaatkan fungsi dari robot.txt semoga sanggup memblokir halaman tersebut.
Semua blogspot sudah ada fitur robot txt yang telah diberikan oleh blogger, secara default robot.txt menyerupai dibawah ini :
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: http://www.arlinadzgn.com/sitemap.xmlPastinya Anda akan bingung, apa bekerjsama arti-arti dari arahan diatas, oke Saya akan menjelaskannya satu-persatu.
| Keterangan | |||
|---|---|---|---|
| User-agent: Mediapartners-Google | User agent milik Google menunjukan bahwa blog ini yakni milik Google | ||
| Disallow | Tidak diperbolehkan tidak ada | ||
| User-agent: * | Semua Robot Search Engine | ||
| Disallow: /search | Tidak diperbolehkan merayapi folder search dan seterusnya | ||
| Allow: / | Mengizinkan semua halaman untuk dirayapi, kecuali yang sudah Disallow. | ||
| Sitemap: http://www.arlinadzgn.com/sitemap.xml | Alamat feed blog/sitemap blog Anda | ||
Mungkin itu saja sedikit klarifikasi wacana fungsi dari Robot.txt semoga artikel ini sanggup bermanfaat.