Sebagian orang mungkin berpikir kalau robots txt adalah salah satu faktor yang tidak berdampak pada seo, Namun anggapan ini sebenarnya sudah salah, Sebab fungsi robots txt adalah salah satu indikator yang dimana robot bot atau spider bot bisa merayapi isi semua konten dalam blog dan website. dengan menggunakan fungsi robots txt yang tepat maka mesin pencari akan cepat index situs hingga sampai pada akhir semua isi konten. Hubungan robots txt dan webmaster sangat rekat dan tidak bisa dipandang sebelah mata. Sebab jika salah untuk konfigurasi robots txt hal yang diterima kemungkinan isi pada website tidak akan bisa di index dengan benar.
Fungsi robots txt seperti halnya seorang scurity di sebuah kantor perusahaan, Yang dimana setiap kali tamu datang haruslah melapor pada seorang pengaman kantor. mungkin ada satu ruangan yang tidak boleh untuk di jangkau dan ada satu ruangan yang bersifat umum untuk bisa di masuki. demikian juga dengan fungsi robots txt yang akan membatasi semua kegiatan robot bot, mana saja yang harus di crawling dan mana saja yang tidak boleh untuk di crawling. Berdasarkan beberapa aturan yang sudah diberikan oleh webmaster mungkin kita sudah paham, Tulisan yang paling umum digunakan dalam konfigurasi fungsi robots txt seperti dibawah ini.
User-agent: * Disallow: / Allow: /
Penjelasan dari semua fungsi robots txt diatas seperti ini:
- User-Agent:* : fungsi robots txt ini untuk mengijinkan spider bot masuk untuk merayapi semua isi blog dan webiste.
- Disallow: / : Untuk fungsi robots txt ini membatasi pada file-file tertentu yang mungkin tidak boleh untuk di rayapi misalnya seperti wordpress yaitu /wp-admin dan banyak lagi, Jika anda ingin membatasi file anda bisa menggunakan fungsi robots txt disallow.
- Allow: / : Untuk fungsi robots txt ini mengijinkan semua file dalam website bisa untuk di rayapi.
Berdasarkan beberapa aturan diatas, Anda bisa mengkonfigurasi dengan mudah untuk mengontrol semua kegiatan spider bot, Sehingga nantinya tidak semua isi konten akan di rayapi. Selain itu fungsi robots txt juga bisa membuat kondisi website tidak banyak mendapatkan sinyal kesalahan yang biasanya kita lihat di webmaster.
Jadi apakah memahami fungsi robots txt itu sangat penting? sangat penting, mengingat ini adalah cara terbaik untuk membuat situs menjadi ramah, Sudah barang tentu kita tidak harus mengabaikan semua fungsi dari robots txt ini. Sebisa mungkin kita sebagai salah satu orang yang memiliki website sudah harus paham tentang robots txt. Ini menyangkut tentang optimasi seo dan bagaimana cara mesin pencari bisa menempatkan situs kita di halaman pencarian paling utama yakni top ranking pencarian. Semoga artikel ini bermanfaat untuk anda.