Ganasnya Robot Google Memindai

Unknown On Kamis, 18 April 2013

Siapa sih sekarang ini pengguna internet yang tak kenal google. Bisa dikatakan, kita pengguna internet saat ini cukup bergantung pada raja mesin pencari ini. Sampai-sampai pengguna internet Indonesia menyebutnya sebagai mbah google. Istilah mbah yang mengkonotasikan dengan seseorang yang disegani karena mampu menjawab berbagai pertanyaan yang dilontarkan.

Memang demikian, sebagai mesin pencarian, google sekarang sangat akurat dalam memberikan hasil pencarian terhadap penggunanya. Hampir semua pencarian yang dilakukan memberikan hasil yang diinginkan. Maka tidak salah jika mesin yang satu ini menjadi situs nomor satu di dunia.

Di balik hal itu, ada sesuatu yang tak terlihat oleh pengguna internet yang terus menerus bekerja untuk simbah google, yaitu robot. Orang google menyebutnya Googlebot. Robot google terus-menerus bekerja sepanjang waktu untuk mengumpulkan data web yang aktif di seluruh dunia. Robot google memindai data halaman-halaman web, mengumpulkannya dalam super database google dan menatanya, sehingga pengguna google dapat memperoleh ribuan sampai jutaan hasil pencarian hanya dengan mengetikan kata kunci tertentu.

Terutama untuk web-web yang sangat aktif, yaitu dari sisi trafik pengunjung maupun dari sisi update konten, si robot cukup ganas dalam memindai halaman. Dari pantauan kami terhadap web ini saja, begitu seringnya robot google memindai halaman-halaman dalam web ini. Sehari saja bisa mencapai puluhan kali, googlebot keluar masuk web ini, ditambah lagi google penindai feed (Feedfetcher-Google). Selain itu berkeliaran pula berbagai macam robot lain, entah dari mana asalnya. Seperti saat tulisan ini ditulis, terpantau ada MJ12bot dalam 1 menit memindai puluhan halawam web ini. Adapula yandexbot berkali-kali juga memindai halaman demi halaman.

Dari pantauan selama beberapa hari, dapat disimpulkan bahwa Robot google yang paling sering memindai halaman-halaman web ini. Googlebot dan Google Feedfecther silih berganti memanen data yang dibutuhkan dalam halaman-halaman webblog. Maka tak salahkan jika kita katakan bahwa si robot google sangat ganas dalam memindai atau mengumpulkan data dari halaman-halaman yang ada dalam sebuah website? Jadi bagi webmaster perlu sekali untuk melindungi data-data penting yang tidak boleh tersebar luas, dari si robot google.