Crawler adalah suatu program yang dipergunakan untuk mengindeks isi suatu situs. Dalam prakteknya, banyak pemilik situs atau webmaster mendaftarkan situsnya ke search engine seperti Google, Yahoo!, Webcrawler, HotBot, Alta Vista, Infoseek, dan Lycos.

Search engine ini secara berkala akan mengakses situs terdaftar tersebut, kemudian menarik data (data mining) teks html dalam situs itu untuk kemudian dilakukan pengindeksan atas isi situs. Di sini tentunya data situs yang diproteksi, misalnya harus dengan sistem login, tidak akan diakses oleh program crawler ini.

Tujuan pengindeksan ini sesungguhnya adalah untuk memberi gambaran mengenai isi situs tersebut kepada orang yang melakukan pencarian melalui search engine. Contohnya, untuk hukumonline, karena banyak istilah hukum, UU, pasal, maka link ke situs hukumonline akan tampil saat dilakukan pencarian.

Permasalahan hukum Indonesia yang berkaitan dengan crawler ini adalah hukum Hak Kekayaan Intelektual (HKI), khususnya hak cipta dan merek. Hal ini dikarenakan, web page (halaman situs) merupakan suatu karya cipta yang dilindungi oleh hukum.

Namun, dalam UU No. 15 Tahun 2001 tentang Merek yang telah merevisi UU No 14 Tahun 1997 maupun dalam UU No.12 Tahun 1997 tentang Hak Cipta, tidak ada ketentuan yang secara spesifik menyebutkan masalah crawler ini.

Namun dari telaah di atas, sebenarnya secara teknis pada saat program  crawler ini mengakses situs yang telah mendaftar ke suatu search engine, data mining (penarikan teks dalam situs) yang dilakukan crawler, sebenarnya memenuhi perumusan 'perbanyakan' sebagaimana diatur pasal 1 angka 5 UU No. 12 Tahun 1997 tentang Hak Cipta.

Setelah dilakukan indexing atas isi situs, maka pemuatan dalam hasil searching oleh search engine juga masuk ke dalam konsep pengumuman atas hak cipta. Perlu diketahui, perbanyakan dan pengumuman atas hak cipta merupakan hak eksklusif dari Pencipta atau Pemegang Hak Cipta sehingga orang lain memerlukan izin untuk melakukan kedua hal tersebut.

Sedangkan berkaitan dengan merek, ada kerawanan penggunaan merek secara tidak sah, misalnya karena teknik metatagging, sehingga indexing yang dilakukan menghasilkan suatu bentuk penunggangan atas merek tertentu atau merek terkenal. Tapi disini, tanggungjawabnya bukanlah terletak pada crawler itu, namun pada pihak yang melakukan metagging tersebut.

Lalu apakah crawler ini melanggar hak cipta? Ada beberapa faktor yang harus diperhatikan:

1. Pada umumnya, crawler dari suatu search engine mengakses dan melakukan data mining atas situs yang terdaftar (register) di tempatnya. Ini berarti harus diperhatikan, apakah pendaftaran dilakukan oleh pihak yang berhak atas situs yang didaftarkan tersebut atau tidak. Namun sebenarnya untuk apa suatu situs dibuat jika memang tidak untuk diakses, yang salah satu caranya dengan publisitas melalui search engine.
2. Bagaimana data hasil indexing yang ditampilkan oleh search engine.  Tentunya, search engine hanya akan menampilkan indeks, atau dengan kata lain seperti daftar isi sebagaimana di halaman depan suatu buku ataupun indeks sebagaimana di bagian akhir suatu buku. Crawler secara umumnya, tidak akan menampilkan isi situs secara bulat-bulat sebagaimana proses copy-paste. 

Jadi, untuk menilai status hukum crawler, harus dilakukan secara kasuistis berdasarkan kondisi yang ada.