Tugas Pertemuan 9 Pengantar Web Science
Mata Kuliah Pengantar Web Science Disusun Oleh: Aldo Azrial Susanto (50420111) TEKNIK INFORMATIKA UNIVERSITAS GUNADARMA 2022 Pengertian Web Crawler Web Crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer. Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan. Cara Kerja Web Crawler Sebuah website tidak dapat ditemukan begitu saja oleh search engine. Search engin...