Tugas Pertemuan 9 Pengantar Web Science

Mata Kuliah Pengantar Web Science

  


  

Disusun Oleh:

Aldo Azrial Susanto (50420111)




TEKNIK INFORMATIKA

UNIVERSITAS GUNADARMA

2022


Pengertian Web Crawler

Web Crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.

Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik. Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan.

Cara Kerja Web Crawler

Sebuah website tidak dapat ditemukan begitu saja oleh search engine. Search engine harus melakukan crawling dan indexing sebelum akhirnya menampilkan konten website pada SERP mereka. Proses ini dilakukan dengan bantuan tools yang disebut web crawler, web robot, atau web spider. 

Lalu, bagaimana proses kerja sebuah web crawler?

Pertama, web crawler akan mengunjungi sebuah situs dan berbagai link yang terdapat dalam laman tersebut. Namun jika situsmu terbilang baru dan belum ada link lain di dalamnya, kamu bisa meminta search engine untuk mendatangi situsmu, seperti dikutip dari WebFX.

Caranya mudah. Kamu hanya perlu memasukkan URL situsmu di Google Search Console.
Kemudian, tugas tools web crawling berikutnya adalah mencatat setiap link yang mereka temukan ke indeks mereka.

Namun, perlu kamu catat bahwa web crawler hanya akan mengumpulkan informasi dari laman yang bersifat publik, ya. Web crawler tidak ikut mencatat laman private yang tidak dapat diakses. Setelah itu, web crawler akan mengumpulkan berbagai informasi, seperti tulisan dan meta tag. Informasi tersebut akan tersimpan dalam indeks search engine sehingga dapat muncul ketika pengguna mencari konten dengan keyword yang serupa.

Contoh Web Crawler

1. Googlebot

Googlebot adalah web crawler yang paling banyak digunakan saat ini. Seperti namanya, web crawler ini adalah milik Google.

Googlebot mengumpulkan berbagai dokumen yang ada di sebuah website untuk membuat indeks yang dapat dicari oleh search engine Google.

Web crawler yang satu ini merujuk pada dua jenis web crawler, yaitu desktop crawler dan mobile crawler.

2. HTTrack

HTTrack adalah web crawler yang bersifat open source. Kamu bisa men-download situs world wide web (www) dari internet ke komputermu sehingga kamu bisa melihatnya secara offline.

Jika sudah men-download konten situs tersebut, kamu bisa membukanya melalui browser-mu tanpa koneksi internet.

3. Cyotek Webcopy

Serupa dengan HTTrack, Cyotek Webcopy dapat digunakan untuk men-download situs dari internet ke komputermu.

Salah satu kelebihan web crawler ini adalah memungkinkan penggunanya memilih bagian yang ingin di-download. Jadi, kamu bisa memilih apakah ingin men-download semua bagian situs, foto tertentu, dan sebagainya.

4. WebhoseContoh web crawler berikutnya adalah Webhose.

Webhose adalah web crawler yang dapat mengubah konten website yang tidak terstruktur menjadi data feeds yang dapat dibaca oleh mesin.

Data feeds yang dimaksud dapat mencakup banyak sumber data, seperti diskusi online, situs berita, dan lainnya.

Fungsi Web Crawler

1. Membandingkan Harga

Web crawler bisa membandingkan harga dari suatu produk di internet. Sehingga harga ataupun data dari produk tersebut bisa akurat. 

2. Data untuk Tools Analisis

Tools analisis website seperti Google Search Control dan Screaming Frog Seo mengandalkan web crawler untuk mengumpulkan data-datanya dan melakukan indexing. Sehingga data-data yang dihasilkan selalu akurat dan terbaru.

3. Data Untuk Statistik

Web crawler juga memberikan data-data penting yang bisa digunakan untuk website berita atau website statistik. Misalnya, hasil pencarian berita yang akan muncul di Google News. 


Sumber :

Mengenal Apa itu Pengertian Web Crawler - Kamus Hosting IDCloudHost

Komentar

Posting Komentar

Postingan populer dari blog ini

Televisi Analog VS Televisi Digital

A. Sejarah Televisi Digital dan Televisi Analog Kini televisi yang sering kita temui adalah televisi dengan kualitas gambar yang bagus dan berbagai pilihan dari masing-masing kecanggihan yang dibawa oleh setiap merknya. Dibalik semua itu tentu ada proses yang membawa televisi kini menjadi elektronik yang canggih. Dalam penemuannya, terdapat banyak pihak, penemu maupun inovator yang terlibat, baik perorangan maupun badan usaha. Televisi adalah karya massal yang dikembangkan dari tahun ke tahun. Awal dari televisi tentu tidak bisa dipisahkan dari penemuan dasar, hukum gelombang elektromagnetik yang ditemukan oleh Joseph Henry dan Michael Faraday (1831) yang merupakan awal dari era komunikasi elektronik. 1876  - George Carey menciptakan selenium camera yang digambarkan dapat membuat seseorang melihat gelombang listrik. Belakangan, Eugen Goldstein menyebut tembakan gelombang sinar dalam tabung hampa itu dinamakan sebagai sinar katoda. 1884  - Paul Nipkov, Ilmuwan Jerman, berhasil ...
Baca selengkapnya

Perkembangan Bisnis Informatika Nasional dan Internasional

Gambar
  Perkembangan Bisnis Informatika Nasional dan Internasional       Disusun Oleh: ALDO AZRIAL SUSANTO   Dosen: ADAM HUDA NUGRAHA   TEKNIK INFORMATIKA FAKULTAS TEKNOLOGI INDUSTRI UNIVERSITAS GUNADARMA 1. Blibli      Blibli merupakan e-commerce buatan Indonesia dengan model bisnis yang fokus pada B2B, B2C, dan B2B2C (Business to Business to Consumer). Sebagai mall online yang terpercaya, Blibli menawarkan berbagai pilihan produk berkualitas yang disediakan oleh lebih dari 100.000 mitra usaha, mulai dari kebutuhan primer, produk elektronik termasuk gadget, kebutuhan sehari-hari hingga produk untuk keperluan gaya hidup.         Sejarah blibli      Blibli adalah salah satu situs web perdagangan elektronik di Indonesia. Blibli juga produk PT Global Digital Niaga yang merupakan anak perusahaan Djarum di bidang digital yang didirikan pada tahun 2011. Blibli bekerja sama dengan pen...
Baca selengkapnya

Kemajuan Video Kamera pada Smartphone dan Manfaatnya bagi Para Pengguna di Era ini

Kemajuan Video Kamera pada Smartphone pada saat ini kamera ponsel telah memiliki fungsi lebih selain mengambil gambar atau video, kamera ponsel sejauh ini sudah dapat digunakan sebagai alat pencarian informasi, penerjemah bahasa, digitalisasi dokumen dan lain lain. Saat ini, fitur kamera yang diadopsi smartphone makin beragam, resolusi kamera yang semakin meningkat hingga dilengkapi kecerdasan buatan atau artificial intelligence (AI). Adapun hal hal penting yang menjadi daya tarik konsumen pada kamera smartphone saat ini adalah resolusi kamera yang merupakan komponen paling penting yang banyak diperhatikan, diukur dalam satuan mp (megapixel) pada lensa jenis fokus otomatis dan pencahayaan (flash). Untuk menghasilkan kualitas gambar atau foto yang lebih baik, maka harus didukung pula dengan ukuran Megapixel yang lebih tinggi. Pasar smartphone saat ini dikuasai nama nama besar seperti Samsung, Apple, Sony, HTC yang dimana tiap vendor ini memiliki masing masing kelebihan dalam perkembanga...
Baca selengkapnya