Web crawler merupakan program yang digunakan suatu search engine untuk menghimpun informasi yang diperlukan dari internet secara otomatis sesuai dengan aturan yang telah ditetapkan oleh pengguna. Web crawler umumnya menerapkan teknik pemrograman single-thread dan belum menerapkan deteksi pembaruan web, jadi kecepatan dalam proses crawling belum maksimal. Sedangkan pada saat ini teknologi informasi berkembang pesat, maka perlu adanya suatu web crawler yang memiliki kecepatan tinggi dalam proses crawling dan menyediakan informasi yang terbaru untuk memenuhi kebutuhan informasi penggunanya. Penelitian ini menerapkan teknik pemrograman multi-thread terdistribusi dalam pengembangan web crawler untuk menghasilkan web crawler yang lebih cepat dalam proses crawling berita olahraga. Selain itu, penelitian ini juga menerapkan deteksi pembaruan halaman website untuk mendapatkan informasi terbaru. Proses crawling atau ekstraksi isi halaman sangat bergantung dengan struktur dari website tersebut. Hasil dari penerapan konsep pemrograman multi-thread dapat meningkatkan kecepatan proses crawling dibandingkan single-thread sebesar 122,95 detik. Kemudian penerapan deteksi pembaruan web kecepatan proses crawling menurun yakni 6,27 detik. Tetapi keunggulan penerapan deteksi pembaruan web data yang tersimpan tidak sama. Begitupun pada penerapan distribusi database, kecepatan proses crawling mengalami penurunan sebesar 24,76 detik pada server 1 dan 23,92 detik pada server 2.


Deskripsi Lain

Web crawler is a program used a search engine to collect automatically the necessary information from the internet with the rules set by user. Web crawlers generally apply single-thread programming techniques and have not applied web update detection, so the speed in the crawling process has not been maximized. While the current information technology is growing rapidly, it is necessary to have a web crawler that has a high speed in the crawling process and provides the latest information to meet the needs of information users. This research applies distributed multi-threaded programming techniques in the development of web crawlers to produce faster web crawlers in the crawling process of sports news. In addition, this research also applies the detection of website page updates to get the latest information. The process of crawling or extracting the content of the page depends on the structure of the website. The results of the application of multi-thread programming concepts can increase the speed of the crawling process compared to single-thread of 122.95 seconds. Then the application of web update detection crawling process speed decreased ie 6.27 seconds. But the advantages of applying web update detection of stored data are not the same. Likewise on the application of database distribution, crawling process speed decreased by 24.76 seconds on server 1 and 23.92 seconds on server 2.

• DESAIN DAN IMPLEMENTASI INFRASTUKTURE AS A SEVICE CLOUD COMPUTING MENGGUNAKAN PROXMOX
• PENERAPAN EKSTRAKSI INFORMASI SIMPLE TREE MATCHING (STM) PADA WEB CRAWLER BAHASA INDONESIA
• Penerapan Penghapusan Pola Kata dalam Rekonstruksi Stemming Bahasa Indonesia
• Pencocokan Obyek Wajah Menggunakan Metode SIFT (Scale Invariant Feature Transform)
• Rancang Bangun Sistem Pencarian Dan Hirarki Pasal-Pasal Tentang Lalu Lintas Dan Angkutan Jalan Dengan Menggunakan Vector Space Model