Ruby Web Scraper (Studi Kasus: KemKes)

Ruby script untuk melakukan pencatatan data perhari berkenaan tentang "Situasi COVID-19" pada website KemKes.

Prerequisite

No.	Gem	Version
1	Ruby	2.7.1
2	PostgreSQL	12.3
3	HTTParty	0.18.1
4	Nokogiri	1.10.9
5	ActiveRecord	6.0.3
6	Standalone_Migrations	6.0.0
7	pg	1.2.3
8	whenever	1.0

Menjalankan Script

$ rake run

Menjalankan Commit untuk Seed

$ rake db:seed:commit

Mereset Data Tabel

$ rake db:reset

Automatic Scraping

Saya menambahkan fungsi penjadwalan proses scraping dengan bantuan whenever gem.

Untuk mengaktifkan dan membuatnya berjalan pada saat sistem dinyalakan.

Aktifkan cronie service.

$ sudo systemctl enable --now cronie.service

Lalu, daftarkan penjadwalan ke crontab.

$ whenever --update-crontab

Secara default saya menjadwalkan script ini akan melakukan scraping setiap hari pada jam 05.00 PM.

Hal-hal yang perlu dipastikan akan proses automatisasi berjalan dengan baik.

1. PostgreSQL service sudah berjalan
2. Cronie service sudah berjalan