Friday, September 18, 2015

Iseng-iseng mantau GO-JEK di Twitter

Beberapa bulan terakhir ini di Jakarta lagi booming GO-JEK, biasanya kalo lagi seperti ini pasti di medsos juga lagi rame. Iseng-iseng mantauin Twitter searching pake kata kunci gojek dapetnya begini :

Hasil Pencarian di Twitter

Setelah pulang dari acara Hackathon Merdeka, jadi kepikiran untuk mantau gojek di Twitter pake ELK. Dannn... akhirnya buat juga deh. Berhubung masih punya free account di Google Cloud Platform (GCP), bikin disana aja deh hehehe... Ini langkah-langkahnya :

Buat 3 VM dengan OS Ubuntu 14.04 LTS dengan tipe g1-small (1 vCPU, 1.7 GB Memory)
Download Elasticsearch & Logstash & Kibana di VM yang berbeda
Install Elasticsearch & Logstash dengan perintah ubuntu sudo dpkg -i DEB_PACKAGE
Untuk Kibana cukup ekstrak saja dari file yang sudah didownload
Buat Twitter Apps di sini

Generate Consumer Key (API Key) & Consumer Secret (API Secret)
Generate Access Token & Access Token Secret

Konfig Logstash sebagai pengumpul data dari Twitter

Buat file /etc/logstash/conf.d/01-twitter-input.conf

input {
        twitter {
        consumer_key => "CONSUMER_KEY"
            consumer_secret => "CONSUMER_SECRET"
            keywords => "gojek"
            oauth_token => "ACCESS_TOKEN"
            oauth_token_secret => "ACCESS_TOKEN_SECRET"
        }
}

Buat file /etc/logstash/conf.d/30-twitter-output.conf

output {
    elasticsearch {
        protocol => "http"
        action => "index"
        host => "elasticsearch-01"
        index => "twitter-%{+YYYY.MM.dd}"
        workers => 1
    }
    stdout {}
}

Biarkan konfigurasi default dari Elasticsearch dan Kibana
Jalankan Logstash sudo service logstash start
Jalankan Elasticsearch sudo service elasticsearch start
Jalankan Kibana dari folder bin hasil ekstrak ./kibana

Berikut barbuk yang sudah berjalan :

Log dari Logstash

Sense (Chrome Plugin) untuk mencari data pada Elasticsearch

Tambahkan index yang berawalan 'twitter-*'

Menu Discover untuk menampilkan stream dari Twitter
yang diambil oleh Logstash dan disimpan di Elasticsearch

Yup, sekarang saya bisa memantau Twitter lewat Kibana, Thanks ELK!

Wednesday, September 16, 2015

Hackathon Merdeka 22-23 Agustus 2015

Hackathon

Pada tanggal 22-23 Agustus 2015, Code4Nation dan Kantor Staf Kepresidenan (KSP) mengadakan acara Hackathon di Gedung Krida Bhakti Sekneg. Menurut informasi dari panitia ada sekitar 80 tim yang terdaftar dalam acara tersebut dan kami dari Nostra merupakan salah satu dari tim yang hadir saat itu.

Permasalahan yang coba dipecahkan dalam acara itu ialah masalah distribusi pangan (gula, beras, daging sapi) entah kebetulan atau tidak, saat itu masalah tingginya harga daging sapi sedang menjadi buah bibir di masyarakat.

Mind Mapping Aplikasi Monitoring Harga Komoditi

Dalam penjelasan masalah yang disampaikan oleh tim KSP, kami menyimpulkan bahwa terjadi selisih harga pangan dari sentra produksi sampai ke sentra konsumsi yang cukup signifikan. Dan secara umum pada rantai distribusi pangan dari sentra produksi ke sentra konsumsi minimal ada satu pihak sebagai penghubung (middleman/tengkulak/broker).

Menurut pendapat saya, adanya penghubung tidak dapat dihindari dan tidak dapat hilangkan karena peran mereka melengkapi dan membantu peran pemerintah dalam menyalurkan komoditi. Namun bagaimana caranya untuk menjaga selisih harga supaya masih dalam taraf wajar ?

Untuk membantu menemukan solusi dari masalah tersebut, kami memiliki ide untuk membuat aplikasi monitoring harga komoditi. Ide tersebut kami tuangkan dalam bentuk Mind Mapping.

Input harga komoditi di sentra konsumsi bisa didapatkan dari Siaran RRI, Email, SMS, Twitter, Mobile App dan untuk input harga komoditi di sentra produksi bisa diinput manual oleh petugas terkait. Dengan demikian akan ada cukup data untuk membandingkan harga di sentra produksi dengan harga di sentra konsumsi.

Sedangkan outputnya yaitu Business Intelligence (BI) Dashboard, yang berguna untuk menampilkan data-data hasil analisa dalam waktu tertentu (harian) sesuai dengan input data yang masuk.

Karena acara Hackathon ini hanya berlangsung selama 2 hari dan 1 malam, maka kami memilih untuk menggunakan Twitter sebagai input datanya. Kenapa kami memilih Twitter karena, Twitter merupakan salah satu media sosial populer di negara kita, sehingga kami percaya bahwa melalui Twitter ini masyarakat Indonesia bisa berpartisipasi untuk ikut menjaga selisih harga supaya masih dalam taraf wajar.

Sedangkan untuk BI Dashboardnya kami menggunakan Kibana.

ELK

ELK merupakan kependekan dari Elasticsearch, Logstash, Kibana.

Logstash menggunakan input plugin untuk mengambil data beragam data source, misalnya Twitter, File, Database, dll. Dan menggunakan output plugin (Elasticsearch plugin) untuk meng-index data di Elasticsearch.

Elasticsearch merupakan mesin pencari dan analisa yang dibangun di atas Apache Lucene. Elasticsearch menggunakan format dokumen JSON sebagai standar komunikasinya.

Kibana merupakan platform analisa dan visualisasi yang didesain dapat bekerja sama dengan Elasticsearch. Dengan Kibana kita bisa mencari, melihat dan membuat dashboard dari data-data yang ada di Elasticsearch.

Berikut capture-capture untuk aplikasi yang sudah kami selesaikan pada Hackathon tersebut.