Iseng-iseng mantau GO-JEK di Twitter

Beberapa bulan terakhir ini di Jakarta lagi booming GO-JEK, biasanya kalo lagi seperti ini pasti di medsos juga lagi rame. Iseng-iseng mantauin Twitter searching pake kata kunci gojek dapetnya begini :

Hasil Pencarian di Twitter

Setelah pulang dari acara Hackathon Merdeka, jadi kepikiran untuk mantau gojek di Twitter pake ELK. Dannn... akhirnya buat juga deh. Berhubung masih punya free account di Google Cloud Platform (GCP),  bikin disana aja deh hehehe... Ini langkah-langkahnya :

1. Buat 3 VM dengan OS Ubuntu 14.04 LTS dengan tipe g1-small (1 vCPU, 1.7 GB Memory)
2. Download Elasticsearch & Logstash & Kibana di VM yang berbeda
3. Install Elasticsearch & Logstash dengan perintah ubuntu sudo dpkg -i DEB_PACKAGE
4. Untuk Kibana cukup ekstrak saja dari file yang sudah didownload
5. Buat Twitter Apps di sini
• Generate Consumer Key (API Key) & Consumer Secret (API Secret)
• Generate Access Token & Access Token Secret
6. Konfig Logstash sebagai pengumpul data dari Twitter
• Buat file /etc/logstash/conf.d/01-twitter-input.conf

input {
        twitter {
        consumer_key => "CONSUMER_KEY"
            consumer_secret => "CONSUMER_SECRET"
            keywords => "gojek"
            oauth_token => "ACCESS_TOKEN"
            oauth_token_secret => "ACCESS_TOKEN_SECRET"
        }
}

• Buat file /etc/logstash/conf.d/30-twitter-output.conf

output {
    elasticsearch {
        protocol => "http"
        action => "index"
        host => "elasticsearch-01"
        index => "twitter-%{+YYYY.MM.dd}"
        workers => 1
    }
    stdout {}
}

7. Biarkan konfigurasi default dari Elasticsearch dan Kibana
8. Jalankan Logstash sudo service logstash start
9. Jalankan Elasticsearch sudo service elasticsearch start
10. Jalankan Kibana dari folder bin hasil ekstrak ./kibana 

Berikut barbuk yang sudah berjalan :

Log dari Logstash

Sense (Chrome Plugin) untuk mencari data pada Elasticsearch

Tambahkan index yang berawalan 'twitter-*'

Menu Discover untuk menampilkan stream dari Twitter 
yang diambil oleh Logstash dan disimpan di Elasticsearch

Yup, sekarang saya bisa memantau Twitter lewat Kibana, Thanks ELK!