Panen data di twitter menggunakan python

Tidak sedikit penelitian di bidang text mining dan NLP (Natural Language Processing) memanfaatkan data dari platform populer twitter. Pada artikel kali, saya akan share bagaimana membuat dataset dari twitter menggunakan library tweepy di python.

Twitter adalah social media, dimana pengguna memungkinkan share pesan singkat sebanyak maksimal 140 karakter yang biasa disebut dengan tweet. Karena tweet dikirim terus menerus, Twitter merupakan cara yang tepat untuk mengetahui peristiwa/tren terkini. Biasanya pengguna menggunakan hashtag (#) dengan keyword tertentu dalam mengkategorikan topik apa yang mereka share.

Disini saya dibahas bagaimana mendapatkan data dari twitter yang akan disimpan ke dalam file csv dan database MySQL. Sebelumnya anda perlu membaca dokumentasi library tweepy disini: https://docs.tweepy.org/en/stable/. Selanjutnya kita perlu mendaftar sebagai developer di Twitter API untuk mendapatkan Api key dan Secret key. 

Mendapatkan API key Twitter

1. Buka halaman https://developer.twitter.com/en,
2. Login atau registrasi jika belum mempunyai akun developer,
3. Buka menu Application Console dan create new Twitter application,
4. Isi semua form dan check Developer agreement.
5. Selanjutnya anda akan mendapat credential berupa Api key, Api Secret, Access token dan Access token secret

Setup Tweepy

Jika environment di python anda belum terinstall tweepy, bisa anda lakukan instalasi library tersebut dengan perintah: pip install tweepy

Untuk melakukan koneksi dan autentifikasi ke twitter, gunakan code berikut ini dimana variabel consumer_key, consumer_secret, access_token dan access_token_secret yang sudah anda isikan dengan data dari application yang sudah anda create diatas:

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)

auth.set_access_token(access_token, access_token_secret)

Berikutnya kita perlu siapkan listerner untuk menangkap tweet yang di posting saat ini oleh pengguna berdasarkan keyword yang kita definisikan, sebagai contoh kita gunakan "jogja" dan "jogja istimewa". Pertama buat class StreamListener() selanjutnya jalankan class tersebut untuk mulai menarik data. Berikut code di python:

class StreamListener(tweepy.StreamListener):

def on_connect(self):

print("You are now connected to stream API")

def on_error(self, status_code):

print("An error has occured: " + repr(status_code))

return false

def on_status(self, status):

print(status.text)

stream_listener = StreamListener()

stream = tweepy.Stream(auth=auth, listener=stream_listener)

stream.filter(languages=['in'], track=["jogja", "jogja istimewa"])

Simpan file tersbut ke dengan nama "stream.py". Berikutnya bisa kita jalankan dari terminal atau command dengan perintah: python stream.py Bisa dilihat output di terminal tweet yang ditangkap oleh program tersebut. Untuk mengakhiri proses streamming tweet bisa menggunakan Ctrl + C atau close terminal / command aktif anda.

Menyimpan ke format CSV

Untuk menyimpan output tweet ke dalam csv, kita gunakan library csv dari python. Kemudian pada method on_status( ) di class StreamListener( ) perlu kita update dengan menambahkan kode untuk menulis ke file csv berikut ini:

with open('tweet_output.csv', 'a') as f:

    writer = csv.writer(f)

    writer.writerow([date, loc, name, desc, text, status.entities.get('hashtags')])

    time.sleep(10)

Pada kode diatas akan menulis output di file "tweet_output.csv" dengan kolom date, loc, name, desc, text, dan hashtags dari tweet yang dipisahkan dengan separator koma (,).

Berikut ini kode lengkap nya

import time

import tweepy

import csv

consumer_key = "<consumer key anda>"

consumer_secret = "<consumer secret anda>"

access_token = "<access token anda>"

access_token_secret = "<access token secret anda>"

class StreamListener(tweepy.StreamListener):

def on_connect(self):

print("You are now connected to stream API")

def on_error(self, status_code):

print("An error has occured: " + repr(status_code))

return false

def on_status(self, status):

text = status.text

# Menghilangkan karakter yg mungkin membuat error separator csv

remove_characters = [",", "\n"]

for c in remove_characters:

text.replace(c, " ")

try:

name = status.user.screen_name

desc = status.user.description

loc = status.user.location

date = status.created_at

with open('tweet_output.csv', 'a') as f:

writer = csv.writer(f)

writer.writerow([date, loc, name, desc, text, status.entities.get('hashtags')])

time.sleep(10)

except Exception as e:

print(e)

with open('tweet_output.csv', 'w') as f:

writer = csv.writer(f)

writer.writerow(['Date', 'Location','Name', 'Desc', 'Text', 'Hashtag'])

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)

auth.set_access_token(access_token, access_token_secret)

listener = StreamListener(api=tweepy.API(wait_on_rate_limit=True))

streamer = tweepy.Stream(auth=auth, listener=listener)

print("Tracking data twitter on progress..")

streamer.filter(languages=['in'], track=['jogja','#jogja'])

Pada kode diatas di bagian stream.filter( ) ditambahkan parameter languages=['in'] untuk mengambil tweet yang menggunakan bahasa indonesia saja. Sedangkan untuk parameter track, bisa digunakan lebih dari 2 keyword.

Menyimpan ke database MySQL

Sedangkan untuk menyimpan data output tweet ke database MySQL, digunakan library pymysql. Selanjutnya kita membutuhkan satu method untuk melakukan koneksi dan penyimpanan ke tabel MySQL. Berikut ini kode dari method store_data( ) yang digunakan untuk menyimpan ke tabel di database:

def store_data(id, name, date, txt):

connection = pymysql.connect(host=host, user=user, password=password,

db=db, charset=charset, cursorclass=cursorclass)

try:

with connection.cursor() as cursor:

sql_save = "insert into tweet (tweet_id, screen_name, created_at, text) "

            sql_save += "values(%s, %s, %s, %s)"

cursor.execute(sql_save, (id, name, date, txt))

connection.commit()

cursor.close()

return

finally:

connection.close()

Dari kode diatas terlihat variabel connection digunakan untuk membuat koneksi ke database, variabel sql_save untuk menyimpan perintah query insert dan cursor.execute() untuk menjalankan perintah query tersebut. Untuk menerapkan di Streamer, pada method on_status() kita tambahkan pemanggilan method store_data() ini.

Sebelum menjalankan kode python tersebut di terminal, kita perlu membuat tabel di database MySQL terlebih dahulu. Berikut ini DDL untuk membuat kode di database dengan nama tabel "tweets".

CREATE TABLE `tweets` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `tweet_id` varchar(250) DEFAULT NULL,

  `screen_name` varchar(128) DEFAULT NULL,

  `created_at` timestamp NULL DEFAULT NULL,

  `text` text DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=MyISAM AUTO_INCREMENT=1 DEFAULT CHARSET=utf8

Berikut ini kode lengkap pada file "stream-db.py" yang bisa anda jalankan.

import pymysql.cursors

import tweepy

host = 'localhost'

user = 'root'

password = ''

db = 'tweet'

charset = 'utf8'

cursorclass = pymysql.cursors.DictCursor

consumer_key = "<consumer key anda>"

consumer_secret = "<consumer secret anda>"

access_token = "<access token anda>"

access_token_secret = "<access token secret anda>"

def store_data(id, name, date, txt):

connection = pymysql.connect(host=host, user=user, password=password,

db=db, charset=charset, cursorclass=cursorclass)

try:

with connection.cursor() as cursor:

sql_save = "insert into tweets (tweet_id, screen_name, created_at, text) "

            sql_save += "values(%s, %s, %s, %s)"

cursor.execute(sql_save, (id, name, date, txt))

connection.commit()

cursor.close()

return

finally:

connection.close()

class StreamListener(tweepy.StreamListener):

def on_connect(self):

print("You are now connected to stream API")

def on_error(self, status_code):

print("An error has occured: " + repr(status_code))

return false

def on_status(self, status):

text = status.text

remove_characters = [",", "\n"]

for c in remove_characters:

text.replace(c, " ")

try:

name = status.user.screen_name

tid = status.id

date = status.created_at

store_data(tid, name, date, text)

except Exception as e:

print(e)

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)

auth.set_access_token(access_token, access_token_secret)

listener = StreamListener(api=tweepy.API(wait_on_rate_limit=True))

streamer = tweepy.Stream(auth=auth, listener=listener)

print("Tracking data twitter on progress..")

streamer.filter(languages=['in'], track=['jogja', '#jogja'])

Selanjutnya bisa anda jalankan kode diatas dengan perintah python stream-db.py

Saat proses streamming berjalan, kemungkinan terdapat bebeapa warning message di terminal / command dikarenakan terdapat beberapa karekter yang tidak sesuai.  Hal ini bisa kita atasi dengan menambahkan beberapa filter di kode sebelum menyimpan di database.

Untuk mendapatkan data dalam jumlah besar, kita harus menjalankan stream tersebut secara terus-menerus. Pada artikel berikutnya inshaAllah akan saya bahas bagaimana membuat service stream tweepy di server Amazon AWS.