Gmailと Pythonでイベント管理 みんなの Python勉強会 #21 LT2017/02/3

Hello!

drillerですトレーダーやってますtwitter @patraqushe

宣伝

Python + 金融のコミュニティやってますfin-pyもくもく会#32/18(土 ) 11:00-19:00@DATUM STUDIO

色々なサービス使っているけど・・・

Pythonで管理したい

例えばこんなこと

▪SNSのデータ分析▪価格比較サイトで適正価格を評価▪イベントサイトの申込状況を管理

API?用意されていないサービスの方が多い

Scraping?とにかく大変

Mailを使おう

いまさらメール？

▪殆どのサービスでメールの通知が設定できる▪Gmalでフィルタリングがラベリングが簡単にできる▪インフラがいらない

▫googleのインフラをそのまま使える

とりあえずやりたいこと

各証券会社の約定記録を DBに突っ込む

こうすると超簡単

01 メールを通知設定02

gmailでフィルタリング03

GASを使ってGoogleスプレッドシートに取り込む

04

クレンジングしてpandasに取り込む

手順

Googleスプレッドシート

▪Gmailから割と簡単にエクスポートできる▪Google Apps Script(GAS)は JavaScriptがわかれば書けるらしい

▫とりあえず JavaScriptしらないけどなんとかなった▪スケジュール処理ができる

▫cronがいらない！

つかったパッケージ

▪oauth2client▫Google apiの認証

▪gspread▫Googleスプレッドシートから pandasへ取り込み

▪pandas▫クレンジングしたデータを DBへ

Demo生トレードの情報が入っているので目を凝らして見ないように！

課題

▪今回はメールで必要な情報が集まったが、サービスによってはメール通知に対応していない項目もある▪データクレンジングは Pythonで実施したが、泥臭い作業は残っている

まとめ

▪スクレイピングが大変だと思ったらメールを試してみよう▪面倒な情報の振り分けは Gmailでできる▪Gmail+Googleスプレッドシートでインフラいらず