超簡単! webスクレイピングで特定のサイトから...

12
超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法 株式会社リッチメディア 沼野剛志

description

スクレイピングが簡単になり、好きなwebの更新情報などを、プログラミング無しで取ってこれる時代が来ました。 今日はkimonoとgoogle spread sheetを用いた超簡単なwebスクレイピングについてお話しします ・webスクレイピングについて ・kimonoを使った簡単スクレイピング ・Google Spread Sheetで保存

Transcript of 超簡単! webスクレイピングで特定のサイトから...

Page 1: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

超簡単! webスクレイピングで特定のサイトから

情報を定期的に取得する方法

株式会社リッチメディア 沼野剛志

Page 2: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

自己紹介

沼野剛志

JAIST出身

株式会社リッチメディア

webディレクター&エンジニア(仮)

Page 3: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

今日のアジェンダ

webスクレイピングについて

kimonoを使った簡単スクレイピング

Google Spread Sheetで保存

Page 4: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

webスクレイピング

ウェブスクレイピング(Web scraping)とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。by wikipedia

webサイトの更新情報を定期的にチェックする際やデータを取る際に便利

Page 5: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

kimonoを使ったスクレイピング

https://www.kimonolabs.com/

Page 6: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

更新される情報を取る

Page 7: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

csvで出力

click

ブラウザでURLにアクセスすると こんな感じで取れます

Page 8: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

google spread sheetで連携! しないで、データをそのまま取得w

ImportDATA関数を使って 直接保存

google spread sheetがDBに!? アドオンで連携も出来ます。

Page 9: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

後は好きなように・・・スプレッドシートからメールで転送

click

定期的にメールで送信出来る

時間でトリガーを指定すれば 定期的に更新情報が入手可能!

Page 10: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

webスクレイピングが今熱い!

http://dev.classmethod.jp/study_meeting/web-scraping-tokyo-2nd/

Page 11: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

webスクレイピングの注意事項

http://qiita.com/nezuq/items/c5e827e1827e7cb29011

Page 12: 超簡単! webスクレイピングで特定のサイトから 情報を定期的に取得する方法

よりよいwebスクレイピングライフを! ご清聴ありがとうございました