輕輕鬆鬆寫網路爬蟲
鍾傑倫
範例專案
• https://github.com/chungchiehlun/WebSpider
• site : express 與爬蟲程式寫成的網站服務
• spider : 爬蟲程式
攻略⽬目標
爬蟲三步驟
• 分析網⾴頁
• 開始寫爬蟲程式
• 解析爬到的內容
https://www.vanilla-air.com/reservation/ibe/ibe/booking
chrome developer tools
觀察瀏覽器(client)與 server 如何溝通
分析結論
• 需要拿到 cookie :
GET request 取得
• 需要送出完整版表單:
POST request 完整表單
認識 https.request
var https = require(‘https’)
Start Coding
解析資料
• 把爬到的資料存下來: fs
• 解析爬到的⽂文件: cheerio
快完成了
Finish !!
感謝您的聆聽
歡迎您⼀一起讓這專案變得更好
Top Related
活動通 輕鬆線上辦活動
WorkDo 工具輕鬆用:人 事使用手冊
輕鬆上手ASP.NET Web API 2.1.2
2017/10 輕鬆蒐集 我的文獻資料 - olis.kmu.edu.tw¼•鬆蒐集我的文獻資料.pdf · 圖書資訊處讀者服務組 張維容 (07)3121101#2133#73 . [email protected]. 輕鬆蒐集
EMBA也可以這樣輕鬆讀store.cpc.org.tw/content/pubfiles/2664/files/書摘簡報...EMBA 也可以這樣輕鬆讀 用 60 篇精彩小故事 輕鬆掌握標竿企業的成功「力」學
個資法不是怪獸 正確解讀 輕鬆搞定
[光穹遊戲] Excel x Fungus 讓企劃輕鬆點
輕鬆上手Asp.net web api 2.1-twMVC#14