stock.lupopi.com 搬移計畫

雖然一直都沒有時間去新增功能
不過資料抓了一陣子
也不太想隨便就放棄

只是抓了兩三年的資料
也抓了40G有吧= =
VPS 也快報炸了

只好搬到硬碟成本比較低的美國主機
可是美國主機爬資料又很慢
還沒爬完 今天就過了(隔天就爬不到資料了)
只好再出動 Raspberry Pi 了

打算把爬資料的部份
交給 Raspberry Pi 來做
等爬完了 再透過 Remote API 把資料寫回去
讀寫時間可能會延長
但是抓取的時間可以縮短

如果爬不完的話
也可以打算用多個 thread / 或是多台 Pi 去爬
希望一個六日假期可以把它做完囉

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *