檔惡意的 spider

百度一類的 spider
真的很討人厭

一些很可惡的搜尋引擎的 spider
一次都會開超多連線來掃你的網站
之前跟隨法人放在 Linode 上
幾乎快被搓暴了
CPU 都接近 400%
連帶其他放在 Linode 的網站都動不了…

後來找了一些網路文章
這些 spider 真的是惡名昭彰
隨便找都有一堆文章教你怎麼檔XD

本來改 robot.txt
但是這些 spider 完全無視
只好用 iptables 把這些 spider 的區段都檔起來了

iptables 的設定有點複雜
請看此篇 檔惡意 spider, iptables 設定

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *

這個網站採用 Akismet 服務減少垃圾留言。進一步瞭解 Akismet 如何處理網站訪客的留言資料