爬虫导致服务器当机
昨天服务器当机超过了7个小时，致使无法及时更新Blog，看来以后我要提前几天预发才行了。奇怪的是当机了这么久，访问量却出奇的好，而且成为连续7天内的新高，晕倒，难道只是出国带宽遭遇了限制？但我用代理也是无法访问的啊。
管理员说CPH服务器半个月来不断遭遇包括QQ，百度在内地爬虫的”袭击”，即恶意频繁索引。就像我一年半前遇到的弱智baidu蜘蛛一样，小小的blog一天被它搞走2,3G的流量。
国内的蜘蛛是不遵守robots.txt约束的，而且也不知道它们疯狂的原因，所以管理员做了ip访问限制，即同时间的最大访问数量，希望以后能稳定些。
被肆意地强奸了，而且还会持续，不定时，不定量。只好限制次数，但看来限制的只是抽插次数而已。
这种情况经常遇见
[Reply]
“限制的只是抽插次数而已” —— 太屌了
北极冰仔’s last blog post..jQuery 之 没有 ‘target’ 属性照样打开新窗口
[Reply]
“被肆意地强奸了，而且还会持续，不定时，不定量。只好限制次数，但看来限制的只是抽插次数而已。”
好强好强…因为这句话我特地来此留言告诉你这句话是我今年见到的最完美比喻.
[Reply]
谢谢欣赏~
[Reply]
最后一句~牛~可以收藏到语录中国了 哈哈哈
盗盗’s last blog post..社会性留言系统 Intense Debate 正式发布上线！
[Reply]