Tag Archive for server


爬虫导致服务器当机

Posted in 网事如风 2007-10-31 CommentsCommentsComments,,

昨天服务器当机超过了7个小时,致使无法及时更新Blog,看来以后我要提前几天预发才行了。奇怪的是当机了这么久,访问量却出奇的好,而且成为连续7天内的新高,晕倒,难道只是出国带宽遭遇了限制?但我用代理也是无法访问的啊。
cph
管理员说CPH服务器半个月来不断遭遇包括QQ,百度在内地爬虫的”袭击”,即恶意频繁索引。就像我一年半前遇到的弱智baidu蜘蛛一样,小小的blog一天被它搞走2,3G的流量。

国内的蜘蛛是不遵守robots.txt约束的,而且也不知道它们疯狂的原因,所以管理员做了ip访问限制,即同时间的最大访问数量,希望以后能稳定些。

被肆意地强奸了,而且还会持续,不定时,不定量。只好限制次数,但看来限制的只是抽插次数而已。