请百度不要再抓DoNews的Wiki 作者: 转贴自:百度 点击数:976
wiki.donews.com连续几天,定时被百度的抓取机器人抓到系统停止响应。 拜托百度,不要这样抓内容了。就算抓,也应该用1个线程来抓,只抓更新的内容,何必每天抓一次,而且用无数个线程,而且每次都要抓全部内容,还不放过任何wiki的历史页面,甚至连错误信息都要原样搬走。 这种抓取方法,谁受得了?