您要打印的文件是:请百度不要再抓DoNews的Wiki

请百度不要再抓DoNews的Wiki

作者:     转贴自:百度    点击数:976


        wiki.donews.com连续几天,定时被百度的抓取机器人抓到系统停止响应。
 
        拜托百度,不要这样抓内容了。就算抓,也应该用1个线程来抓,只抓更新的内容,何必每天抓一次,而且用无数个线程,而且每次都要抓全部内容,还不放过任何wiki的历史页面,甚至连错误信息都要原样搬走。
 
       这种抓取方法,谁受得了?