明月照我行

2011年做过一个人物挖掘搜索的系统，当时用C#写过一个爬虫框架，当时对150多个学术网站采集了约3亿网页文件，零散的文件一开始分散放置在不同的主机和移动硬盘上，后来管理与使...