标签：开源spider

xilo 0评论

spider是搜索引擎的必须模块.spider数据的结果直接影响到搜索引擎的评价指标. 第一个spider程序由MIT的Matthew K Gray操刀该程序的目的是为了统计互联网中主机的数目 Spier定义(关于Spider的定义,有广义和狭义两种...