基于Heritrix网络爬虫算法的研究与应用[EB/OL]
北京:中国科技论文在线
计算机网络 通信联系人: 【收录情况】 中国科技论文在线: 范先爽
最后通过对改进前后的爬虫抓取网页的速度对比
详细分析了开源网络爬虫Heritrix的系统结构
解析特定网站网页实现定制抓取的目的
以及引入ELFHash算法实现了高效、多线程抓取Web资源的目的
基于Heritrix网络爬虫算法的研究与应用[EB/OL]
计算机网络 通信联系人: 【收录情况】 中国科技论文在线: 范先爽
最后通过对改进前后的爬虫抓取网页的速度对比
详细分析了开源网络爬虫Heritrix的系统结构
以及引入ELFHash算法实现了高效、多线程抓取Web资源的目的