基于网络爬虫的搜索引擎的设计与实现

栏目导航

综合新闻

期刊导读

现在的位置：主页 > 期刊导读 >

来源：信息记录材料 【在线投稿】栏目：期刊导读时间：2020-12-09

【作者】网站采编

【关键词】

【摘要】随着信息量的增多,为用户提供便捷的搜索服务也更加具有挑战性。大规模存储信息并精确搜索的代价是巨大的,人们需要在信息搜索的快捷性与成本中找到平衡。系统实现一个基于网络

随着信息量的增多,为用户提供便捷的搜索服务也更加具有挑战性。大规模存储信息并精确搜索的代价是巨大的,人们需要在信息搜索的快捷性与成本中找到平衡。系统实现一个基于网络爬虫的搜索引擎。软件结构分为爬虫部分,数据库部分,前端显示部分。同时,描述了扩展成分布式爬虫的方法。硬件方面需要多台主机,软件方面包括Scrapy爬虫、数据库、Django框架。最终设计并实现了一个具有良好的健壮性和扩展性的网络爬虫系统。

文章来源：《信息记录材料》网址: http://www.xxjlcl.cn/qikandaodu/2020/1209/992.html

上一篇：新媒体时代公安院校思想政治教育创新研究
下一篇：分析医院精细化管理下的电子病案信息