本人很喜欢搜索引擎技术,最近想搭建一个属于自己的私人搜索引擎,自动完成所有的出来流程,记录一下。
把某个行业、某个领域,对应的网址放在一个txt文件内,接下来动动鼠标,点几下,从爬取到最后即时搜索,自动全部搞定,效果跟在百度搜索没什么两样。
以下是具体的操作流程逻辑:
第一步:创建一个索引任务,一键生成
这个操作会自动创建对应的表,用来存放爬取的网页内容,不需要人工创建,省去一些过于细化的配置。
第二步,开始自动内容爬取,自动入库
这个过程会先在后台进行多线程链接爬取,然后再进行多线程内容爬取,只需要指定链接文件,爬取层数,是否遵循robots,保存表,就可以一键开始爬取,期间会有进度条显示。
第三步,一键更新指定内容索引
这个过程会通过索引模块,对某个表进行分词,索引,生成倒排索引文件,此过程也是全自动的。
第四步,指定搜索库,开始搜索
生成完索引后,可以指定哪个索引作为当前搜索的搜索库,然后就可以自由搜索了
关于数据承载量,普通版本单机可承载几十万数据,高级版本单机可承载千万级数据,主要在于算法逻辑和数据结构的区别。语言为php+mysql,主打一个傻瓜式操作,配置方便。
如果你也喜欢搜索技术,可以互相交流。
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net