网页爬虫、中文分词、全文搜索及自动定时调度

    如题，实现网页爬虫，将制定URL下的网页内容进行爬查，去掉HTML代码后保存到本地，并对这些内容进行中文分词，建立索引，而后提供全文搜索服务。爬虫、分词并建立索引，可以单独执行，也可以整合在一起进行定时调度而无需人工干预。不需要安装任何数据库，部署简单。部署好之后就可以马上对自己的网站进行爬虫、建立索引后就可以提供全文搜索服务，还可以通过JS方式，跨域提供全文搜索。    如题，实现网页爬虫，将制定URL下的网页内容进行爬查，去掉HTML代码后保存到本地，并