本项目实现的是：自己写一个网络爬虫，对搜狐(或csdn)爬取新闻(博客)题目,然后把这些新闻题目和它的连接地址上传到hdfs多个文件上，一个文件对应一个题目和连接地址，然后通过火词技巧对每一个文件中的题目进行分词，分词后树立倒排索引以此来实现搜索引擎的功效，树立倒排索引不熟习的朋友可以看看我上篇博客 本项目实现的是：自己写一个网络爬虫，对搜狐(或csdn)爬取新闻(博客)题目,然后把这些新闻题目和
阅读背景：
Hadoop学习之网络爬虫+分词+倒排索引实现搜索引擎案例
来源：互联网
分享到：
