Python Spark 创建搜索引擎
来源:互联网
1、Python Spark 创建搜索引擎
1.1、常见推荐算法
常见推荐算法
算法
说明
基于关系型规则的推荐(Association Rule)
消费者购买产品A,那么他有多大机会购买产品B;<br> 购物车分析(啤酒和尿布)
基于内容的推荐(Context-based)
分析网页内容自动分类,在将用户自动分类;<br> 将新进分类的网页推荐给对该群感兴趣的用户
人口统计式的推荐(Demographic)
将用户以个人属性(性别、年龄、教育背景、居住地、语言)作为分类指标; <br> 以此类作为推荐标准
协同过滤式推荐(Collaborative Filtering)
通过观察所有用户对产品的评分来推断用户的喜好; <br> 找出对产品评分相近的其他用户,他们喜欢的产品当前用户多半也会喜欢
协同过滤式推荐(Collaborative Filtering)推荐的优缺点
有点
缺点
可以达到个性化推荐;<br> 不需要内容分析;<br> 可以发现用户新的兴趣点; <br> 自动化程度高
冷启动问题(Cold-start):如果没有历史数据就没有办法分析; <br> 新用户问题:新用户没有数据,就不知道他的喜好;
1.2、Spark MLlib ALS(Alternating Least Squares) 推荐算法
1、Python Spark 创建搜索引擎
1.1、常见推荐算法
常见推荐算法
算法
说明
基于关系