文献类型：期刊文章

作　　者：刘宇[1] 周虎[2]

LIU Yu;ZHOU Hu(Nanjing Fiberhame Star Communication Development Co.,Ltd.,Nanjing 210000;Wuhan Research Institute of Posts and Telecommunications,Wuhan 430074)

机构地区：[1]南京烽火星空通信发展有限公司,南京210000 [2]武汉邮电科学研究院,武汉430074

出　　处：《计算机与数字工程》

年　　份：2020

卷　　号：48

期　　号：5

起止页码：1172-1175

语　　种：中文

收录情况：ZGKJHX、普通刊

摘　　要：随着互联网的普及,人们面临着大量的信息,但是有效的信息较少[1],这就造成了人们获得有效的信息困难的问题,因此推荐系统就尤为重要,论文提出了一种基于Spark Streaming实时、动态的推荐系统。论文主要研究的是:1)提出了一种基于Spark Streaming的实时推荐系统。2)研究了Spark数据倾斜、内存分配不均和卡顿问题,提出了一种根据Task大小分多级应用执行的策略。3)研究了基于模型的协同过滤算法,以及实时推荐系统的可行性并详细讲解ALS(交替最小二乘法)的思想,然后在Spark Streaming框架上运用ALS算法进行测试,评估实时推荐中算法的可靠性。

关 键 词：Kafka Spark Streaming  协同过滤算法 实时推荐  

分 类 号：TP391.3]