原创代码思路分析需求分析分享 计算机毕业设计Hadoop+Spark电影推荐系统 电影用户画像系统 电影大数据 电影可视化 电影爬虫 电影数据分析 电影大屏echarts 大数据毕设 大数据毕业设计

news/2024/5/20 0:10:24 标签: 大数据, hadoop, spark, 推荐算法

本章详细介绍了本系统的需求分析。本系统旨在实现一个用户不仅能方便地查看电影信息,而且能获取自己感兴趣的推荐电影的系统。本系统的功能应当是较为完善的,推荐结果应当较为精准化,推荐效率应当高效,并且面对不断增长的电影数据和用户数据应当有着良好拓展性。此外,本系统应当以web页面为最终呈现方式,以便于用户在PC端或移动端等设备上随时访问本系统。

虚拟机centos7部署运行演示

交互层提供了用户与系统之间交互的途径,通过简洁直观的web页面将系统展示给用户。业务逻辑层主要用于实现交互层的功能,根据业务逻辑实现用户信息、电影信息的管理,同时选取合适的推荐算法来完成相关推荐。推荐算法层分为统计推荐、离线推荐和实时推荐。统计推荐主要用统计的方法如计算评论数或评分等来推荐;离线推荐主要反映用户历史的电影喜好,因为计算量巨大需要离线定时运行;实时推荐主要反映用户近期的电影喜好,在离线计算好的数据基础上可以做到秒级、毫米级的计算延迟。存储层综合关系型数据库和非关系型数据库来存储用户数据、电影数据和推荐结果集。交互层、业务逻辑层、推荐算法层和存储层都将会部署在服务器端,用户在web页面上浏览时与服务器端通过HTTP协议来进行数据传输。

windows本地部署运行演示

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
总结
本文从实际生活的应用出发,综合运用各类技术,设计并实现了基于Spark的电影推荐系统。在本次课题研究中,所做的工作总结有以下几点:
(1)学习了许多推荐算法的原理;
(2)学习了许多之前的未接触过的技术,如Spark计算框架、ElasticSearch搜索引擎、MongoDB数据库和Vue前端框架等;
(3)详细分析了本系统的功能性需求和非功能性需求;
(4)详细设计了本系统的架构与各个功能模块,详细设计了系统所需的几种推荐算法,如统计推荐、离线推荐和实时推荐算法,详细设计了数据库并给出了优化策略;
(5)测试了推荐算法的误差,以及对系统进行了高并发的性能测试。

展望
虽然本文最终实现了基于Spark的电影推荐系统,但是仍还有进一步完善、优化和提升的空间。笔者提出以下两点优化意见:
(1)搭建Spark高性能集群
目前本系统还是三个节点的集群模式,但是面对日益庞大的数据量,单机的计算能力就有点捉襟见肘了。当搭建了Spark高性能集群,每台机器的计算和内存压力会减轻不少,大大提高了计算效率。
(2)探索其它推荐算法
由于本系统中用户评分矩阵十分稀疏,会对推荐算法的准确性有一定的影响。在以后的学习中,还可以探索其他推荐算法,使本系统具有更高的准确性。


http://www.niftyadmin.cn/n/784954.html

相关文章

【adb】常用adb命令

获取序列号: adb get-serialno 查看连接计算机的设备: adb devices 重启机器: adb reboot 重启到bootloader,即刷机模式: adb reboot bootloader 重启到recovery,即恢复模式: adb rebo…

数据仓库Hive——函数与Hive调优

文章目录五、函数1.系统自带的函数1.1 查看系统自带的函数1.2 显示某一个自带函数的用法1.3 详细显示自带的函数的用法2.自定义函数3.自定义UDF函数开发实例(toLowerCase())3.1 环境搭建3.2 书写代码,定义一个传入的参数3.3 打包,带入测试环境3.4 创建临…

python全栈学习路线-查询笔记

查询目录 一,硬件 十一,数据库 二,Linux基础 十二,前端 三,python基础 …

源码思路分享 计算机毕业设计Python+SpringBoot知网文献推荐系统 文献可视化 文献数据分析 文献大数据 大数据毕业设计 大数据毕设

功能 1、文献推荐功能(推荐算法要求高一点) ①基于用户推荐 ②推荐算法 2、用户模块 ①登录 ②注册 ③管理 3、文献数据分析展示功能 ①推荐数据展示 ②搜索结果展示 4、文献搜索模块 搜索文献 运行截图

【#if 0 ... #endif】真实用途

转自:http://blog.csdn.net/raining_heart/article/details/8019535 在过去都没有去理会#if 的作用,今天突发奇想,开启编译器试一试。 很多人都知道,#if 0 ... #endfif的作用跟/*...*/的作用是一样的,就是注释,可…

【selenium学习笔记】webdriver进行页面元素定位

【selenium学习笔记】webdriver进行页面元素定位 进行Web页面自动化测试,对页面上的元素进行定位和操作是核心。而操作又是以定位为前提的,因此,对页面元素的定位是进行自动化测试的基础。 页面上的元素就像人一样,有各种属性&…

程序好思路分享 计算机毕业设计Hadoop+Spark交通大数据 地铁客流量分析大数据 数据仓库 大数据毕业设计 大数据毕设

简介 该项目主要分析深圳通刷卡数据,通过大数据技术来研究深圳地铁客运能力及探索优化服务的方向 主要讲解Flink流处理实时分析部分,离线部分较简单,暂时略过 项目流程 采用python请求深圳地铁数据API,将数据发送至Kafka和MyS…

访问控制符

1 查看下列代码 abstract class Vehicle { public int speed() { return 0; }} class Car extends Vehicle { public int speed() { return 60; }} class RaceCar extends Car { public int speed() { return 150; }} public class Tes…