基于协同过滤的图书推荐系统设计与实现论文设计.docx
《基于协同过滤的图书推荐系统设计与实现论文设计.docx》由会员分享，可在线阅读，更多相关《基于协同过滤的图书推荐系统设计与实现论文设计.docx（30页珍藏版）》请在冰点文库上搜索。
基于协同过滤的图书推荐系统设计与实现论文设计
题目：
基于协同过滤的图书推荐
系统设计与实现
摘要
在如今人才匮乏、知识重要的全球新时代环境下，人民对追求学问的迫切，加剧了图书信息量的发展。
读者想要在短时间内从海量书籍中寻觅出自己感兴趣的图书越来越困难。
为此，计算机领域的相关专业人员提出并且实现了运用数据挖掘技术，通过对广大图书馆用户进行历史行为的分析，研发出了方便大众使用的个性化图书推荐系统。
本文将在众多的推荐算法中选择协同过滤来作为实现图书推荐系统的理论基础，全面的阐述其思想、算法实现的步骤、系统开发所具备的技术等。
关键词：
图书；推荐系统；协同过滤
ABSTRACT
Inthisglobalneweraenvironmentwheretalentsarescarceandknowledgeisimportant,people'surgencytopursuelearninghasaggravatedthedevelopmentoflibraryinformation.Itisbecomingmoreandmoredifficultforreaderstofindbooksofinterestfromalargenumberofbooksinashorttime.Therefore,professionalsinthecomputerfieldhaveproposedandimplementedtheuseofdataminingtechnology,throughtheanalysisofthehistoricalbehaviorofthemajorityoflibraryusers,todevelopapersonalizedbookrecommendationsystemthatisconvenientforthepublic.Thisarticlewillchoosecollaborativefilteringasthetheoreticalbasisforimplementingabookrecommendationsystemamongalargenumberofrecommendationalgorithms,comprehensivelyelaboratingitsideas,algorithmimplementationsteps,andsystemdevelopmenttechnologies.
Keywords：
Books；Recommendationsystem；Collaborativefiltering
第一章绪论
1.1研究背景及意义
从十四世纪至今，世界各地在文学、艺术、科学等多方面人才辈出，一些领军人物也被家喻户晓，比如伽利略、居里夫人，他们的科技成就尤为突出，伟大的科学精神被一代一代的传承下来。
1946年2月，第一台电子数字计算机在美国诞生，这标志着全球逐渐迈向信息化，开始朝着大数据的时代发展[]。
二十世纪末，因特网上的信息种类、数量变更十分庞大，导致大多数用户不知所措。
为了解决大多数用户对无限资源无法正常使用的难题，计算机领域的专业人士对此有了突破性的研究。
第一：
搜索引擎，它的出现让使用者能够快速的通过关键词查找到自己想要获得的信息。
第二：
推荐系统技术，它的出现不仅节省了广大用户在众多信息中检索的时间，还把用户最可能有偏好的内容传达给用户。
推荐系统所支撑的理论基础是推荐算法，包括基于协同过滤的推荐算法、基于内容的推荐算法、混合推荐算法、流行度推荐算法等的众多的推荐算法中，基于协同过滤的推荐算法最为普遍，例如，早期的Grouplens（新闻）系统、Movielens（电影）系统、Jster（笑话）系统等都使用的是协同过滤算法[]。
作为一名图书爱好者且经常出入图书馆的我来说，对高校图书馆系统深有感悟。
为了了解个性化图书推荐系统的实现过程，解决读者想要在短时间内从海量书籍中寻觅出自己感兴趣的图书、消除无畏劳动力以及保障用户信息文件保存安全等问题，本文将对实现图书推荐系统进行探究。
1.2国内外研究现状
二十世纪中期以来，西方国家的科学技术从各个方面都起着主导性的作用，计算机领域也不例外。
就拿推荐系统来说，除了上文提到的新闻、电影、笑话推荐系统，还有可精准计算出用户目前最想看视频的YouTube，该系统即能保证内容的多样性，又能保证内容的聚焦性，其算法用于筛选出候选集，排序用于展现候选集的方式。
还有北美地区非常流行的Hulu，它与Netflix非常相似，都是内容提供商。
至于个性化图书管理推荐系统，比较著名的则为康奈尔，它的个性化连接和个性化更新都是特别值得我们学习、研究的地方。
虽然，国内计算机方面的研究比较晚，但在全球信息化助力下，我国计算机的发展也进入了一个全新的阶段。
比如淘宝网，它推荐系统的后台是由四个模块组成：
离线计算、核心数据、推荐系统层和业务应用层，其中的数据、信息浩如烟海，该网的出现为广大用户的日常生活提供了很大的方便。
当当网则是图书推荐系统领域处于前端的一个系统。
现如今，推荐系统涉及到各个方面，像是数据挖掘、机器学习、人机交互。
无论是视频、电影还是图书推荐系统，为其决定合适的推荐算法才是最为关键的，否则，则就是僵尸系统。
而今，又出现了许多推荐算法，不同的推荐算法又有不同的分支，在基于协同过滤推荐算法中，又可将其分为基于记忆和基于模型的算法。
1.3论文研究的主要内容
在此次项目开发中，本人起初会对基于协同过滤的推荐算法进行学习，为后续工作奠定基础；接下来，则会对图书系统的需求来进行分析、总结概括；第三部分将主要进行图书推荐系统的整体设计，来表明系统的功能、数据库；第四，在总体功能的基础上，划分具体功能模块，并把推荐算法引用到图书系统中，实现基于协同过滤的图书推荐系统。
根据以上阐述，主要研究内容为：
（1）基于用户协同过滤以及基于项目协同过滤的推荐算法；
（2）图书推荐系统的总体设计；
（3）基于协同过滤图书推荐系统的实现过程；
（4）图书推荐系统的功能模块。
1.4本文的结构安排
本文的组织结构如下：
（1）第一章，将明确的指出论文中所要研究的背景与意义、目前国内外的发展现状以及本文研究的主要内容与结构安排等。
（2）第二章，将主要介绍一些可以用到的相关专业技术，如JSP技术，数据库MYSQL，B/S模式，推荐技术等，并且进一步阐述这些技术的准确定义。
（3）第三章，将进一步对协同过滤推荐算法的基本思想进行说明，并且对基于用户协同过滤算法的过程，基于项目的协同过滤的过程，以及基于用户协同过滤与基于项目协同过滤等四部分内容进行比较。
（4）第四章，将分别列出图书推荐系统的总体设计，需求分析，结构设计，数据库设计，图书推荐系统实现过程，并且对系统主要的功能模块进行分析陈述。
（5）第五章，总结自己在此次项目开发过程中的收获以及对后期的展望。
在学习扎实的理论基础、掌握项目开发的各个技术、投身于软件制作的整个过程后，本人将按照上述结构对论文进行梳理撰写。
第二章相关技术
2.1JSP技术
在认识jsp技术之前，必定要对java语言有一定程度的掌握。
java诞生于二十世纪九十年代，最初是一种咖啡的称呼，为了寄意端上一杯热咖啡而取名Java。
Java与c++（面向过程）有异曲同工之处，java是面向对象的语言，它将能够长期存活下去的主要原因是自身具有平台无关性，这里的平台是指操作系统和处理器，除此之外，它还有几个突出的特性：
语言简单、支持多线程、动态地维护程序及类库。
如今，网络软件设计的众多技术都与java语言有关联，例如：
编写和数据库相关软件的JDBC，开发手机应用程序的javaME，研发大型网络应用程序的JavaEE，设计web应用的JSP[]。
JSP是JavaServerPage的缩写，处在Servlet基础之上，被用来高效的开发动态的网页[]。
Jsp具有与java相似的特性：
第一，平台无关性，可应用在不同的操作系统中，也不用针对特定的CPU芯片进行编译，即在项目开发中，编写一次程序代码，便可各处运行；第二，业务代码分离，用于jsp所开发的项目，静态页面编写使用HTML，动态页面编写使用Java，处理业务的代码则交给业务控制层，真正做到业务代码与视图层分离；第三，预编译，当用户首次从浏览器中打开Jsp页面时，服务器会对代码进行仅一次的编译执行。
学习JSP，就必须对JSP页面的执行流程有一定了解。
JSP页面执行经过可分为六个步骤。
第一步：
客户端可以向服务器端发出一定的请求；第二步：
服务端接收请求，并加载其JSP文件；第三步：
服务器把加载的文件转化为Servlet代码；第四步：
JSP引擎将Servlet代码转换为Class文件；第五步：
服务器执行Class文件；第六步：
将结果发送给客户端[]。
图
2.2数据库MYSQL
开发图书推荐系统，学习数据库有关的知识是非常关键的。
在本系统中，数据库管理使用到的是NavicatforMySQL，下面我先对MYSQL进行简单说明。
MYSQL是一种开源的关系型数据库，它之所以被XX、谷歌这样的大公司使用，原因在于它具有可移植性；其二，具有扩展性和灵活性，方便数据库管理人员把数据库从一个操作系统挪动到另一个操作系统；其三，具有数据保护功能，安全又可靠；其四，稳定性强，比如在事务引擎方面；其五，支持大型数据库；最后，还有强大的查询功能[]。
用DOS命令操作mysql没有给人一种直观的效果，所以，采用大众认同的Navicatformysql进行表及数据的可视化操作，即可以简化数据库的管理也能降低系统管理成本。
另外，Navicatformysql不仅支持任何版本的MYSql数据库服务器，还能够提供给使用者一些实用的数据库工具，像是数据传输、导入、导出、备份、还原，这些都在最大程度的方便用户使用。
2.3B/S模式
在众多数据库管理系统和开发工具中，我们无论选择哪个来制作软件，存在的运行模式都只有两种，一种是C/S模式（客户机/服务器），一种是B/S（浏览器/服务器）模式。
本系统采用B/S模式的原因是：
首先它易于维护；再者易于实现，模式的表面层可以选用超文本标记语言，java技术开发的web系统也可以选用任何一种服务器；第三，方便用户使用。
此外，B/S模式还可以让用户处在互联网的任何位置。
当然，事务都是有两面性的，B/S模式的不足就是会增加服务器的压力[]。
2.4推荐技术概述
所谓推荐，就是指找到可能喜欢的东西。
在实际生活中，推荐技术已经应用到多个领域，比如一些生活快消品（淘宝）、内容快消品（youtobe）、车载消费体系等，它们推荐的规律都是基于“我的库存”，由于一些用户领域的不可控因素，推荐结果也必须跟着这些不可控因素发生变化，这就导致产生怎样精准计算才能推荐给用户准确内容的问题，也就有了不同的推荐算法，有了不同的推荐系统。
下面简单介绍几种推荐技术：
第一种是基于主要内容的推荐：
该系统可以推荐给用户与他们之前品味类似的物品；第二种是基于协同过滤的推荐：
指的是根据用户的兴趣和偏好，对用户来进行划分，从而进行产品推荐；第三种是基于人口统计学的推荐：
该系统是在人口统计信息基础上来进行推荐；第四种是基于知识的推荐：
即依据指定的范围知识来进行推荐，这里的知识涉及到如何指出物品的哪一方面是用户钟意的，且之后如何肯定物品对用户有用；基于社区推荐：
凭借用户伙伴的兴趣推荐；混合推荐系统：
融合了上述介绍的技术[]。
在实践当中，这么多的推荐算法我们应该根据特定的问题来选取，争取多做几种测试，以确定哪一种适合你所在的用户。
对于个性化图书系统来说，本人将基于协同过滤的算法作为最终选择。
2.5本章小结
扎实的理论基础是完成项目开发的前提，熟悉Java的专业知识，认识MySQL数据库，了解B/S模式，对于实现任一系统的开发都是有益无害的。
这部分内容就是对它们各自领域的主要知识做以介绍，当然，中华文化博大精深，要想完全地、彻底地对它们进行学习，只依赖系统研发是远远不够的。
在本章末尾，同时也对不同的推荐技术进行了简要说明，并且进一步明确了本系统所采用的方法。
第三章协同过滤推荐算法的研究
3.1协同过滤的基本思想
经过多年的发展，推荐技术中的协同过滤得到了大众的普遍认可，从上文叙述中我们就可以知道，它已经在各行各业中存在，那么，何为协同过滤？
用一句话来概括，就是人以群分，物以类聚。
换一种说法就是根据用户的兴趣和偏好来进一步对用户进行划分，从而对产品根据喜好进行推荐。
协同过滤算法又可以将其分为两大类，分别是基于记忆和基于模型的算法，其中基于记忆的算法又包括基于用户的协同过滤和基于物品的协同过滤两部分内容。
3.2基于用户的协同过滤
3.2.1基于用户协同过滤的思想
用户协同过滤表达的中心意思为：
通过用户对产品钟意的程度进行度量和打分，根据不同用户对相同商品的态度进行商品推荐。
也就是说：
假设有两个用户X、Y，都钟意类似的物品，并且表明了5星好评的态度，那么就可以把X、Y归为同一类，可以将Y喜欢的内容推荐给X。
简单的用户协同过滤思想如图3-1所示。
图3-1简化的用户协同过滤思想
若从复杂一点的角度来进行说明，假设有X、Y、Z三个用户和1、2、3、4四个项目，用户X钟意项目1和3，用户Z也喜欢项目1和3，预估出用户X和Z有较大的相同度，而由于X从未使用过项目4，所以可以将用户Z钟意的项目4推荐给用户X。
复杂的用户协同过滤思想如图3-2所示。
图3-2复杂的用户协同过滤思想
3.2.2基于用户协同过滤的算法过程
通过对以上所描述的基本思想的了解，基于用户的协同过滤推荐算法可以被我们分为以下三个阶段：
第一个阶段即对评分矩阵的构建；第二个阶段是寻找用户集合，即目标用户兴趣雷同的集合；最后一个阶段是去找到这个集合中目标用户所没有听说过的、并且目标用户喜欢的内容，进而推荐给他们。
（1）创建用户-项目评分矩阵
应对用户的历史评分数据进行初始化，进而建立评分数据矩阵。
其中，R（n,m）的用户—项目评分矩阵表示的含义是，其由n个用户和m个项目构成。
下表中Ri，j的含义为第i个用户对第j个物品的评分数值。
用户-项目评分矩阵如表3-1所示。
表3-1用户—项目评分矩阵
Item1
...
Itemj
...
Itemm
User1
R1,1
...
R1,j
...
R1,m
...
...
...
...
...
...
Useri
Ri,1
...
Ri,j
...
Ri,m
...
...
...
...
...
...
Usern
Rn,1
...
Rn,j
...
Rn,m
（2）寻找兴趣相似的用户
用户推荐的精准度是直接被计算用户的相似度所影响着得，这主要因为它是协同过滤技术的一个重要阶段。
在众多的相似度算法里，本文这里只对余弦相似度，修正余弦相似度以及Pearson相似度三个相似度算法做简单的介绍。
首先为余弦相似度。
由式（3-1）给出：
（3-1）
第二个是修正余弦相似度。
由式（3-2）给出：
（3-2）
最后介绍Pearson相似度。
由式（3-3）给出：
（3-3）
（3）推荐物品
物品推荐其实就是依据用户的N（i）最近邻居对备选物品的打分情况来估计用户对备选物品的评分，且挑选出可能打分情况最高的前几个信息，当成推荐结果传达给用户。
由式（3-4）给出：
（3-3）
3.2.3基于用户协同过滤优缺点分析
我们可以很明显的感觉出，基于用户的协同过滤在出现比较明显的兴趣内容时，它往往呈现出极优的性能，可是也因为站点结构、内容的繁琐度、使用人数在不断的增大，而显露出许多不足，像是数据稀疏性、可扩展性等问题，也有人认为传统的协同过滤无法反馈出用户偏好的变更等问题，这些都很大程度的改变了系统的性能，为使用者和厂家带来不便。
针对不同方面的问题，专家们也给出了相应的建议，比如能够解决可扩展性的模糊聚类算法、解决用户偏好变更而有的适应用户兴趣变化算法等。
对于本次开发的图书推荐系统，用户交易或给出态度（打分）的图书与总图书数量相比，只有少许的百分比，这也就产生了User-Item评分矩阵数据集稀疏性的问题。
面对如此不太乐观的数据状况，想要准确定位邻居用户集，就变得十分困难，而且，在计算类似用户集时，也会存在很大阻碍。
3.3基于项目的协同过滤
3.3.1基于项目协同过滤的思想
基于项目协同过滤的思想指的是：
计算的不同用户对不同项目进行评分，从而获得项目间的关系。
基于项目间的关系对用户进行相同内容的推荐。
也就是说：
假设某个用户喜欢商品1。
而根据数据可知，商品1和商品2很相似，那么就认定该用户可能也喜欢商品2，从而把商品2推荐给该用户。
简化的项目协同过滤思想如图3-3所示。
图3-3简化的物品协同过滤思想
从复杂一点的角度说明：
则假设用户X喜欢物品1和3，用户Z也喜欢商品1和3。
所以我们推测商品1和3有很大的相似度。
当用户Y也喜欢商品1，而用户Y未使用过商品3，且不了解商品3时，那么可自动的将商品3推荐给用户Y。
复杂的项目协同过滤思想如图3-4所示。
图3-4复杂的项目协同过滤思想
3.3.2基于项目协同过滤的算法过程
基于项目的协同过滤算法过程与基于用户的协同过滤算法过程相似，也分为三个阶段：
第一个阶段：
建立User—Item评分矩阵[]；第二个阶段：
计算相似度，只不过在基于用户协同过滤相似度计算时，寻找的是相似用户，而基于项目的相似度计算，寻找的是相似物品[]；最后预测未知的评分值产生推荐结果。
它们的数据源都是User—Item评分矩阵，所以两种方法的数据预处理和初始化步骤也是一样的。
3.3.3基于项目协同过滤的优缺点分析
基于用户和项目的两种协同过滤算法比较雷同，它们通常都是按照用户的表现预测项目的相同度，而非按照项目的自身来预测项目相同度。
通过寻找项目和项目之间的相符度，向目标用户传输与其喜欢的项目相同度高的其它内容。
即对相同度大的相像物品进行预估，将评分较高的若干个相同物品传达给用户。
我们知道的，非常著名的亚马逊系统就是运用了基于物品的推荐系统。
缺点是适用于项目数明显小于用户数的场合，如果项目很多（网页），计算项目相同度矩阵代价很大，然后没有办法在不离线更新项目相同度表的情况下将新物品推荐给用户。
3.4基于用户协同过滤与基于项目协同过滤的比较
对于基于记忆的这两种协同过滤算法有异曲同工之处，它们的相同点都是以“User-Item”评分矩阵来预测最近邻居对物品的兴趣，进而达到推荐内容的效果。
只不过，基于用户的推荐为了达到寻找用户最近邻的目的，必须在线上扫描整个用户的评分空间，这就加剧了计算最近邻的复杂度，而基于项目的推荐，存在物品较长时间内不会发生变更的可控因素，可以标准的对数据集进行离线计算，所产生的推送信息也能被认可。
若开发者实现的是小型推荐软件，那么选择基于项目的就比较适用，若开发者实现的是大型推荐软件，则建议选用基于用户的推荐。
下面两张图是对基于内存的协同过滤做的比较，不难看出，基于项目的推荐可在线下进行相似度计算[]。
如图所示。
如图所示。
3.5本章小结
协同过滤作为一种经典的推荐算法种类，它的优点很多，模型通用性强，不需要太多对应数据领域的专业知识，工程实现简单，效果也不错，这些都是它流行的原因。
概括起来，协同过滤就是利用一些爱好雷同、具有相同行为人的嗜好来传输用户偏爱的内容，每一位独立的用户通过协作的方式赋予信息一定程度的回馈，且保留下来帮助他人挑选，反馈的数据无论是正向的，还是反向的都非常重要。
第四章图书推荐系统的设计与实现
4.1图书推荐系统总体设计
设计该图书管理及推荐系统的框架主要包括两个部分：
登录信息和图书信息的数据管理。
除了能对用户信息和图书信息进行维护，还具有基本的添加、修改、删除、查询等操作。
总之，该系统即可以满足一般的需求，又拥有与其他管理系统不同的推荐特色功能。
基于协同过滤的电子图书推荐系统目标比较明确，就是根据用户的历史行为（收藏或购买图书），在用户下一次登录的时候，向用户推荐出与用户看过的书最相似的电子书。
系统可以支持管理员和用户分别登录。
用户登录可以实现查询电子图书，收藏及购买电子图书；对于电子图书的查找、图书的修改、图书的删除、图书的添加以及管理用户的操作，对于电子图书的查找、图书的修改、图书的删除、图书的添加以及管理用户的操作，都可以通过管理员来登录。
图书系统的流程图如图4-1所示。
图4-1图书系统流程图
4.1.1需求分析
（1）可行性分析
技术可行性：
协同过滤的图书推荐系统开发基于B/S模式,采用JSP技术，众多数据库Oracle,SqlServer,MySQL中，根据MySQL的开源免费和其强大的稳定性考虑，采用navicatforMySQL作为数据库管理系统。
操作可行性：
该图书软件不仅具备美观的用户操作机制，而且使用简单。
通常情况下，用户只需能够熟练的对计算机进行操作，并对此系统的使用做简单的了解，即可快速上手。
所以，从使用操作方面展望，此系统的开发是具有一定可行性的。
（2）系统功能性需求分析
本系统能够实现的功能分为以下几个方面：
用户登录注册界面：
在用户登录时会进行身份验证，只有注册后的用户可以登录到系统中，享受被推荐权利。
如果没有注册而登录，系统会提示注册信息。
管理员登陆界面：
管理员在登录后，不仅具有对用户信息进行相应的查询、修改与删除权限，还具有对电子图书的相关信息进行添加、删除与修改的权限[]。
用户查询界面：
登录后的用户根据查询条件，输入相关的信息，得到要查询的电子图书。
当显示出符合条件的所有书籍后，点击详细信息查询，表明用户查询过了此电子书，并且还可以进行收藏或购买的行为。
用户再次登陆显示推荐信息，当查询过电子图书的用户再次登录时，界面上会显示与该用户之前查询过的电子图书相似性较大的相关推荐。
系统总体功能如图4-2所示。
图4-2系统总体功能
（3）系统功能用例图
根据本系统可以实现的功能，依据其场景分析，使用StarUML绘制出管理员用例图和用户用例图。
后台操作员拥有的权利主要包括对电子书籍和用户的料理，直接的行为主要包括登录系统和对书籍进行查询。
管理员用例图如图4-3所示。
图4-3管理员用例图
普通用户参与的活动是对图书操作的功能和系统推荐图书的功能。
用户用例图如图4-4所示。
图4-4用户用例图
4.1.2数据库设计
（1）数据概念结构设计—E-R图
表示实体、属性与联系的方法可以由E-R图（实体-关系图）来进行提供。
实体型：
即用矩形来表示，在矩形框内写明具体实体名。
属性：
即用椭圆形来体现，并通过直线与其相应的实体进行连接。
联系：
即用菱形来体现，在菱形边框中标记联系名，并通过直线来与其有关的实体进行连接。
系统核心的E-R图如图
（2）数据表的创建
1）allusers表
管理员表allusers的结构如表4-1所示。
表4-1allusers表
字段名
数据类型
主键
外键
是否为空
ID
int
是
否
Username
Varchar（50）
否
Pwd
Varchar（50）
否
续表4-1
字段名
数据类
升级会员 