基于新浪微博的用户信息爬虫及分析.doc

1、目 录摘 要IAbstractII1 引言31.1 选题背景与意义31.2 系统开发工具31.2.1 vs 200831.2.2 oracle 11g31.2.3 boost库31.2.4 GZIP压缩算法函数库31.2.5 JSON格式文件转换函数库42 系统需求分析与设计52.1 系统需求52.1.1 名词说明52.1.2 系统功能需求说明52.1.3 系统总体功能设计72.2 系统数据库构建92.2.1 数据库设计92.2.2 数据库详细设计93 系统详细设计与实现123.1 爬虫系统详细设计123.1.1 HTTP请求数据包123.1.2 HTTP返回数据包133.1.3 数据分析与提

2、取133.1.4 AnaData类133.1.5 数据入库153.2服务端详细设计163.3客户端详细设计173.3.1 登录页面173.3.2 注册新用户和忘记密码页面183.3.3 用户关注列表查询界面193.3.4 微博用户标签分类查询203.3.4 发布微博并列表框中的微博用户昵称203.3.5 微博用户昵称模糊搜索213.3.6 微博用户微博查询214 系统部署与测试224.1 系统部署图224.2 系统测试225 结束语29参考文献30致谢31-31-摘 要随着互联网信息技术的发展，在这个信息时代，数据量的增长速度已经远远超过的我们的想象。迅速的对这些数据进行处理，进行信息的提取已

3、经成为目前计算机领域一个巨大的难题。而且无论是政府还是企业，对于大数据的掌握都可以起着至关重要的作用。数据处理技术蕴含的巨大的商业价值必将被慢慢的挖掘出来。本文以新浪微博作为信息载体。对新浪微博的用户信息进行收集和分析，对新浪微博信息数据转化成价值的可行性进行了尝试。设计出了一个可以获取新浪微博信息的数据收集系统，并进行一定的数据分析和数据展示。 关键词：C+，新浪微博，数据挖掘AbstractWith the Internet development of information technology, in this age of information, the amount of da

4、ta growth has far exceeded our imagination. Rapid processing of these data, the extraction of information has become a huge problem in the computer field. And whether government or corporate, can grasp for big data plays a vital role. The tremendous commercial value of data processing technology is

5、bound to be slowly excavated.In this paper, Sina Weibo as an information carrier. Sina Weibo user information collection and analysis the Sina microblogging data into the value of the feasibility of a try. Design one can get the the Sina microblogging information system of data collection and data a

6、nalysis and data presentation.Keywords: c+ ,Sina Weibo,Data Mining1 引言1.1 选题背景与意义随着互联网信息技术的发展，目前的信息增长的速度已经进入了飞速膨胀的阶段。“如果说IBM的主机拉开了信息化革命的大幕，那么大数据才是第3次浪潮的华彩乐章。”著名未来学家、当今世界最具影响力的社会思想家之一托夫勒在第三次浪潮中说过的内容如今已将逐渐成为事实，大数据正在改变这我们的生活。IDC（国际数据公司）在2011年6月的数据统计1，全球数据量在2011年已达到1.8ZB,在过去5年时间里数据量增加了5倍。1.8ZB是什么样的概念？1Z

7、B等于1万亿GB，1.8ZB也就相当于18亿个1T的硬盘。有效的对这些数据处理，去噪和提取信息，将数据转换成价值的技术已成为目前市场最为广阔的研究课题。例如数据挖掘，分布式计算，机器学习等等新的信息技术的产生，他们目的都是为了能够从这无比巨大的数据中，获取能够用于商业决策和企业管理的信息2。新浪微博于2009年正式上线，至2010年11月，新浪召开首届微博开发者大会时披露其微博用户突破5000万。2011年3月，新浪CEO曹国伟在发布财报时介绍称，其微博的注册用户总数已超过1亿。目前，新浪微博用户量已达到5亿。因此，新浪微博的数据具有极大的开发潜力。新浪微博数据平台是一个良好的数据载体。除了足

8、够大的数据量，相比与腾讯QQ空间，百度贴吧等，新浪微博还具有其他一些优点，如：1）具有一定的实名制，一些社会名人的加入提高了微博的影响力。2）可追寻的关系链。3）具有极快速的传播能力。因此，我选择了新浪微博作为爬虫进行用户分析的数据载体。 1.2 系统开发工具1.2.1 vs 2008 1.2.2 oracle 11g1.2.3 boost库Boost库是一个可移植、提供源代码的C+库，作为标准库的后备，是C+标准化进程的发动机之一。 Boost库有些内容有望成为下一代C+标准库内容。甚至替代现在的STL库。boost库在多线程处理上具有更多的优势，可以在linux 和window系统中使用而

9、不用修改代码，除了强大的可移植性，boost在运行中也具有极大的稳定性，因为加入了智能指针的概念，提高了开发效率。31.2.4 GZIP压缩算法函数库从新浪接口获取的数据数经过gzip压缩加密的数据，进行解压后即可获得json文件格式的数据。 GZIP最早由Jean-loup Gailly和Mark Adler创建，最初用于UNIX系统的文件压缩。而现今它已经成为Internet 上使用非常普遍的一种数据压缩格式，或者说一种文件格式，可以很好的对数据进行压缩。GZIP编码是可以很好的提高WEB应用程序的性能。大流量的WEB站点常常使用GZIP压缩技术来让用户感受更快的速度。当访问服务器中的网站

10、时，服务器将网页内容压缩在进行传输，一般对纯文本内容可压缩到原大小的40%.41.2.5 JSON格式文件转换函数库因为新浪微博的数据接口格式为json。为了获取微博数据，必须从JSON数据里面提取需要的信息。JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。JSON采用完全独立于语言的文本格式，JSON是一种理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成。52 系统需求分析与设计2.1 系统需求2.1.1 名词说明1）微博用户信息：指的是新浪微博的用户的ID、粉丝数、关注数、注册时间等信息、2）微博信息：指的是微博用户发布的微博的I

11、D、内容、发布时间，评论数，转发数等信息。3）用户：指的是使用本系统的用户。2.1.2 系统功能需求说明微博开放平台是一个基于新浪微博客系统的开放的信息订阅、分享与交流平台。微博开放平台提供了海量的微博信息、粉丝关系、以及随时随地发生的信息裂变式传播渠道。系统分成三个部分：数据爬虫，服务器端，客户端。（1）数据爬虫通过调用微博开放平台的接口，获取微博用户及其相应的信息，进行分析后存入数据库。（2）服务器部分接收客户端的请求，从服务器数据库或新浪平台获取数据后返回相应的数据给客户端。（3）客户端用于数据的展示。1）微博数据爬虫部分：为了实现数据爬虫的功能，需要解决的问题是数据的获取，这就需要了解

12、相关的基本的网络知识。理解了数据传输的原理，并利用现有的开源函数库，就可以完成数据获取函数的编写。其中，主要要处理的问题有：（1）实现HTTP请求报文的生成（2）实现HTTP返回报文的接收和解压（3）实现对解压后的json文件进行分析和信息提取，如果需要入库，存入入库队列。2）微博数据爬虫基本需求：（1）数据信息初始化:读取数据库中已有的信息，存入微博用户缓存队列。为爬虫系统的运行做好准备。（2）微博用户发现：自动爬取获取新的微博用户信息，如果发现新的微博用户ID，则将该用户信息存入。（3）微博信息爬取：从微博用户队列中获取微博用户ID，然后进行微博爬取。（4）微博用户信息更新模块：对数据库中

13、的微博用户信息中的微博数，关注数，粉丝数进行更新。（5）关注列表信息更新：定期的对关注列表的微博数，总评论数，总转发数等数据。（6）微博用户信息入库。将等待入库的数据容器里的数据存入数据库。（7）微博信息入库。将等待入库的数据容器里的数据存入数据库。（8）微博用户标签入库。将等待入库的数据容器里的数据存入数据库。（9）数据更新。当数据库已存在的该数据是，对数据进行更新。2）服务器部分：（1）命令接收及处理：接收客户的请求，并从数据库和微博平台中获取信息并返回给客户端。新增的关注微博用户的微博爬取：（2）当客户端新增了微博用户的关注时，进行数据爬取。微博信息入库。3）客户端部分：（1）登录模块：

14、（2）新用户注册模块：（3）通过邮箱获取注册验证码进行注册。（3）忘记密码模块：（4）向注册邮箱发送用户名和密码。（5）用户关注的微博用户列表查询。（6）获取关注列表的详细信息。（7）查询数据库中的用户标签分类后产生的数据：（8）通过标签类别和拟合度两个参数向服务器请求信息。（9）微博用户模糊联想搜索：（10）通过微博平台的联想搜索接口查询数据。（11）发布微博并对列表框的微博账号进行。2.1.3 系统总体功能设计1）爬虫系统流程如图2-1所示：图2-1 爬虫系统流程图2）接口调用处理流程如图2-2所示：图2-2 数据接口调用流程图3）服务器流程如图3-3所示：图2-3 服务器流程图4）客户端

15、流程图如图2-4所示：图2-4 客户端流程图2.2 系统数据库构建2.2.1 数据库设计系统采用oracle 11g数据库。数据库名称weibo。数据库weibo包含5个表: 1） USER_TABLE，用于存储注册用户信息；2） WEIBO_USER_FOCUS_LIST,用于存储用户的微博用户关注列表；3） WEIBO_USER_INFO，用于存储微博用户信息；4） WEIBO_WEIBO_INFO用于存储微博信息；5） TABLEKEYS_INFO用于存储微博用户标签信息.2.2.2 数据库详细设计1）WEIBO_WEIBO_INFO 表主键为ID字段，USERID字段为外键，并为ID字

16、段，USERID字段建立索引。表结构如图2-5所示:图2-5 WEIBO_WEIBO_INFO 表结构图2）WEIBO_USER_INFO 表主键为ID字段，ID字段，SCREEN_NAME字段建立索引。表结构如图2-6所示:图2-6WEIBO_USER_INFO 表结构图3）WEIBO_USER_FOCUS_LIST表ID字段为外键，表结构如图2-7所示:图2-7 WEIBO_USER_FOCUS_LIST 表结构图4）USER_TABLE 表结构如图2-8所示:图2-8 USER_TABLE 表结构图5）TABLEKEYS_INFO 表主键为USERID字段，表结构如图2-9所示：图2-9

17、 TABLEKEYS_INFO 表结构图3 系统详细设计与实现详细设计阶段的根本任务是确定应该怎样具体实现所要求的系统，也就是经过这个阶段的设计工作，应该得出对目标系统的精确描述，并使之后的编码阶段根据此说明可以实现系统的大部分功能。3.1 爬虫系统详细设计3.1.1 HTTP请求数据包为了实现获取新浪微博平台的数据，必须向新浪微博服务器发送数据请求报文进行数据请求。因此，我构造了一个PostData类，用于生成http包的字符串。HTTP报文格式：一个HTTP请求报文由状态行（request line）、首部行（header）、空行和请求数据4个部分组成，请求报文的一般格式如图3-1所示：图

18、3-1 HTTP报文格式图利用HTTPWatch抓取在浏览器中收取新浪微博数据时发送的HTTP数据包，HttpWatch抓取的数据包内容如图3-2所示：图3-2 HTTP数据包经过分析，可以知道请求方法为POST ，请求的url地址为Accept-Encoding 为gzip，deflate。请求数据为一个以apiurl开头的字符串。Apiurl之后请求数据由一下几个部分组成：接口url，请求类型，请求参数，access_token等组成。3.1.2 HTTP返回数据包每向发送一个HTTP请求数据包后，都可以获得相应的数据包。分析获取HTTP应答报文中的Conten-Length参数可以获取数

19、据长度。知道了数据长度后用zlib库的函数对数据进行解压。当然，数据并不是每一次都是正确，导致数据出错的原因有很多，但我们只要判断数据格式是否正确，当数据格式不正确或不完整时，将直接丢弃报文，打印数据格式错误信息。3.1.3 数据分析与提取将得到的json字符串，利用提取json数据的函数库对字符串进行处理和提取我们需要的字段内容。3.1.4 AnaData类AnaData类结构如图3-3所示：图3-3AnaData类结构图这是爬虫系统的最主要的类，该类对发送请求报文，分析应答报文，数据分析和提取等各个功能函数进行了整合和封装。在该类中，以do开头的方法为爬虫函数，用于调用Start函数获取数

20、据，并将需要入库的数据转存到入库缓存容器中。以Start开头的方法为数据获取和分析函数，用于设置参数从新浪服务器获取数据并调用ana函数分析数据。以ana开头的方法为数据分析函数，用于从start获得的m_data数据流中提取数据并存于weiboMessageList或weiboUserList容器中。类中的各个方法和字段协调合作，完成数据爬取分析和存储。以下是几个do函数实现的功能介绍：doUserWeibo（）对微博用户ID列表的微博进行爬取，获取微博信息并进行标签归类。doRunning（）微博用户ID发现，获取微博用户的详细信息。doUserCounts（）对微博用户信息的更新。3.1

21、.5 数据入库入库函数包括了微博用户入库（StoreToUserDB），微博用户更新（UpdateUserDB），微博入库（storeWeiboToDB），微博用户标签入库（storeTableKey）。每个入库函数都开启一个独立的线程。当相应的缓存容器中的数据达到一定的数量时，对数据容器进行锁定，相应的爬虫函数暂停，开始对数据进行入库，入库后该数据从缓存容器删除，入库接收后解除锁定，继续爬虫。下面的代码微博微博用户信息入库的函数主要代码。void StoreToUserDB()oracledb m_oracle; m_oracle.ConnectDB(weibo,chen,LISTENER_

22、WEIBOORACLE);int datatcount=m_moniterUserList.size();/m_moniterUserList是一个map容器。用来存储数据库已存在的微博用户信息的ID。int dbcount=0;while(1)coutstroe db is runningendl;Sleep(20000);/当等待入库的缓存容器为空时，入库线程进入休眠状态if(!weiboUserList.empty()boost:mutex:scoped_lock lock(oracledbMutex);/互斥锁,boost的互斥锁可以自动的在析构是释放锁for(map:iterator

23、 it=weiboUserList.begin();it!=weiboUserList.end();)map:iterator findmoniter;findmoniter=m_moniterUserList.find(it-second.ID);/数据库中是否有该函数if(findmoniter=m_moniterUserList.end()m_oracle.insertUserInfo(it-second);/执行oracle插入语句MoniterUser minfo;minfo.id=it-second.ID;minfo.friends_count=it-second.friends_

24、count;minfo.lastTime=0;minfo.isMoniter=false;m_moniterUserList.insert(make_pair(minfo.id,minfo);dbcount+;datatcount+;it=weiboUserList.erase(it);if(dbcount=1000)/commit频率m_oracle.CommitSql();coutall countdatatcountendl;coutcountdbcountendl;dbcount=0;m_oracle.disConnectDB();其他的几个入库函数与微博用户信息入库类似。3.2服务端

25、详细设计1)监听线程：服务器运行时启动监听线程，当发现客户端有请求命令时，对请求命令进行解析，并进行相应的操作。服务器与客户端数据传输采用UDP协议，因为客户端发送的请求命令的数据长度相对较小，而且客户端与服务器不需要建立可靠连接。这样，使用UDP协议，可以极大的提高数据的传输速度，并大大的降低服务器的压力。Select函数可以实现socket的非阻塞方式进行工作。一般初学socket的人都不使用select函数，认为使用send和recv就可以实现socket的功能了。但是，作为一个网络程序，必须使用select才是合格的网络程序。通过使用select，就可以是UDP就可以基本实现TCP的功

26、能，当客户端没有收到服务器返回的命令时，可以根据需要是否重发操作命令或者直接放弃操作，不重发数据包。客户端向服务器请求的命令字符串包括三个部分：cmd字段，type字段 和data字段。前两个字段用来确定命令的类型，data为命令的参数。2)客户端向服务器命令执行函数及其功能： showweibo ：获取微博信息showtablekeys：获取标签分类showfocusana：获取关注的微博用户的分析统计信息showfocusList：获取用户关注的微博用户列表showsearchuser：获取模糊搜索信息Postnormalweibo：发布微博cancelfocus：用户取消关注微博用户ad

27、dfocus：用户增肌微博用户关注login：登录reg：注册forget：忘记密码3)关注微博用户信息获取:为了使客户端新增的关注微博用户的信息及时的入库，在服务器端增加一个信息获取函数和一个入库函数。4)服务器端与客户端的数据传输格式：数据格式类似于xml格式，在每一个数据字段的头部和尾部都添加了一个字段名作为标记位。3.3客户端详细设计3.3.1 登录页面登录页面如图3-4所示图3-4登录页面3.3.2 注册新用户和忘记密码页面注册页面如图3-5所示：图3-5 注册新用户界面1）随机验证码的生成：通过获取当前的格林时间，生成随机数。2）邮箱验证功能：邮箱验证功能是一个可以防止无限注册账号

28、的解决方法，而且通过注册邮箱，当用户忘记密码时，可以很轻松的通过邮箱获取用户登录信息。SMTP-简单邮件传输协议（SimpleMailTransferProtocol），是定义邮件传输最常用的协议，它是基于TCP服务的应用层协议用户注册时必须填写正确的邮箱，才能收到邮件获得验证码，从而进行注册。该功能用到了CSendMail类，CSendMail是一个通过socket与邮箱服务器建立连接，通过SMTP协议，发送SMTP数据报文通过设置的邮箱账号和密码，发送相应的登录验证报文，成功实现邮件的发送。3忘记密码功能：当用户忘记密码时，只要输入注册邮箱，发送请求给服务端，服务器查询数据库，当USER_

29、TABLE有该邮箱的注册信息时，获取该邮箱的用户名和密码，发送用户信息给该邮箱。忘记密码界面如图3-6所示：图3-6 忘记密码界面3.3.3 用户关注列表查询界面获取该登录用户关注的微博用户的信息，包括昵称，关注数，粉丝数。当用户双击某行的数据是，弹出数据详情对话框，可以查看该微博用户的总发布的微博数，及所有微博的总评论数和总转发数。并可以查看该用户各个时段发布微博的数量的直方图。可以非常容易的看出该微博用户使用新浪微博的规律。下面是该按钮控件的单击响应函数。void MainWin:OnBnClickedButton1()isFocus=true;/生成请求数据包char temp128;sprintf(temp,cmd:show;type:focusList;date:%s;,login_name);string str;m_clien