1、信息检索与搜索引擎技术实验向量空间模型昆明理工大学信息工程与自动化学院学生实验报告( 20142015学年第 1学期)课程名称:信息检索与搜索引擎技术 开课实验室:信自楼445 2014 年12月 23日年级、专业、班计科111学号201110405138姓名成绩实验项目名称向量空间模型指导教师李卫疆教师评语该同学是否了解实验原理: A.了解 B.基本了解 C.不了解该同学的实验能力: A.强 B.中等 C.差 该同学的实验是否达到要求: A.达到 B.基本达到 C.未达到实验报告是否规范: A.规范 B.基本规范 C.不规范实验过程是否详细记录: A.详细 B.一般 C.没有 教师签名: 年
2、 月 日一、 上机目的及内容:给定文档语料: d1: 北京安立文高新技术公司d2: 新一代的网络访问技术d3: 北京卫星网络有限公司d4: 是最先进的总线技术。d5: 北京升平卫星技术有限公司的新技术有。设计一个针对这些文档的信息检索系统。具体要求是:1) 给出系统的有效词汇集合(说明取舍原因)。2) 写出d1和d2在VSM中的表示(使用tf*idf,写出各项的数字表达式,具体数值不必实际计算出来)。3) 画出系统的倒排文件示意图。4) 按照向量夹角的余弦计算公式,给出针对查询“技术的公司”的前3个反馈结果。二、 实验原理给定文档语料: d1: 北京安立文高新技术公司 d2: 新一代的网络访问
3、技术 d3: 北京卫星网络有限公司 d4: 是最先进的总线技术。 d5: 北京升平卫星技术有限公司的新技术有。设计一个针对这些文档的信息检索系统。具体要求是:1) 给出系统的有效词汇集合(说明取舍原因)。北京、安、立、文、高新、技术、公司、新、网络、访问、卫星、有限、先进、总线、升、平的、是、最、有,这些词作为停用词不能加入系统的有效集合一、代,去除后并不影响原来句子语义的表达也不能算作系统的有效集合。2) 写出d1和d2在VSM中的表示(使用tf*idf,写出各项的数字表达式,具体数值不必实际计算出来)。 得到的矩阵:Termd1d2d3d4d5Term出现次数北京101013安100001
4、立100001文100001高新100001技术110013公司101013新010012网络011002访问010001卫星001012有限001012先进000101总线000101升000011平000011说明:TF:表示词项在该文档或者查询词中出现的频度。即该词项出现次数除以该文档的长度(所有词的个数):表示词项k在Di中的出现次数。:表示该文档的长度(所有词的个数)IDF:表示词项在文档集合中的重要程度。一个词项出现的文档数越多,说明该词项的区分度越差,其在文档集合中的重要性就越低。N:表示集合中的文档数;:表示出现词项k的文档数。d1中各词项的数字表达式“北京”的“安”的“立”的
5、“文”的“高新”的“技术”的“公司”的d2中各词项的数字表达式:“新”的“网络”的“访问”的“技术”的3) 画出系统的倒排文件示意图。 4) 按照向量夹角的余弦计算公式,给出针对查询“技术的公司”的前3个反馈结果。该部分由代码实现。三、 实验方法、步骤1 建立Java项目,2 建立DocumentStruct.java类文件并编辑3 建立TextVector.java类文件并编辑,如图4-1,图4-2所示图4-1图4-24 建立TF.java类文件并编辑,如图图4-7所示图4-45 建立IDF.java类文件并编辑,如图图4-5所示图4-56 建立CaculateSim.java类文件并编辑,
6、如图4-6所示图4-67 建立MainApp.java类文件并编辑,图4-7所示图4-78 完成后的项目文件夹如图4-8所示图4-89 运行结果如图4-9所示1. DocumentStruct.java代码:packageacm.model;public class DocumentStruct publicDocumentStruct() this.documentID = 0; this.documentSimValue = 0; this.documentContent = None; this.documentName = None; publicDocumentStruct(int
7、ID, double sim, String name, String content) this.documentID = ID; this.documentSimValue = sim; this.documentName = name; this.documentContent = content; public String getDocumentContent() returndocumentContent; public void setDocumentContent(String documentContent) this.documentContent = documentCo
8、ntent; public String getDocumentName() returndocumentName; public void setDocumentName(String documentName) this.documentName = documentName; public double getDocumentSimValue() returndocumentSimValue; public void setDocumentSimValue(double documentSimValue) this.documentSimValue = documentSimValue;
9、 publicintgetDocumentID() returndocumentID; public void setDocumentID(intdocumentID) this.documentID = documentID; publicDocumentStruct sortDocBySim(DocumentStruct docList) DocumentStruct temp; for(inti=0; idocList.length-1; i+) for(int j=i; jdocList.length-1; j+) if(docListi.getDocumentSimValue() d
10、ocListj.getDocumentSimValue() ) temp = docListi; docListi = docListj; docListj = temp; returndocList; private String documentName; private String documentContent; private double documentSimValue; privateintdocumentID;2. TextVector.java代码:packageacm.model;public class TextVector publicTextVector(int
11、dimension, int termCount, intdocumentTermCount, intdocumentCount, int documentContainTermCount) vectorWeight = new doubledimension; for(inti=0; idimension; i+) vectorWeighti = caculateWeight(termCounti, documentTermCount, documentCount, documentContainTermCounti); public double caculateWeight(intter
12、mCount, intdocumentTermCount, intdocumentCount, intdocumentContainTermCount) TF termTF = new TF(termCount, documentTermCount); IDF termIDF = new IDF(documentCount, documentContainTermCount); termTF.caculateTF(); termIDF.caculateIDF(); return(termTF.getTf()*termIDF.getIdf(); public double getVectorWe
13、ight() returnvectorWeight; public void setVectorWeight(double vectorWeight) this.vectorWeight = vectorWeight; private double vectorWeight;3. TF.java代码packageacm.model;public class TF public TF() tf = 0.0; termCount = 0; termInDocumentCount = 0; public TF(inttermCount, intdocumentTermCount) this.tf =
14、 0.0; this.termCount = termCount; this.termInDocumentCount = documentTermCount; public void caculateTF() if(termInDocumentCount = 0) System.out.println(请先设置文档总数!); return; this.tf = (double)termCount / (double)termInDocumentCount; public double getTf() returntf; publicintgetTermCount() returntermCou
15、nt; public void setTermCount(inttermCount) this.termCount = termCount; publicintgetTermInDocumentCount() returntermInDocumentCount; public void setTermInDocumentCount(inttermInDocumentCount) this.termInDocumentCount = termInDocumentCount; private double tf; privateinttermCount; privateinttermInDocum
16、entCount;4. IDF.java代码packageacm.model;public class IDF public IDF() idf = 0.0; documentContainTermCount = 0; documentCount = 0; public IDF(intdocumentCount, intdocumentContainTermCount) idf = 0.0; this.documentCount = documentCount; this.documentContainTermCount = documentContainTermCount; publicin
17、tgetDocumentCount() returndocumentCount; public void setDocumentCount(intdocumentCount) this.documentCount = documentCount; publicintgetDocumentContainTermCount() returndocumentContainTermCount; public void setDocumentContainTermCount(intdocumentContainTermCount) this.documentContainTermCount = docu
18、mentContainTermCount; public double getIdf() returnidf; public void caculateIDF() if(documentContainTermCount = 0) System.out.println(请设置文档的长度(所有词的个数)!); return; this.idf = Math.log10(double)this.documentCount / (double)this.documentContainTermCount); private double idf; privateintdocumentCount; pri
19、vateintdocumentContainTermCount;5. CaculateSim.java代码packageacm.model;public class CaculateSim publicCaculateSim(TextVector vector1, TextVector vector2) doublesimDividend=0.0, simDivider=0.0; double tempVector1=0.0, tempVector2=0.0; for(inti=0; ivector1.getVectorWeight().length; i+) simDividend += v
20、ector1.getVectorWeight()i * vector2.getVectorWeight()i; for(inti=0; ivector1.getVectorWeight().length; i+) tempVector1 += Math.pow(vector1.getVectorWeight()i, 2.0); tempVector2 += Math.pow(vector2.getVectorWeight()i, 2.0); simDivider = Math.sqrt(tempVector1*tempVector2); this.sim = simDividend / sim
21、Divider; public double getSim() returnsim; private double sim;6. MainApp.java代码packageacm.model;public class MainApp public static void main(String args) intTermCount = 1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0, 0,0,0,0,0,1,0,1,1,1,0,0,0,0,0,0, 1,0,0,0,0,0,1,0,1,0,1,1,0,0,0,0, 0,0,0,0,0,0,0,0,0,0,0,0,1,1,0,0,
22、 1,0,0,0,0,1,1,1,0,0,1,1,0,0,1,1, 0,0,0,0,0,1,1,0,0,0,0,0,0,0,0,0; intdocumentTermCount = 7, 7, 5, 6, 11, 3; intdocumentContainTermCount = 3,1,1,1,1,4,4,2,2,1,2,2,1,1,1,1; DocumentStruct docList = new DocumentStruct6; String documentContent = 北京安立文高新技术公司, 新一代的网络访问技术, 北京卫星网络有限公司, 是最先进的总线技术。, 北京升平卫星技术
23、有限公司的新技术有。, 技术的公司; TextVectorqueryVector = new TextVector(16, TermCount5, documentTermCount5, 6, documentContainTermCount); for(inti=0; i5; i+) TextVectortempVector = new TextVector(16, TermCounti,documentTermCounti, 6, documentContainTermCount); CaculateSimtempSim = new CaculateSim(tempVector, quer
24、yVector); DocumentStructtempDoc = new DocumentStruct(i+1, tempSim.getSim(), 文档+(i+1), documentContenti); docListi = tempDoc; docList = docList1.sortDocBySim(docList); System.out.println(以技术的公司为查询关键字得到的前3个结果为:); for(inti=0; i3; i+) System.out.println(i+1) + .+ docListi.getDocumentName()+:+docListi.getDocumentContent();
copyright@ 2008-2023 冰点文库 网站版权所有
经营许可证编号:鄂ICP备19020893号-2