ODI工具抽取数据操作手册精编版.docx

1、ODI工具抽取数据操作手册精编版ODI工具抽取数据操作手册一、准备工作（以ORACLE 11G为例）1、ODI是oracle的数据抽取工具，需要自行安装oralce数据库。2、请按照ODI安装说明书安装rcu资料库和ODI工具。ODI11G安装及使用_XX文库：3、理解：资料档案库资料库分两种：（1）Master Repository（主资料库），保存企业所有IT资源的Topology，保存项目和数据模型的安全信息、版本信息，供ODI图形模块等使用。通常创建一个即可。Master Repository要尽可能独立存储，单独的Instance，或单独的Schema。(2) Work Reposi

2、tory（工作资料库），保存项目和数据模型，供ODI图形模块等使用。可创建多个。一个Work Repository只能连接一个Master Repository。一个Schema只能存储一个Work Repository，不过Master Repository倒可与其安装在同一Schema。4、TopologyTopology Manager（拓扑管理器）主要用来管理下面5类任务，并将信息存储在主资料库中，供所有模块共享使用。（1）物理体系结构，定义各种技术及其数据服务器、物理架构、物理代理。（2）逻辑体系结构，定义各种技术及其关联的逻辑架构、逻辑代理。（3）上下文，用来连接物理架构和逻辑架构

3、。（4）语言，不同技术所能采用的语言特性。（5）资料库，包含主资料库及其附属的工作资料库。5、知识模块Oracle Data Integrator之所以能适应不同的、多种多样的数据源，灵活有效的完成数据抽取/转换/载入的过程，均是基于其知识模型体系。 Knowledge Modules类似于程序中的插件，Oracle Data Integrator将数据整合的任务抽象出六个组成部分：（1）反向工程RKM，Reverse-engineering knowledge modules，用于从数据源读取表及其他对象。 （2）日记JKN，Journalizing knowledge modules，用于

4、为单一或一组表/视图记录新建的和修改的数据。ODI支持部分数据源的Change Data Capture(CDC)功能，前提为ODI项目中启用该模块。（3）加载LKM，Loading knowledge modules，用于从数据源抽取数据。 （4）检查CKM，Check knowledge modules，用于检测抽取出的源数据的合法性。（5）集成IKM，Integration knowledge modules，用于将Staging Area中的数据转换至目标表，基于目标数据库产生对应的转换SQL。（6）服务SKM，Service knowledge modules，提供将数据以Web S

5、ervices的方式展现的功能。6、源系统需要知道源系统的数据库用户密码与源系统IP地址或主机名、数据库端口、数据库实例。(以223这台机为例)。数据库链路：jdbc:oracle:thin: 172.17.7.223:1521:gbk数据库用户/密码：rcms/123456数据：EMP（表）7、创建目标系统的用户（以 50这台机为例）。数据库链路：jdbc:oracle:thin: 172.17.7.50:1521:orcl数据库用户/密码：spaq_odi/spaq_odi并且需要在目标用户上创建源用户的表或视图，表结构需要与源用户的表结构一致。create user spaq_odi i

6、dentified by spaq_odi default tablespace users; grant connect,resource to spaq_odi; grant create database link to spaq_odi;grant create synonym to spaq_odi;create table EMP( EMPNO NUMBER(4) not null, ENAME VARCHAR2(10), JOB VARCHAR2(9), MGR NUMBER(4), HIREDATE DATE, SAL NUMBER(7,2), COMM NUMBER(7,2)

7、, DEPTNO NUMBER(2);二、创建主资料库1、新建主资料库用户（以zzl（主资料缩写）用户为例）:create user zzl identified by zzl default tablespace users;grant connect, resource to zzl;2、点击创建新的主资料档案库，填写资料档案库连接资料，JDBC URL原本为jdbc:oracle:thin:，需要手动修改。填写完资料后，可通过测试连按钮接测试配置是否正确。如下图1-2图1图2三、创建资料档案库连接1、点击创建新的ODI资料档案库登陆，填写资料档案库连接信息，通过“测试连接”可测试配置是否

8、正确。图1四、创建工作资料库1、新建工作资料库数据库用户(以gzzl(工作资料缩写)为例)：create user gzzl identified by gzzl default tablespace users;grant connect, resource to gzzl;2、点击连接到资料档案库 拓扑 资料档案库 右键工作资料档案库 新建工作资料档案库 如下图1-3图1图2图33、新建完后会自动提示是否为该工作资料创建登录名，可选择帮该工作资料档案库创建登陆名。也可连接主资料库的时候，点击编辑按钮“食品安全综合监管项目”连接在工作资料档案库项勾上工作资料档案库并且点击放大镜 添加WORK

9、REP1。操作如图4-5图4图5五、创建物理体系结构1、创建目标系统物理体系结构（以ODI_MUBIAO为例）拓扑 物理体系结构 技术 oracle 右键oracle 新建数据服务器 如图1：图12、定义名称、实例/dblink（数据服务器）、连接用户及口令：注1：在“Oracle to Oracle”模式时，“实例/dblink”将用于ODI自动创建两个系统间的dblink，为了使dblink创建成功，需要在目标数据库端配置TNSNAME（=这里的“实例/DBLINK”）；另外如果来源和目标是同一个数据库，那么dblink就是LOOPBACK的，这里的“实例/dblink”名字就不能等于SI

10、D。故这里故意加了“.LOOPBACK”。注2：连接用户与口令为目标的数据库用户与口令spaq_odi/spaq_odi 。3、JDBC驱动程序、JDBC URL：4、保存后新建目标物理方案点击ODI_MUBIAO 右键 新建物理方案5、定义方案（方案）、方案（工作方案）：保存后报没有选择上下文的警告，先忽略之。6、创建源系统物理体系结构与源物理方案（以ODI_YUAN为例）如图1-3图1图2图3注：连接用户与口令为目标的数据库用户与口令rcms/123456。最终结果如下图：六、创建逻辑体系结构1、创建目标系统逻辑体系结构（以ODI_MUBIAO为例）拓扑 逻辑体系结构 技术 oracle

11、右键oracle 新建逻辑方案 如图1-2：图1图22、创建源系统逻辑体系结构（以ODI_YUAN为例）七、创建项目1、设计器 项目 点击 新建项目 （以shipin项目为例）如下图1-2：图1图22、导入知识模块设计器 项目 shipin 右键知识模块 导入知识模块如图1-2图1图2温馨提示：点击即可全选知识模块，也可以逐个选择需要的知识模块，为简单起见，全选后确定。不过全部导入比较耗时和占空间，看下面的滚动条和右下脚的空间占用就知道了。八、创建模型1、创建目标系统模型（以ODI_MUBIAO为例）设计器 模型 点击 新模型按下图内容输入定义名称、技术、逻辑方案2、创建源系统模型（以ODI_

12、YUAN为例）3、逆向工程把目标系统（spaq_odi用户）下的表全部反向工程到我们目标模型内。逆向工程页签 上下文选择Global 点击 按钮4、创建源系统模型（以ODI_YUAN为例）跟目标模块一致，逆向工程把源系统的（rcms用户）下的表全部反向工程到我们的源模块内。5、创建目标模块ODI_MUBIAO 主键：设计器 模型 ODI_MUBIAO EMP 右键约束条件 新建关键字名称：PK_EMPNO_1 、关键字或索引类型：主键 、列：EMPNO图1图2注：目标模型的表必须添加主键，否则抽取数据的时候会出错。九、创建接口1、设计器 项目 shipin 第一个文件夹 右键接口 新建接口2、

13、输入接口名称3、映射目标模块和源模块的表。点击“映射”标签页 将ODI_MUBIAO内的EMP 拖至目标数据库存储区域 将ODI_YUAN内的EMP拖至 源默认值区域 提示是否执行自动映射，选择是即可。4、切换到“流”标签页。选中SrcSet0，LKM已默认采用LKM Oracle to Oracle (DBLINK)，我们需要把下面的AUTO_CREATE_DB_LINK改为 真。注：如果我们已经在数据库中手工创建了DBLINK，并且名字和定义“数据服务器”时定义的一样，这里就保持默认值否。选中“目标+临时区域”，可以看到下面已经默认使用了IKM Oracle Incremental Upd

14、ate5、切换到“控制”标签页。CKM选择器选上：CKM Oracle ，保存接口。十、执行接口1、设计器 项目 shipin 接口 右键POP.EMP 执行我们不使用代理，保持上面的选项点击“确定”，将会启动ELT会话。2、检查是否执行成功操作 会话列表 所有执行3、查看数据设计器 模型 ODI_MUBIAO 右键EMP 查看数据到这里如果有数据的话，证明已经成功将ODI_MUBIAO 内的EMP表的数据导进ODI_YUAN内的EMP表里面了。十一、问题诊断如果出现问题，Operator也提供了比较好的调式方法：如下图：1、由上图可以看到该执行到第9步出错了，可以双击该步奏打开会话任务窗口查

15、看错误信息。2、点击“代码”标签页可以查看执行哪些条语句出现该错误信息。3、对于出错的会话，可以重新执行，并且，可以先修改“目标代码”标签页的内容，加入调式信息十二、ODI 工具12C 创建代理参考该网站：12C 版本中，ODI的代理共分为三种：completely standalone agentstandalone collocated agentJEE agent12C版本在安装Server的时候，有两个选项，独立安装和企业安装。本文将描述企业安装的情况下代理的安装（standalone collocated agent）。首先，进入目录 oracle_commoncommonbin，运

16、行congfig.cmd,打开配置程序。这里选择创建新的域，域名称可自行调整接下来选择域的创建模板，勾选 odi collocated standalone agent选项，注意，下方的两项会自动勾选上，不要做任何调整！输入weblogic的管理员账号和密码这里我勾选的是开发模式，这样就不用每次启动weblogic的时候输入账号和密码了。如果系统的java环境需要调整，可以自行输入jdk的路径。接下来输入RCU的方案，方案的前缀名改为你在创建RCU的时候所使用的前缀。配置完成后，点击获取RCU配置这里不需要做调整，直接选择下一步这里需要数据库链接测试全部通过这里只选择系统组件。（其他几个选项的

17、配置过程，在下一篇文章里面会详细讲解）这里出现的代理OracleDIAgent1,就是我们需要的代理程序组件（注意，新增代理组件的时候，组件类型不要选错）这里填写代理server的IP地址端口号等相关信息。配置服务器的信息接下去，按照程序提示，一直选择下一步，直至执行完毕即可配置完成后，我们打开ODI Studio的界面，为刚才创建的代理，配置物理代理编辑代理页面，输入代理的名称。注意，这里的物理代理名称必须与之前创建的代理名称相同，同时地址与端口号也需要保持一致。接下来为物理代理配置逻辑代理，如下图至此，所有的配置工作已经，全部完成，接下来我们来启动这个代理进入先前创建的domain目录下，

18、打开bin文件夹可以看到agent.cmd文件，我们来运行它可以看到，命令行提示代理程序已经启动，那么我们进入ODI studio测试一下代理看看可以看到测试成功，说明之前的配置都已经生效了。至此，ODI 12C的 Collocated Standalone Agent完全配置成功了。十三、创建ODI控制台1、进入ODI安装目录，运行config.cmd 文件2、odi_domain 为域的名字可以根据自己的需求更改。如你已新建ODI域的话， 可以选择更新现有域，选择对应的域，即可编辑域，这里我选择创建新域。3、选上Oracle Enterprise Manager Plugin for ODI 12.1.3.0和 Oracle Data Integrator Standalone Collocated Agent 12.1.3.0（1）Oracle Enterprise Manager Plugin for ODI 12.1.3.0这个模板为：web控制台所需要的模板。（2）Oracle Data Integrator Standalone Collocated Agent 12.1.3.0这个模板为：创建代理时需要用到的模板。4、新建域的相关位置资料。直接下一步。5、填入域的用户与密码6、域模式和JDK选择默认即可。直接下一步7、