mondrian源码分析和改造设计.docx

1、mondrian源码分析和改造设计mondrian源码分析1. 概述 11.1. 若干概念 11.2. 架构 22. 静态类包分析 32.1. 包解释 32.2. Schema manger部分 42.3. 包mondrian.calc 42.4. 包mondrian.olap接口 52.4.1. mdx函数包 52.4.2. funCall 52.4.3. Query类 62.5. 包mondrian.rolap计算层 62.5.1. 成员读取包MemberReader 62.5.2. 单元格读取CellReader 82.5.3. RolapResult类 112.5.4. RolapEv

2、aluator类 122.5.5. 关于排序 122.6. 聚集层Star layer 132.6.1. 概述 132.6.2. 聚合装载过程 132.6.3. segment详解 142.6.4. 缓存失效控制 173. 交互管理层 183.1. 初始化MondrianModel 183.2. 获取结果集 194. 修改点 224.1. mondrian角色参数化 224.2. 缓存失效控制 224.3. connection创建参数优化 234.4. 维度成员排序 234.5. 对mondrian bug的修正 244.6. to-do List 241.概述1.1.若干概念成员(memb

3、er)：成员是代表维度中一次或多次数据出现的项。度量值也可以算作一个维度，因此一个具体度量值项也可以作为一个成员。元组(tuple)：是向量，用于定义来自多维数据集的数据切片；它由来自一个或多个维度的单个成员的有序集合组成。元组用于标识来自多维数据集的特定多维数据块；由来自多维数据集中各个维度的一个成员组成的元组完全描述单元值。换言之，元组是一种成员向量。例如：(时间.下半年, 路线.非陆地.航空)，由单个成员组成的元组也可括在圆括号内，但这不是必需的。单元（cell）：多维成员的交集创建单元，可以是单个单元或单元块。元组唯一标识多维数据集中的一部分；它不必指某个特定单元，也不必包括多维数据集

4、中的所有维度。集合(set)：集合是零个、一个或多个元组的有序集合。集合最常用于在 MDX 查询中定义轴维度和切片器维度，并且同样可能只具有单个元组或可能在某些情况下为空。下面的示例显示具有两个元组的集合： (时间.上半年, 路线.非陆地.航空), (时间.下半年, 路线.非陆地.海路) 1.2.架构mondrian总共包含四个层次：表示层,计算层,聚集层,存储层.。表示层(presentation layer):指最终呈现在用户显示器上的,以及与用户之间的交互,有许多方法来展现多维数据,包括数据透视表,饼,柱,线状图. 计算层(dimensional layer):分析,验证,执行MDX查询

5、. 一个mdx查询语句会有多个处理阶段。先是计算轴，然后是轴上的单元值。为效率起见，计算层批量将单元请求发送到聚集层。请求转换器允许程序操作存在的请求，而不是为每个请求从头构造mdx请求。元数据描述了计算模型和它怎么匹配到关系模型。聚集层(star layer):一个聚集指内存中一组计算值(cell),这些值通过维列来限制.计算层发送单元请求,如果请求不在缓存中,或者不能通过旋转聚集导出的话,聚集层向存储层发送请求. 聚集层是一个数据缓冲层(cache)，从数据库来的单元数据，聚合后提供给计算层。聚集层的主要作用是提高系统的性能。 存储层:提供聚集单元数据(cell)和维表的成员(member

6、),这些层可以不在同一机子上,但是计算和聚集层必须在同一台机子上。有三种需要存储的数据：事实数据(事实表)、维度表和聚集数据(即聚合表)架构图如下：2.静态类包分析2.1.包解释mondrian.calc 提供编译好的表达式。mondrian.gui 设计Mondrian schema的图形接口mondrian.i18n 国际化和本地化工具mondrian.mdx 为mdx表达式定义解析树mondrian.olap 核心包，定义了连接和schema的元模型，用来执行查询mondrian.olap4j 中间层，olap服务器的驱动，用来代替jolap的mondrian.recorder 任务处理

7、记录接口mondrian.rolap olap包的数据访问层的实现mondrian.spi 用户自定义扩展的服务端支持接口mondrian.tui Mondrian文本用户接口mondrian.udf 用户定义方法mondrian.util Mondrian工具包mondrian.web Mondrian的servlet和tag库mondrian.xmla xml for analysis API的实现2.2.Schema manger部分Mondrian.rolap.RolapSchema类是mondrian schema的核心类，该类在在建立RolapConnection时被建立，但是有个

8、schema Pool维护着schema的缓存，参见RolapSchema.Pool内部类。在RolapSchema对象生成之前，首先有个原始的MondrianDef$Schema对象，该对象相当于mondrian schema xml文件的简单对应，由xml解析器直接生成。具体来说首先由xml文件解析成dom对象，然后再生成更加结构化的MondrianDef$Schema，最后再load成更加高级的RolapSchema对象，具体参见RolapSchema.load(String catalogUrl,String catalogStr);以MondrianDef$Schema或RolapS

9、chema对象为根，都还会有一系列的内部类去对应于mondrian schema下的子元素。如果一个Hierarchy的hasAll为true，则会有一个all member，对应着也需要一个虚拟的all level，位于该Hierarchy的levels0位置。2.3.包mondrian.calcCalc是所有可计算表达式的基接口。在mondrian中关于表达式有如下两个概念： The logical language of parsed MDX fragments (Exp). The phyiscal language of compiled expressions (Calc). 两种

10、语言可以允许我们将逻辑语言(即mdx语言) 和物理语言(how it is to be evaluated) 分开. 物理语言对类型的要求更加严格, and certain constructs which are implicit in the logical language (such as the addition of calls to the .CurrentMember function) are made explicit in the physical language。Calc接口针对各种类型有许多子接口：其中IntegerCalc, BooleanCalc, Double

11、Calc, StringCalc是数值型的，MemberCalc, LevelCalc, HierarchyCalc, DimensionCalc则用于olap模型中的元素。每一个子接口有都有一个实现的虚基类：AbstractIntegerCalc, AbstractBooleanCalc, AbstractDoubleCalc, AbstractStringCalc, AbstractMemberCalc, AbstractLevelCalc, AbstractHierarchyCalc, AbstractDimensionCalc。表达式(Expression)通常由表达式编译者(ExpC

12、ompiler)创建。对于一个给定的表达式通常有若干个evaluation策略，表达式编译者在编译过程中可以给我们一个选择的机会。2.4.包mondrian.olap接口Mondrian的核心包，定义了连接对象和完整的olap模型结构元对象，并且允许执行mdx查询语句。2.4.1.mdx函数包mondrian.olap.fun 定义了mdx内置的函数集。函数(function)的定义：参数描述例子name函数名Memberssignature函数标志.Membersdescription函数描述Returns the set of all members in a dimension.flag

13、sEncoding of the syntactic type, return type, and parameter types of this operator. The encoding is described below.pxdThe flags field is an string which encodes the syntactic type, return type, and parameter types of this operator. The first character determines the syntactic type, as described by

14、FunUtil.decodeSyntacticType(String). The second character determines the return type, as described by FunUtil.decodeReturnCategory(String). The third and subsequence characters determine the types of the arguments arguments, as described by FunUtil.decodeParameterCategories(String). For example, pxd

15、 means an operator with property syntax (p) which returns a set (x) and takes a dimension (d) as its argument.2.4.2.funCallA FunCall is a function applied to a list of operands. The parser creates function calls as an unresolved function call. The validator converts it to a resolved function call, w

16、hich has a function definition and extra type information。参见：Mondrian.olap. ResolveFunCall UnresolveFunCall 2.4.3.Query类用于mdx 查询。2.4.3.1.创建query创建：Connection.parseQuery(java.lang.String)。 创建mondrian.olap.Parser类，基于java_cup实现，调用其parse或debug_parse()方法，里面最主要 是CUP$Parser$do_action()方法,内部针对所有语句词句做了解析。其中c

17、ase75：生成最后的mondrian.olap.Query对象，内部调用parser.makeQuery()方法,内部初始化时会再调用query的resolve，mondrian.olap.QueryAxis的resolve()，进而会执行数据库。2.4.3.2.执行query执行：Connection.execute(mondrian.olap.Query)返回结果： Result.有些查询从缓存中读取，非常迅速。当也有些需要花费些时间，这时可以通过MondrianProperties.QueryTimeout参数设置timeout。如果想控制返回结果不至于太大，可以通过MondrianP

18、roperties.QueryLimit参数控制返回的cell数目。在查询执行的任何时候，另一个进程都可以通过cancel()方法取消该查询，此时Connection.execute(Query)会抛出异常。2.5.包mondrian.rolap计算层实现最终的实际的olap数据访问功能，包括读取维度成员值和cell值。2.5.1.成员读取包MemberReader2.5.1.1.概述包路径：Mondrian.rolap。该部分的起点是RolapEvaluator类。当一个类似于“member.children”的成员表达式被请求时, RolapEvaluator将调用RolapSchemaR

19、eader对象. RolapSchemaReader将再负责调用各个MemberReader对象(每个维度一个memberReader)。在大部分场合下，将使用SmartMemberReader 来迅速返回所需要的维度成员值。2.5.1.2.SmartMemberReaderSmartMemberReader实现了MemberReader接口，它实现了维度成员及其子成员的缓存，如果有一个成员位于缓存中，则还会有一个其子成员的列表。它同时缓存了level下的成员们。该类主要的成员有：source：MemberReader，用于实际从数据库中读取维度成员值。mapMemberToChildren：

20、map，实现成员及其子成员的映射，key为RolapMember，value为List。mapKeyToMember： map ，实现所有成员的缓存，其中的key为MmberKeymapLevelToMembers: map，实现级别及其所有成员的映射，key为RolapLevel，value为List。上述的source其实为mondrian.rolap.SqlMemberSource类，该类中反过来又存储了SmartMemberReader对象，作为其cache成员属性。成员读取过程：smartMemberReader.getMemberChildren(parentMembers,chi

21、ldren,constrain);最终通过source.getMemberChildren()，其中反过来会把找到的children赋予mapKeyToMember。最终除了将结果返回在children输出参数中，同时也对mapMemberToChildren赋值了。另外，smartMemberReader.getMembersInlevel()实现了对mapLevelToMembers的缓存。在new RolapEvaluator()时被调用。在读取时会对成员进行order by（如果设置了ascending的话。）2.5.2.单元格读取CellReader2.5.2.1.概述包路径：Mon

22、drian.rolap。Cells会被求值多次。第一次时, Evaluator使用FastBatchingCellReader来求值。当一个单元被求值时，evaluateCurrent()被调用。此时FastBatchingCellReader并没有被调用，而是为那个cell记录了一个 CellRequest并且return (not throw) an exception。在所有的cells都有了对应的CellRequests之后， Aggregation会生成 SQL，以一个单独的sql请求来载入所有的cells。然后由AggregatingCellReader 重新计算cells，从缓存

23、中返回cells值。2.5.2.2.FastBatchingCellReader类主要方法，Object get(Evaluator evaluator)首先根据当前的上下文环境（即一组members）创建cellRequest，cellRequest中包含了所有必要的从star中取值的信息。该组members的交集便是要求值的单元格，其中切片轴上的成员和其他轴上的成员完全同等对待；其中度量轴上的成员要求上StoredMeasure（非计算成员CaculatedMember）；度量值上的成员位于第一个。通过调用request的addConstrainedColumn()方法把各member对应

24、的column和value（属StarColumnPredicate）值加至到request中.调用AggregationManager.getCellFromCache(request,pinnedSegments)方法从缓存中获取cell值。首先根据request中的列组索引标识从缓存中获取aggreation缓存对象，如果为空说明缓存还未建立则直接返回null，如果有值则调用aggregation.getCellValue(measure,colValueKeys)方法获取缓存的cell值；getCellValue内部首先会根据measure查找匹配的segment，然后调用segmen

25、t.getCellValue(keys)从segment的dataset缓存集中查找相应的cell值。如果getCellFromCache返回为null则调用recordCellRequest（）记录需求。这些cell request会被组织成多个cell request batch，以便将来聚合层进行批读取以提高效率。关于batch的详细讨论参见下面Batch类章节。上层会在适当的时候调用batchCellReading.loadAggregations()以实际读取这些cell值，前提是batches对象中已有cellRequest了。每个batch的读取参见batch. loadAggr

26、egation()方法，最终调用聚合层的方法，参见aggreation.load(.)。2.5.2.3.FastBatchingCellReader.Batch类每个batch对应与一组特定的columns环境下的cell求取（具有相同的列和列值(列值是具体的值，不会是“all”值)）；从batch的属性可以看出batch包含了哪些上下文：RolapStar.Column，这个指明了基于哪些列(也即基于哪些维度，包括切片维度)进行读取；Set，保存了每列的限定值，对于一列而言，限定值可能会有多个（毕竟是批处理，一次请求多个）；MeasureList，指明求取哪些度量值上的cell（度量值本质是

27、度量维上的限定值）。BitKey，该batch的唯一索引。如图所示的一个mdx查询结果界面：此时会产生两个batch，每个batch最终可能会产生若干segment，segment是cells的集合，segment数和度量值个数相同。一个batch是(其中“当量数/适应交通量=拥挤度”，拥挤度是计算成员)，最终产生3个segment，每个segment只有一个cell：（地市=宁波市,measure=观察里程）（地市=宁波市,measure=当量数）（地市=宁波市,measure=适应交通量）另一个batch是(其中的G310等是路线代码，最终过滤掉空值后就剩下两个了) ，最终产生3个segm

28、ent，每个segment有多个cell：（地市=宁波市,roadId in (G310,G322,G210,S321.)，measure=观察里程）（地市=宁波市,roadId in (G310,G322,G210,S321.)，measure=当量数） （地市=宁波市,roadId in (G310,G322,G210,S321.)，measure=适应交通量）1、2.5.3.RolapResult类RolapResult 是一个运行中的请求的结果集。Mondiran的执行结果由RolapResult类表单，由于mdx查询语句本身就包含on rows(行轴上)、on columns（列轴上

29、）和where部分（切片轴上），结果集中相对应的为ROlapAxis对象，这其中有个sliceAxis对象。因此结果集是由若干ROlapAxis对象和一个RolapCell组构成的。每个axis对象又由若干Position对象组成，每个Position对象又可能由若干member组成（注意一个postion会横跨多个维度的成员）。注意ROlapAxis是抽象类，实际的对象类可能随着不同的轴是不同的。如图：图中，column轴上两个position(每个position含有一个成员)，分别是: Measures.YJDMeasures.GCLCRow轴上有三个position(每个positio

30、n含有二个成员)，分别是:dimLX.All dimLXs, dimTime.All dimTimesdimLX.All dimLXs.宁波梁辉, dimTime.All dimTimesdimLX.All dimLXs.同江三亚, dimTime.All dimTimes 切片轴上则有一个position：dimStation.All dimStations.宁波市单元值们则放置在RolapResult中的cellInfos对象里，属CellInfoContainer接口，其中存放着CellInfo，并通过Cellkey进行索引。CellKey：用于在maps里访问cellinfo时使用的键

31、值，根据cell的位置来决定键值。CellKey共有四个默认实现，及zero、one、two、three和many版的实现，分别对应着轴的个数。这些类中关键的属性便是存储各轴的位置值。CellInfo、CellInfoContainer：内部类。CellInfo包含了一个cell所需要的所有信息(最关键的包含value值和一些formatter设置);最终将作为构造ROlapCell对象的参数。CellInfoContainer显然是cellInfo的容器，并使用CellKey来索引。ROlapCell：最终返回给jpivot的cell单元值。2.5.4.RolapEvaluator类最终负责在多维环境中执行mdx表达式。该类中维护一个很重要的对象，即currentMembers,该上下文对象针对每个维度都包含了一个成员；通过setContext方法用来设置当前维度，以开始计算当前维度组合下的表达式值。2.