孙子兵法之sql优化三十六计.docx
《孙子兵法之sql优化三十六计.docx》由会员分享，可在线阅读，更多相关《孙子兵法之sql优化三十六计.docx（31页珍藏版）》请在冰点文库上搜索。
孙子兵法之sql优化三十六计
孙子兵法之sql优化三十六计
中科软科技股份有限公司
寿险事业部
2008年6月
关于本文档
本文件包含保密内容，本文件并具有著作权。
未经幸福人寿保险有限公司和中科软科技股份有限公司书面同意，任何一方都不得复制或通过任何方式传播，无论是电子格式、纸张格式、影印格式或其他任何格式，也不得存储在任何性质的检索系统中。
主题
说明书—孙子兵法之sql优化三十六计
说 明
本文档总结了oracle数据库sql性能优化的一些方法
适用对象
项目组成员
修订历史
版本
章节
类型
日期
作者
说明
1.0
C
2008-06-10
孙洪岩
说明：
类型－创建（C）、修改（U）、删除（D）、增加（A）；
评审记录
角色
签名
日期
说明
目录
关于本文档I
1第一计：
选择最有效率的表名顺序1
1.1原理1
1.2举例1
2第二计：
WHERE子句的联结顺序1
2.1原理1
2.2举例2
3第三计：
SELECT子句中避免使用*2
3.1原理2
3.2举例2
4第四计：
减少访问数据库的次数2
4.1原理2
4.2举例3
5第五计：
在PL/SQL使用解释计划测试sql性能3
5.1原理3
5.2举例3
6第六计：
使用DECODE函数减少处理时间3
6.1原理3
6.2举例3
7第七计：
整合简单、无关联的数据库访问6
7.1原理6
7.2举例6
8第八计：
删除重复记录6
8.1原理6
8.2举例6
9第九计：
用TRUNCATE代替DELETE7
9.1原理7
9.2举例7
10第十计：
尽量多使用COMMIT7
10.1原理7
10.2举例7
11第十一计：
用Where子句代替HAVING子句8
11.1原理8
11.2举例8
12第十二计：
减少对表的查询8
12.1原理8
12.2举例9
13第十三计：
通过内部函数提高sql效率9
13.1原理9
13.2举例9
14第十四计：
使用表的别名9
14.1原理9
14.2举例9
15第十五计：
分情况使用EXISTS和IN、用NOTEXISTS代替NOTIN10
15.1原理10
15.2举例10
16第十六计：
识别低效执行的sql语句11
16.1原理11
16.2举例11
17第十七计：
用索引提高效率12
17.1原理12
17.2举例12
18第十八计：
用EXISTS替换DISTINCT12
18.1原理12
18.2举例13
19第十九计：
SQL语句使用大写13
19.1原理13
19.2举例13
20第二十计：
在java代码中尽量少使用连接符“+”连接字符串13
20.1原理13
20.2举例13
21第二十一计：
尽量不使用操作符<>13
21.1原理14
21.2举例14
22第二十二计：
避免在索引列上使用NOT14
22.1原理14
22.2举例14
23第二十三计：
避免在索引列上使用计算14
23.1原理14
23.2举例14
24第二十四计：
>及<操作符（大于或小于操作符15
24.1原理15
24.2举例15
25第二十五计：
用UNION代替OR（适用于索引列）15
25.1原理15
25.2举例16
26第二十六计：
用IN替换OR16
26.1原理16
26.2举例16
27第二十七计：
避免在索引列上使用ISNULL和ISNOTNULL（判空操作符）17
27.1原理17
27.2举例17
28第二十八计：
总是使用索引的第一个列18
28.1原理18
28.2举例18
29第二十九计：
用UNIONALL代替UNION18
29.1原理18
29.2举例18
30第三十计：
用WHERE代替ORDERBY19
30.1原理19
30.2举例19
31第三十一计：
避免改变索引列的类型20
31.1原理20
31.2举例20
32第三十二计：
需要当心的WHERE子句20
32.1原理20
32.2举例21
33第三十三计：
索引使用的选择21
33.1原理21
33.2举例21
34第三十四计：
避免使用耗费资源的操作21
34.1原理21
34.2举例21
35第三十五计：
优化GROUPBY22
35.1原理22
35.2举例22
36第三十六计：
LIKE操作符22
36.1原理22
36.2举例22
37附：
Oracle数据库重要概念23
37.1数据字典23
1第一计：
选择最有效率的表名顺序
1.1原理
ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名，FROM子句中写在最后的表（基础表drivingtable）将被最先处理，在FROM子句中包含多个表的情况下,你必须选择记录条数最少的表作为基础表。
如果有3个以上的表连接查询,那就需要选择交叉表（intersectiontable）作为基础表,交叉表是指那个被其他表所引用的表。
1.2举例
以核心业务系统中的新契约模块的个人保单表、个人险种表为例。
个人保单表是保单明细表，而个人险种表是把保单再明细到险种的表。
所以在联合这两张表查询时：
selecta.*fromlcpola,lccontbwherea.grpcontno=b.grpcontnoandb.signdate='2008-6-10'//效率较高
selecta.*fromlccontb,lcpolawherea.grpcontno=b.grpcontnoandb.signdate='2008-6-10'//效率较低
上述sql已经在查询优化器中进行比较。
2第二计：
WHERE子句的联结顺序
2.1原理
Oracle采用自下而上的顺序解析WHERE子句，根据这个原理，表之间的连接条件必须写在其他WHERE条件之前，那些可以过滤最大数量记录的条件必须写在WHERE子句的末尾。
2.2举例
以核心业务系统中的新契约模块的个人保单表、个人险种表为例。
个人保单表是保单明细表，而个人险种表是把保单再明细到险种的表。
所以在联合这两张表查询时：
selecta.*fromlcpola,lccontbwherea.grpcontno=b.grpcontnoandb.signdate='2008-6-10'//效率较高
selecta.*fromlcpola,lccontbwhereb.signdate='2008-6-10'anda.grpcontno=b.grpcontno//效率较低
上述sql已经在查询优化器中进行比较。
3第三计：
SELECT子句中避免使用*
3.1原理
ORACLE在解析的过程中,会将'*'依次转换成所有的列名,这个工作是通过查询数据字典完成的,这意味着将耗费更多的时间。
3.2举例
略。
4第四计：
减少访问数据库的次数
4.1原理
每次访问数据库，ORACLE在内部都执行了许多工作:
解析SQL语句、估算索引的利用率、绑定变量、读数据块等，sql多次访问数据库意味着耗费时间会很长。
4.2举例
略。
5第五计：
在PL/SQL使用解释计划测试sql性能
5.1原理
在PL/SQL中可以使用解释计划测试自己所写的sql的性能，当你在解释计划窗口中执行测试sql后，解释计划窗口会显示执行sql的各种耗费，一边你检测性能。
5.2举例
6第六计：
使用DECODE函数减少处理时间
6.1原理
使用DECODE函数可以避免重复扫描相同记录或重复连接相同的表。
6.2举例
1、含义解释：
decode（条件,值1,翻译值1,值2,翻译值2,...值n,翻译值n,缺省值）
2、该函数的含义如下：
IF条件=值1THEN
RETURN（翻译值1）
ELSEIF条件=值2THEN
RETURN（翻译值2）
…………………….
…………………….
…………………….
ELSEIF条件=值nTHEN
RETURN（翻译值n）
ELSE
RETURN（缺省值）
ENDIF
3、使用方法：
A、比较大小
selectdecode（sign（变量1-变量2）,-1,变量1,变量2）fromdual;//取较小值
*sign（）函数是一个判断俩个值的大小的函数，根据两个值的差是0、正数还是负数，分别返回0、1、-1
例如：
变量1=10，变量2=20
则sign（变量1-变量2）返回-1，decode解码结果为“变量1”，达到了取较小值的目的。
B、表、视图结构转化
现有一个商品销售表sale，表结构为：
字段
字段类型
字段名称
month
Varchar2（6）
月份
sell
number（10,2）
月销售金额
现有数据为：
200001 1000
200002 1100
200003 1200
200004 1300
200005 1400
200006 1500
200007 1600
200101 1100
200202 1200
200301 1300
想要转化为以下结构的数据：
字段
字段类型
字段中文名称
year
char（4）
年份
month1
number（10,2）
1月销售金额
month2
number（10,2）
2月销售金额
month3
number（10,2）
3月销售金额
month4
number（10,2）
4月销售金额
month5
number（10,2）
5月销售金额
month6
number（10,2）
6月销售金额
month7
number（10,2）
7月销售金额
month8
number（10,2）
8月销售金额
month9
number（10,2）
9月销售金额
month10
number（10,2）
10月销售金额
month11
number（10,2）
11月销售金额
month12
number（10,2）
12月销售金额
结构转化的SQL语句为：
createorreplaceview
v_sale（year,month1,month2,month3,month4,month5,month6,month7,month8,month9,month10,month11,month12）
as
select
substr（month,1,4）,
sum（decode（substrb（month,5,2）,'01',sell,0））,
sum（decode（substrb（month,5,2）,'02',sell,0））,
sum（decode（substrb（month,5,2）,'03',sell,0））,
sum（decode（substrb（month,5,2）,'04',sell,0））,
sum（decode（substrb（month,5,2）,'05',sell,0））,
sum（decode（substrb（month,5,2）,'06',sell,0））,
sum（decode（substrb（month,5,2）,'07',sell,0））,
sum（decode（substrb（month,5,2）,'08',sell,0））,
sum（decode（substrb（month,5,2）,'09',sell,0））,
sum（decode（substrb（month,5,2）,'10',sell,0））,
sum（decode（substrb（month,5,2）,'11',sell,0））,
sum（decode（substrb（month,5,2）,'12',sell,0））
fromsale
groupbysubstr（month,1,4）;
7第七计：
整合简单、无关联的数据库访问
7.1原理
如果你有几个简单的数据库查询访问，你可以把它们整合到一个查询中（即使它们之间没有任何关系）。
7.2举例
略。
8第八计：
删除重复记录
8.1原理
略。
8.2举例
1、最高效的删除重复记录方法（因为使用了ROWID）例子：
DELETE FROM EMPE WHERE E.ROWID>（SELECTMIN（X.ROWID）
FROM EMPX WHERE X.EMP_NO=E.EMP_NO）;
9第九计：
用TRUNCATE代替DELETE
9.1原理
当删除表中的记录时,在通常情况下,回滚段（rollbacksegments）用来存放可以被恢复的信息.如果你没有COMMIT事务,ORACLE会将数据恢复到删除之前的状态（准确地说是恢复到执行删除命令之前的状况）而当运用TRUNCATE时,回滚段不再存放任何可被恢复的信息.当命令运行后,数据不能被恢复.因此很少的资源被调用,执行时间也会很短（注：
TRUNCATE只在删除全表适用，并且TRUNCATE是DDL语句而不是DML语句）
9.2举例
1、执行时间较快：
truncatetablet1;
2、执行时间较慢：
deletefromt1;
10第十计：
尽量多使用COMMIT
10.1原理
只要有可能，在程序中尽量多使用COMMIT，这样程序的性能得到提高，执行请求也会因为COMMIT所释放的资源而减少:
：
COMMIT所释放的资源:
：
a.回滚段上用于恢复数据的信息.。
b.被程序语句获得的锁。
c.redologbuffer中的空间。
d.ORACLE为管理上述3种资源中的内部花费。
10.2举例
略。
11第十一计：
用Where子句代替HAVING子句
11.1原理
避免使用HAVING子句,HAVING只会在检索出所有记录之后才对结果集进行过滤.这个处理需要排序,总计等操作.如果能通过WHERE子句限制记录的数目,那就能减少这方面的开销.（非oracle中）on、where、having这三个都可以加条件的子句中，on是最先执行，where次之，having最后，因为on是先把不符合条件的记录过滤后才进行统计，它就可以减少中间运算要处理的数据，按理说应该速度是最快的，where也应该比having快点的，因为它过滤数据后才进行sum，在两个表联接时才用on的，所以在一个表的时候，就剩下where跟having比较了。
在这单表查询统计的情况下，如果要过滤的条件没有涉及到要计算字段，那它们的结果是一样的，只是where可以使用rushmore技术，而having就不能，在速度上后者要慢如果要涉及到计算的字段，就表示在没计算之前，这个字段的值是不确定的，根据上篇写的工作流程，where的作用时间是在计算之前就完成的，而having就是在计算后才起作用的，所以在这种情况下，两者的结果会不同。
在多表联接查询时，on比where更早起作用。
系统首先根据各个表之间的联接条件，把多个表合成一个临时表后，再由where进行过滤，然后再计算，计算完后再由having进行过滤。
由此可见，要想过滤条件起到正确的作用，首先要明白这个条件应该在什么时候起作用，然后再决定放在那里。
11.2举例
略。
12第十二计：
减少对表的查询
12.1原理
12.2举例
在含有子查询的SQL语句中，要特别注意减少对表的查询。
例子：
Selecttab_namefromtableswhere（tab_name,db_ver）=（selecttab_name,db_verfromtab_）
13 第十三计：
通过内部函数提高sql效率
13.1原理
复杂的SQL往往牺牲了执行效率。
而能够运用oracle的内部函数所写的sql将大大提高sql效率。
13.2举例
略。
14第十四计：
使用表的别名
14.1原理
当在SQL语句中连接多个表时，请使用表的别名并把别名前缀于每个表的Column上。
这样一来，就可以减少解析的时间并减少那些由Column歧义引起的语法错误。
14.2举例
Selecta.*fromtable1a,table2bwherea.X=b.Y;//效率较高
15第十五计：
分情况使用EXISTS和IN、用NOTEXISTS代替NOTIN
15.1原理
在许多基于基础表的查询中，为了满足一个条件，往往需要对另一个表进行联接。
在这种情况下，使用EXISTS（或NOTEXISTS）通常将提高查询的效率。
一般来讲，在子查询中，IN子句将执行一个内部的排序和合并。
IN是对外表和内表作HashJoin，而EXISTS是对外表和内表作NestedLoop，也就是说对于EXISTS，针对外表（需要遍历其所有内容）需要遍历的每一行，都会对内表进行一次查询，因此如果外表和内表大小相当，IN和EXISTS在性能上差别不大。
如果两个表中一个是较小的表，一个是较大的表，如果内表大则用EXISTS性能会更好（因为外表小了，遍历的次数遍历内表的次数就少了很多），内表较小的用IN性能会更好。
对于NOTIN和NOTEXISTS，无论在哪种情况下，NOTIN都是最低效的，因为它对内外表都进行全表扫描，并没有用到索引。
而NOTEXISTS的子查询依然能用到表上的索引，所以无论那个表大，用NOTEXISTS都比NOTIN要快。
为了避免使用NOTIN,我们可以把它改写成外连接（OuterJoins）或NOTEXISTS。
15.2举例
1、举例：
表A（小表），表B（大表），CC列上有索引
在外表小，内表大的情况下用in（HashJoinA和B两个表）效率就会很低，比如：
select*fromAwhereccin（selectccfromB）
这个时候查询用到了A表上cc列的索引，但是因为A是小表，而且大表B上的索引也没有充分利用，因此效率不高。
而如果用了exist，我们发现走的是对A，B两个表的nestedLoop,对于遍历A的每一行,都会对大表B进行一次查询（可能对B表的查询结果不是太多.）
select*fromAwhereexists（selectccfromBwherecc=A.cc）
这样效率会高些，因为用到了B表（大表）上cc列的索引。
2、举例：
（高效）SELECT*FROM EMP（基础表） WHERE EMPNO>0 AND EXISTS（SELECT‘X' FROMDEPT WHERE DEPT.DEPTNO=EMP.DEPTNO AND LOC=‘MELB'）
（低效）SELECT *FROM EMP（基础表） WHERE EMPNO>0 AND DEPTNOIN（SELECTDEPTNO FROM DEPT WHERE LOC=‘MELB'）。
16第十六计：
识别低效执行的sql语句
16.1原理
可以使用目前比较流行的sql优化图形工具，或者写出自己的sql工具来解决sql优化的问题。
SELECT EXECUTIONS,DISK_READS,BUFFER_GETS,
ROUND（（BUFFER_GETS-DISK_READS）/BUFFER_GETS,2）Hit_radio,
ROUND（DISK_READS/EXECUTIONS,2）Reads_per_run,
SQL_TEXT
FROM V$SQLAREA
WHERE EXECUTIONS>0
AND BUFFER_GETS>0
AND （BUFFER_GETS-DISK_READS）/BUFFER_GETS<0.8
ORDERBY 4DESC;
16.2举例
略。
17第十七计：
用索引提高效率
17.1原理
索引是表的一个概念部分，用来提高检索数据的效率，ORACLE使用了一个复杂的自平衡B-tree结构。
通常，通过索引查询数据比全表扫描要快。
当ORACLE找出执行查询和Update语句的最佳路径时，ORACLE优化器将使用索引。
同样在联结多个表时使用索引也可以提高效率。
另一个使用索引的好处是：
它提供了主键（primarykey）的唯一性验证。
那些LONG或LONGRAW数据类型，你可以索引几乎所有的列。
通常，在大型表中使用索引特别有效。
当然，你也会发现，在扫描小表时，使用索引同样能提高效率。
虽然使用索引能得到查询效率的提高，但是我们也必须注意到它的代价。
索引需要空间来存储，也需要定期维护，每当有记录在表中增减或索引列被修改时，索引本身也会被修改。
这意味着每条记录的INSERT、DELETE、UPDATE将为此多付出4,5次的磁盘I/O。
因为索引需要额外的存储空间和处理，那些不必要的索引反而会使查询反应时间变慢。
定期的重构索引是有必要的。
17.2举例
略。
18第十八计：
用EXISTS替换DISTINCT
18.1原理
当提交一个包含一对多表信息（比如部门表和雇员表）的查询时，避免在SELECT子句中使用DISTINCT。
一般可以考虑用EXISTS替换，EXISTS使查询更为迅速，因为RDBMS核心模块将在子查询的条件一旦满足后，立刻返回结果。
18.2举例
（低效）:
SELECT DISTINCT DEPT_NO,DEPT_NAME FROM DEPTD,EMPE
WHERE D.DEPT_NO=E.DEPT_NO
升级会员 