数据库工程师复习资料.docx
《数据库工程师复习资料.docx》由会员分享，可在线阅读，更多相关《数据库工程师复习资料.docx（17页珍藏版）》请在冰点文库上搜索。
数据库工程师复习资料
CPU功能：
程序操作时间数据（CPU根本任务）
CPU组成：
运算器（算术逻辑单元ALU、累加寄存器AC、数据缓冲寄存器DR、状态条件寄存器PSW）、控制器（程序计数器PC、指令寄存器IR、指令译码器ID、状态条件寄存器、时序产生器和微操作信号发生器）
运算器中至少要有一个AC
控制器：
指令控制逻辑时序控制逻辑中断控制逻辑总线控制逻辑
PC：
PC自动增加一个值，指向下一条要执行的指令，当程序转移时将地址送入PC
IR：
用于存放当前的指令
ID：
对现在的指令进行分析，确定指令类型、指令要完成的操作和寻址方式
PSW主要分为状态标志和控制标志
运算器和控制器中的寄存器为专用寄存器
海明校验码：
2k-1≥n+k
高速缓存位于CPU与主存之间，使用SRAM技术（主存一般使用DRAM技术），主存地址与cache地址之间的转换工作由硬件完成，cache最重要的技术指标是它的命中率
降低cache失效率的方法：
选择恰当的块容量，提高cache的容量和提高cache的相联度
Cache和内存采用组相联方式映像
主存地址=区号+组号+块号+块内地址号
单指令多数据流计算机SIMD=向量计算机（各处理器以异步形式执行同一条指令）
指令系统中采用不同寻址方式的目的是扩大寻址空间并提高编程灵活性
MovR1，#45（将数值45传送到寄存器R1中）
MovR1，45H（将45H地址内数据传送到寄存器R1）
总线：
内部总线：
芯片内总线和元件级总线
系统总线：
用于构成计算机各组成部分（CPU内存和接口等）连接（数据总线、地址总线、控制总线）ISA总线、EISA总线、PCI总线
外总线：
计算机与计算机外设的链接或通信RS-232C、SCSI总线、USB、IEEE-1394、IEEE-488总线
信息安全基本要素：
可用性、机密性、完整性、可控性、可审查性
计算机安全等级4组7等级（A1、B3、B2、B1、C2、C1、D）
计算机病毒特性：
寄生性、隐蔽性、传染性、破坏性、非法性
计算机病毒类型：
系统引导型病毒——boot型病毒
文件外壳型病毒——攻击com、exe、sys文件
混合型病毒——flip病毒、onehalf病毒（幽灵）
计算机感染特洛伊木马后典型现象：
有未知程序试图建立网络连接
硬盘由5个盘面（8个记录面）构成，盘面有效记录的区域的外直径为30cm（后面计算乘以10换成mm），内直径10cm，记录位密度为250位/mm（此处单位是位，8位一个字节），磁道密度16道/mm，每磁道分16个扇区，一个扇区512字节
硬盘的总磁道数=（30-10）*10*8*16/2=（外半径-内半径）*道密度*记录面数
格式化容量=磁道数*512*16=每道扇区数*总磁道数*扇区字节
存取时间=寻道时间+等待时间
非格式化容量=磁道数*3.14*10*10*250/8=总磁道数*内圆周长*最大位密度
字节换算成MB单位需要除以1024*1024
以600转/分的硬盘为例，磁盘转一圈时间为60/600=0.1s，则硬盘平均等待时间=0.1s/2=50ms
8位=1字节（Byte）
1024*1字节=1KB
1024*1KB=1MB
磁盘阵列：
Raid0：
不具备容错能力，平均故障间隔时间是单个单个硬盘的n分之一，但是数据传输率是n倍
Raid1：
采用镜像容错改善可靠性
Raid2：
采用海明码作错误检测
Raid3：
减少了用于检验的磁盘存储器的数量，从而提高了磁盘阵列的有效容量
正数的原码不变，负数的原码符号位取1
[+1]原=00000001[-1]原=10000001
正数的反码不变，负数的反码全部位数取反
[+1]反=00000001[-1]反=11111110
正数的补码不变，负数的补码是反码的基础末尾加1
[-1]补=11111111
移码只要在补码的符号位取反即可
[+1]移=10000001[-1]移=01111111
工业标准IEEE754，（-1）S2E（b0b1b2…bp-1）
（-1）S为该浮点数的数符，E为指数
单精度浮点数：
数字长32尾数长度23符号位1指数长度8
双精度浮点数：
数字长64尾数长度52符号位1指数长度11
176.0625转换为单精度浮点数
176.0625=（10110000.0001）2
10110000.0001=1.01100000001*27保证b0为1，将b0去掉并拓展为单精度浮点数所规定的23位尾数01100000001000000000000
指数为7，偏移量位127，所以127+7=134，指数的移码表示为10000110，最后得到的形式：
01000011001100000001000000000000
IP地址：
A类：
0-127B类：
128-191C类：
192-223D类：
224-239
例如：
193.168.123.4/27表示前27位为网络号
以太网交换机根据数据链路层MAC地址进行帧交换
帧中继网和ATM网是面向连接的通信网，交换机根据预先建立的虚电路标识进行交换，帧中继网虚电路号是DLCI，进行交换的协议数据单元为“帧”；ATM网的虚电路号为VPI和VCI，进行交换的协议数据单位为“信元”
三层交换机：
具有部分路由器功能的交换机，其工作原理，概况为：
一次路由，多次交换
为了提高响应中断的速度，通常把所有中断服务程序的入口地址（或者称为中断向量）汇集为中断向量表
为了便于实现多级中断嵌套，使用堆栈来保护断点和现场最有效
系统可靠性计算：
串联系统R=R1*R2…Rn
并联系统R=1-（1-R1）（1-R2）…（1-Rn）
两次故障之间系统能正常工作时间的平均值称为平均无故障时间MTBF=1/γ，γ为失效率
系统失效率计算：
串联系统γ=γ1+γ2
假设并联系统中子系统γ均相同，则系统无故障时间为1/γ（1+1/2+1/3）
存储器结构一般分为“寄存器-主存-外存”结构和“寄存器-缓存-主存-外存”结构
分类：
按照材料：
磁存储器、半导体存储器和光存储器
按照工作方式：
读写存储器和只读存储器
按照访问方式：
按地址访问存储器和按内容访问存储器（相联存储器）
按寻址方式：
随机存储器、顺序存储器（磁带）和直接存储器（磁盘）
设备分类：
数据组织分类：
块设备（磁盘）和字符设备（交互式终端、打印机）
资源分配：
独占设备（用户终端、打印机）、共享设备（磁盘）和虚拟设备
数据传输率：
低速（键盘、鼠标、语音输入）、中速（行式打印机、激光打印机）和高速（光盘机、磁盘机、磁带机）
设备管理采用的相关缓冲技术：
通道技术：
分为字节多路通道、数组选择通道和数组多路通道
DMA技术：
数据在主存和I/O设备之间直接成块传送
缓冲技术
Spooling技术
外设向DMA控制器（DMAC）提出DMA传送请求，DMAC向CPU提出请求，请求信号加在保持请求输入端HOLD上，CPU完成当前总线周期后做出响应，将有效保持响应信号HLDA输出加到DMAC上，同时将总线信号设为高阻，放弃对总线控制权（DMA传送期间，CPU不能使用总线）
磁盘调度：
先移臂调度，再旋转调度
CA负责数字证书的审批、发放、归档、撤销等功能，CA颁发的数字证书拥有CA的数字签名，除了CA本身，其他机构无法不被察觉的改动。
CA可以是民间团体，也可以是政府机构。
A和B要进行安全通信，必须相互获得对方的数字证书，A和B的数字证书可以是由不同的CA颁发的。
媒体分类：
感觉媒体（图像、声音）、表示媒体（传输感觉媒体中介，比如编码）、表现媒体（输入和输出的媒体）、存储媒体（硬盘、光盘等）、传输媒体（电缆、光缆）
小于20赫兹的声波信号称为亚音信号，20Hz-20kHz的声波信号称为音频信号，高于20kHz的称为超音频信号
声音信号两个基本参数幅度（振幅，一般用dB分贝）和频率
声音信号是一种模拟信号，数字化方法是取样-量化法（采样、量化、编码）
语音信号采样一般8kHz，音乐信号采样频率在40kHz以上，采样频率越高，声音保真度越好
数据传输率=采样频率*量化位数*声道数（b/s），因此声音信号数据量要除以8
声音文件的格式：
wav、mod、mp3、ra、mid/rmi、voc、snd、au、aif、cmf
计算机数字音乐合成技术主要有FM和WAVEtable两种方式，其中使用Wavetable合成的音乐音质更好
MPEG-1（VCD）、2（DVD）、4主要针对音频、视频编码技术
MPEG-7是多媒体内容描述接口标准
MPEG-21是多媒体应用框架标准
CIF视频格式的图像分辨率352*288
彩色空间：
RGB：
计算机彩色显示器
CMY：
c（青）、m（品红）、y（黄），实现彩色打印
YUV：
Y亮度分量，U和V色差分量（只有Y没有U和V，表示图像是黑白灰度图像）
图像深度：
存储每个像素所用的位数
一幅彩色图像每个像素用RGB三个分量表示，若每个分量位数4,4,2，最大颜色数目为2的10次方
用户对文件的访问，将由用户访问权、目录访问权限及文件属性三者的权限所确定。
编译是将高级语言的源程序翻译成机器语言程序（汇编形式或机器代码形式），反编译是编译的逆过程，反编译通常不能把可执行文件还原成高级语言源代码，只能转换成功能上等价的汇编程序
解释程序和编译程序这两种语言处理程序的根本区别：
编译方式下，机器上运行的是与源程序等价的目标程序，源程序和编译程序都不再参与目标程序的执行过程；解释方式下，解释程序和源程序（或某种等价表示）要参与到程序的运行过程中，运行程序的控制权在解释程序。
简单来说，在解释方式下，翻译源程序不生成独立的目标程序，而编译器则将源程序翻译成独立保存的目标程序
传值是将实参的值给形参，实参可以是表达式（或常量），也可以是变量（或数组元素），信息传递是单方向的
传地址，将实参的地址传递给形参，实参必须是变量（或数组元素），不能是表达式（或常量），客观上可以实现数据的双向传递
二叉树排序树：
中序遍历：
先遍历左子树，然后根节点，再遍历右子树，则结果为升序排列数组（已知前、后，无法得出中）
前序遍历：
先访问根节点，然后左子树，右子树
后序遍历：
先左子树，右子树，然后根节点
为了使二叉排序树的查找操作性能最优，需要进行平衡化处理，使每个节点左、右子树的高度差的绝对值不超过1
顺序查找对于顺序存储和链式存储方式的查找表都适用
二分法，适用于表不易变动，且经常进行查找的情况，要求表进行顺序存储并且按关键字有序排列（需要对中间元素进行快速定位，在链表结构无法实现）
哈希表和二叉排序树属于动态查找表
实体完整性约束：
关系的主码出现的任何属性都不能取空值
参照完整性约束：
外码的取值要么取空值，要么取被参照关系的主码已有的值
用户定义完整性约束：
属性的值域限制
DBS数据库系统是由数据库、硬件、软件和人员组成
DBMS向用户提供数据操作语言DML，分为两类：
宿主型（DML语句嵌入某种主语言如C）和自含型（可以单独使用，供用户交互使用）
DBMS管理数据有较高的数据独立性：
数据的物理独立性和逻辑独立性
数据库系统体系结构分为集中式、分布式、C/S和并行结构
并行数据库系统分为共享内存式多处理器和无共享式并行体系结构
1NF存在数据冗余过大，插入异常，删除异常和修改异常
2NF消除非主属性对码部分函数依赖
3NF消除非主属性对码传递函数依赖
BCNF：
消除所有属性对码传递函数依赖
4NF：
不允许有非平凡且非函数依赖的多值依赖
判定事务并发执行正确性的准则是满足可串行化调度，要保证并发事务正确地执行，采用两段锁协议（2PL）
并发操作带来的数据不一致性有三类：
丢失修改（加锁，只允许并发一个更新事务）、不可重复读和读脏数据
X锁：
exclusivelocks事务T对数据A加X锁后只允许T读取和修改A
S锁：
sharelocks数据A上有S锁，就只能读取不能修改，其他事务都不能对A加X锁
事务四种特性：
原子性、一致性、隔离性、持久性
原子性：
事务操作要么不做要么全做
一致性：
由DBMS的完整性约束机制来自动完成，事务独立执行的结果保持数据的一致性
隔离性：
事务的执行不被其他事务干扰
持久性：
对数据修改是永久的
事务故障分为内部故障（数据溢出、违反完整性约束）、系统故障（CPU故障、操作系统故障或者突然停电）、介质故障（硬盘损坏等）和计算机病毒
内部故障：
反向扫描文件日志，查找该事务的更新操作，对事务的更新操作执行逆操作，继续反向扫描日志文件，并做同样的操作，直到事务开始的标志（系统自动完成，对用户是透明的）
系统故障：
撤销故障发生时未完成的事务，重做已提交的事务（系统重启之后自动执行），仅需使用日志
数据备份，基本原理“建立数据冗余”，方法：
数据转储（静态转储和动态转储、海量转储和增量转储）和日志文件
使用E-R图，对现实事物抽象认识的三种方法：
分类：
对现实世界的事物，按照其具有的共同特征和行为，定义一种类型（老师和学生）
聚集：
定义某一种类型所具有的属性（学生的姓名、年龄）
概括：
由一种已知类型定义新的类型（学生衍生出研究生、高中生）
数据库设计：
系统需求分析：
建立需求说明文档、数据字典和数据流程图（需求调查内容为信息要求、处理要求、系统要求）
概念结构设计（选择局部应用，逐一设计分E-R图，E-R图合并）
逻辑结构设计（E-R图向关系模式转换、关系模式规范化、确定完整性约束、用户视图的确定）
物理结构设计（确定数据分布、确定数据存储结构、确定数据访问方式）
E-R图合并主要冲突三类：
属性冲突：
同一属性可能会存在于不同的分E-R图
命名冲突：
相同意义的属性，在不同的分E-R图有不同的命名，或者名称相同的属性在不同的分E-R图代表着不同的意义
结构冲突：
同一实体在不同的分E-R有不同的属性
DES是对称密钥密码算法，加密密钥和解密密钥是相同。
RSA是非对称密钥密码算法，加密密钥和解密密钥是不同的，还可以用于电子签名，DES比RSA效率高很多，适用于文件等大量数据的加密
报文摘要指单向哈希函数算法将任意长度的输入报文经计算得出固定位的输出，报文摘要要用来保证数据完整性，传输数据一旦被修改，那么计算出的摘要就不同，只要对比两次摘要就可确定数据是否被修改过
授权（grant）和撤权（revoke）
对象为列、视图的权限：
select（查询）insertupdatedelete
对象为基本表：
多alterindex
数据库：
createtab建立表的权限，可由DBA授予普通用户
Withgrantoption：
获得权限的用户可以将权限赋予其他用户
Revoke语句中cascade表示收回用户及其授予其他用户的该权限，restrict表示只收回指定用户的权限
完全分布式数据库系统满足下面条件：
分布性：
数据存储在不同节点上
逻辑相关性：
数据在逻辑上具有相互关联的特性
场地透明性：
使用分布式数据库中的数据时不需要指明数据所在的位置
场地自治性：
每一个单独节点能够执行局部应用请求
分布式数据库系统两阶段提交协议2PC：
协调者向所有参与者发送prepare消息，各参与者若愿意提交属于自己的部分，则向协调器发回ready消息；否则发回abort消息；协调器收到所有参与者的ready消息后，方能再向参与者发commit消息，否则超时或有一方参与者发回abort消息，则协调器只能向参与者发rollback消息。
事务两种结束方式：
commitrollback
Commit：
对数据库所有更新写入数据库
Rollback：
事务对数据库的更新撤销
操作系统四个特征：
并发性、共享性、虚拟性和不确定性
响应时间是分时系统的重要指标
UNIX系统是典型多用户、多任务的分时操作系统
实时系统对交互能力要求不高，但是可靠性要求高（飞机架势系统、飞机订票系统等）
程序顺序执行特征：
顺序性、封闭性和可再现性
死锁产生的原因：
竞争资源及进程推进顺序非法
产生死锁四个必要条件：
互斥条件、请求保持条件、不可剥夺条件和环路条件
死锁处理策略：
鸵鸟策略（不理睬策略）、预防策略、避免策略和检测与解除死锁
XMLextensiblemarkuplanguage
Outlook有以下优点：
可以脱机处理邮件，有效利用联机时间，降低了上网费用
可以管理多个邮件账号，同一个窗口可以使用多个邮件账号
可以使用通讯录存储和检索电子邮件地址
在邮件中添加个人签名或信纸
发送和接受安全邮件
使用白盒测试方法时，确定测试数据应根据程序的内部逻辑和指定的覆盖标准
单元测试：
模块编写完成且无编译错误后进行，侧重于模块中的内部处理逻辑和数据结构
接受测试：
以用户为主
安装测试：
软件系统安装在实际运行环境的测试
回归测试：
系统有任何修改的情况下，需要重新对整个软件系统进行测试
嵌入式SQL通过主变量实现主语言与SQL语句间进行参数传递；主语言需要对SQL语句的执行状态进行检查以确定下一步的处理，需要DBMS将SQL语句执行状态写入SQL通信区（SQLCA），主语言从中读取；游标可以将SQL查询到的多条记录逐条提取赋给主变量，交由主语言处理
SQL-99标准规定事务四个隔离级别，解决问题逐级增强，且后一级解决前一级已解决的问题
Readuncommitted丢失修改——readcommitted读脏数据——repeatableread不可重复读——serializable幻影读
数据库存储类型
组合属性—结构类型多值属性—集合类型
Clob用char保存数据，字符大型对象
Blob用二进制存储数据，一般保存图片、视频、音乐等
数据库访问常用接口：
ODBCJDBCADO
Pop3服务器默认端口号110；SMTP端口号25
IE浏览器中，安全级别从低到高区域为：
可信站点、本地Intranet、Internet、受限站点
模块独立，两个标准：
耦合性和内聚性
耦合：
模块之间联系的紧密程度，耦合性越高，独立性越差
数据耦合：
两个模块之间有调用关系，传递的是简单的数据值，这种耦合程度较低，模块独立性较高
标记耦合：
两个模块之间传递的是数据结构（其实传递的是这个数据结构的地址）
控制耦合：
一个模块调用另一个模块，传递是控制变量，被调模块通过该控制变量的值有选择地执行块内的某一功能
公共耦合：
通过一个公共数据环境相互作用的那些模块之间的耦合
内容耦合：
程度最高耦合。
当一个模块之间使用另一个模块的内部数据，或者通过非正常入口而转入另一个模块的内部，这种情况往往出现在汇编程序语言中
内聚：
模块内各元素之间联系的紧密程度，内聚度越低，模块独立性越差
偶然内聚：
一个模块内各个处理元素之间没有任何联系
逻辑内聚：
模块内执行几个逻辑上相似的功能，通过参数决定该模块完成哪一个功能
时间内聚：
需要同时执行的动作组合在一起形成的模块
通信内聚：
模块内所有元素都在同一个数据结构上操作，或者各处理使用相同的输入数据或产生相同的输出数据
顺序内聚：
一个模块内各个处理元素都密切相关于同一个功能且必须顺序执行，前一功能元素的输出是下一个功能元素的输入
功能内聚：
最强内聚，模块内所有元素共同完成一个功能
DFD分为变换流和事务流
绘制数据流图DFD加工时可能出现错误：
只有输入没有输出；只有输出没有输入；输入的数据流无法通过加工产生输出流；输入的数据流和输出的数据流名称相同
绘制下层数据流图需要注意的问题
保持父图与子图平衡。
父图中某加工的输入输出数据流必须与子图的输入输出数据流在数量和名字上相同。
如果父图的一个输入（或输出）数据流对应于子图中几个输入（或输出）数据流，而子图组成这些数据流的数据项全体正好是父图中这一个数据流，那么他们仍然算平衡的。
数据仓库特点：
面向主题、集成、非易失、随时间变化
数据仓库系统：
ETL处理对数据进行抽取、清理、转换和装载，将数据从不同的源导入到数据仓库
数据挖掘知识发现类型：
特征描述：
对目标类数据的一般特性或特征的汇总
分类：
根据历史数据或已知数据构建分类模型，利用测试数据来评价分类模型或者对未知数据进行预测（方法有决策树ID3、C4.5、最近邻KNN、贝叶斯、人工神经网络、支持向量机SVM）
关联规则：
发现在数据中频繁出现的模式
聚类：
将物理或者抽象的集合分成相似的对象类的过程（K均值）
离散点分析：
异常检测，其目标是发现与大部分其他对象不同的对象
面向对象数据库系统的特征：
具有表达和管理对象的能力
面向对象数据库系统的对象可以具有任意复杂度的对象结构
具有与面向对象编程语言交互的接口
具有表达和管理数据库变化的能力
面向对象数据类型：
基本类型（整型、浮点型、字符型和枚举型）、复杂类型（对象类型和聚集数据类型）和引用类型（联系）
面向对象数据类型，认为一个对象对应着E-R模型中一个实体，对象中封装的属性和方法对外界是不可见的（但对象可以定义对外界可见的属性和方法），对象之间的相互作用是通过消息来实现
面向对象数据库中，类是一系列相似对象的集合
软件需求：
功能需求（开发的软件必须具备什么样的功能）、非功能需求（产品必须具备的属性或品质，如可靠性、性能、响应时间和扩展性）、设计约束（对解决方案的一些约束说明）
RUP是统一软件开发过程，是一个面向对象且基于网络的程序开发方法论，迭代开发模式，以风险为驱动
统一过程模型，由UML方法和工具支持，定义了不同阶段及其制品
起始阶段：
专注于项目的初创活动
精化阶段：
理解了最初的领域范围之后，进行了需求分析和架构演化
构建阶段：
关注系统的构建，产生实现模型
移交阶段：
关注软件提交方面的工作，产生软件增量
产生阶段：
运行软件并监控软件的持续使用，提供运行环境的支持，提交并评估缺陷报告和变更申请
SQL语句
Varchar（n）可变长度字符串
Char（n）固定长度字符串
要求订购日期不能大于出货日期：
出货日期DATEcheck（订购日期<=出货日期）
出货日期DATEconstraintchk_datecheck（订购日期<=出货日期）
查询订购图书数量最多的会员名及其订购的数量
Select用户名，sum（数量）from订单，订单明细
where订单.订单编号=订单明细.订单编号
Groupby用户名{groupby后面加having}
havingsum（数量）>=all
（selectsum（数量）from订单，订单明细where订单.订单编号=订单明细.订单编号groupby用户名）
Createtable要注意primarykey和foreignkey*references
Selectdistinct客户.*
From客户，账户（select*from支行where城市=’天津‘）as新支行
Altertable账户add账户标记intdefault0（dropalter）
Update账户set账户标记=0
状态varchar（6）checkvaluesin（‘待处理’，‘审理中’，‘结案’，‘撤销’）default‘待处理’
Select类型，count（*）as案件数
From案件where立案日期between‘01-JAN-2009’and‘31-DEC-2009’
Groupby类型
Orderby案件数DESC
Settansactio
升级会员 