证券行业反欺诈大数据管控平台建设方案.pptx

1、金融风险反欺诈大数据管控平台建设方案,大数据,云平台,目录,Contents,金融公司风险管理融资融券风险管理系统风险大数据整体解决方案大数据构建数据仓库案例,Part1,金融公司风险管理,多维度数据集市,画像 应用,设备,画像 底层,搜索,贴吧,到店,知道,公开 数据,百科,网盘,外部,数据,LBS,APP,Volume-,海量,Variety-,多维,注册,糯米,去哪 儿,钱包,财富,有钱 花,外卖,爱奇 艺,文库,登录,Velocity-,实时,金融传统数据仓库,5,大数据部分应用场景,6,网络金融征信P2P网络贷款市场规模急剧增长个人征信业务需求不断上升通过大数据实时分析客户信用记录提

2、升 企业价值,小微贷款管理需要大数据分析提供业务支撑利用实时数据处理信息管理、交叉营销、信贷模型分析以及业务风险控制的需求 不断提升,财富管理评估利用大数据分析给予用户有价值的财富 管理产品组合,使用业态广：银行/财富管理机构/券商,/保险,反欺诈预警渗漏与欺诈风险增加，控制力度和 手段不足,缺乏先进的分析能力“实时高效”,的甄别可疑理赔行为,客户识别、流失预警分析识别潜在客户群体、维护老客户、降低客户开发成本成为主要需求,理赔审查评估骗保识别成为保险业最大问题难点,分析、评估理赔数据有效降低风险并,为保险赔付制定提供依据,高频交易分析量化投资增长迅速，对结构化/非结构 化数据利用力度不断加大

3、实时、准确的数据模型提供有价值的交 易推荐，提升客户满意度,保险精算利用大数据对险种、赔付率建立模型 进行细分维度下的精准预测提升企业 盈利水平保险业核心业务需求,实时分析客户信用 记录提供贷款依据,大数据提供交叉 营销、信贷模型 分析,大数据实时分析 渗漏欺诈风险,利用外部内部大 数据有效管理客 户关系,实时建立赔付率 模型、并根据客 户分析制定险种 划分,内外部大数据分 析有价值的财富 投资组合,数据量化投资组合、建立高效数据模型,理赔数据审查、数据评估，有效 降低异常赔付和 骗保,大数据在金融领域的热点应用,7,9876543210,10,0,1,4,5,度 热 用 应,23应用价值周期

4、,用户画像,资产产品定 价,运营优化,区块链,智能投 顾,风险定 价,量化交 易,精准营 销,风险管 理金融搜索引 擎,金融领域大数据应用热点图,横轴代表该应用领域价值周期，表明该应用价值速度的快慢纵轴代表该应用领域的炒作周期 阶段圆圈代表应用领域的规模，表示 该应用领域当前参与方的多少与应用数量,对大数据的理解：深入数字化，实现全社会数据互联互通，,8,形成以数据指导业务的习惯、策略与模式,据 数 大,一、深入的数字化,不仅仅指传统意义上的纸质文档电子化,形成以数据指导业务的习惯、策略与模式,二、全社会数据互联互通。,仅仅局限在企业内部的数据，不能把握大数据的 真正能力。,大数据在产业链各环

5、节迅速发展，推动各种创新业务“遇春花开”,数据采集,4V数据VolumeVelocityVarietyValue爬虫数据治理行业数据 整合,存储能力,列式数据 库内存数据 库Hadoop 的 key value 数据存储TB级跨向 PB级,计算能力,MPP(Share Nothing)去IOE扩展能力跨硬件、跨代、跨 厂商,分析能力,数据价值 挖掘统计样本 扩大专业工具 多（SAS,R)专业模型行业模型,应用能力,信息可视 化管理精细 化预防向预 测转变精细制度、医疗智慧城市,金融工程项目特点，计算量巨大，可依赖当前大数据分布式计算解决,证券公司风险管理：主动承担的风险、需要规避的间接风险,业

6、务风险市场风险信用风险流动性风险,非业务风险操作风险监管风险法律风险,10,市场 风险,信用 风险,证券公 司主要风 险流动性 风险,操作 风险,监管风险,法律风险,为盈利而必须承担的风险,是公司运营过程中产生的间接风 险尽量回避、转移或减轻,金融风险管理新趋势：数据+分析模型+业务知识,3.风险 计量2.损失最小化1.合规性/内部控制,4.风险管 理,6.风险资本分配、基于风险定价5.风险与收益最优化,风险控制,保护资产负债表,风险/收益最优化,价值创造,风险管理成熟度,目标:是管理下行风险 措施:内部控制信息、报告程序、预警系统、止损设置等,与战略的 相关度,高,中,低,行业竞争前 沿,融

7、资融券过程复杂，涉及风险种类多，信用风险管理是重点,操作风险 信用风险 法律风险 合规风险,操作风险,操作风险 市场风险 流动性风险,操作风险 信用风险 清算风险 声誉风险 法律风险,操作风险 信用风险,操作风险 市场风险 流动性风险,操作风险,融资融券流程中主要风险,1.信 用评 定,2.授 信管 理,3.,开,户,4.交 易,5.实 时盯 市,6.强 制平 仓,7.客 户通 知,8.权 益处 理,Q3,Q4,Q3,Q4,2016Q1.,4030.06,3920.02,6034.75,10152.13,20421.33,9035.08,11690.37,8711.00,13950.0,201

8、5Q1Q2,Current,22627.39,2015/6/18,融资余额（亿元）,高杠杆股灾海加深了市场对风险的认识,通,银 河中 信广 发华 泰,融资融 券余额 TOP5:,银河申万中信招商广发,维持担保比例低于200%的投资人数 TOP5:,2014Q1Q2单位：亿元,金融行业风控反欺诈体系,贷前,黑名单,运行账环户境安安全 全,实体关联网络黑中介关联 黑产关联,贷中,反 欺 诈 规 则 体 系,反 欺 诈 通 用 模 型,异 常 集 中 度 监 控,贷后,贷 后 客 户 质 量 监 控,金 融 获 客,活 体 验 证,失 资 联 产 修 保 复 全,多头借贷,粗分好人和坏人 防批量欺诈

9、攻击拦截70%80%,监测变动信息 降低风险拦截1 0%20%,识别团伙欺诈 监测批量骗贷风险拦截5%10%,修正优化欺诈技术，提升催收效率有效复联50%-60%,利用百度人工智能和大数据技术，精准刻画用户的欺诈风险，构建多层次化的金融反欺诈安全防控体系,Part2,融资融券风险管理系统,风控关联网络架构,应用层：当前在金融反欺诈的主要应用场景用户接口：底层关联网络提供Restful 图交互 接口、Cypher 图交互接口和离线图计算任务接口，同时面向用户提供Web、桌面版和 SDK（建设中）三种形态的服务,存储计算层：基于spark graphx 建立的一套 子图计算管理、关联快照和关联分析

10、算法,数据建模：对源数据进行加工，抽取出实体、实体关系、实体属性，形成图基础数据,多维数 据集市,金融数据 账户数据,数据源,行为数据,社交数据,黑产数据,源数据层：负责各种数据源的引入、清洗和 管理，包括金融数据、行为数据和第三方数 据,关联网络应用：教育信贷业务关联分析,某计算机职业培训学校（正常）,某职业技能培训学校（骗贷）,逾期人员的机构关联分布图,关联网络应用：现金贷业务关联分析,百度现金贷M2+逾期关联,百度现金贷正常用户关联（抽样1万人）,中介和贷款人关联图（绿色贷款中介，褐色关联贷款人）,关联网络应用：催收复联,修复 信息 维度,电 话,客户其他新亲友/同事 电话电话,邮 箱,

11、邮箱 地址,通讯录 电话,常 个人地址 亲友、同事地址,驻,地 公司地址,址,电话本中 联系人地址,失联 预警 预测,当前效果,内单：百度用户的覆盖率为99%,复 联率为6 0%+,外单：（实验）外部用户的覆盖率 为6 0-80%，复联率为1 5-30%,强关联关系挖掘,相关性排序,常驻点挖掘,失联催收ROI排序,施压点挖掘,数据 挖掘,潜在关联关系挖掘,金融关联网络,百度钱包,百度有钱,百度账号,社交关联网络,通讯关联,信贷关联,支付关联,AP关联,IDMapping,百度糯米,百度外卖,下一阶段,从最终催款效果出发，提升复联精 准度,原始 数据,微 博,画像数据,。,爱奇异百度地图,提升（

12、实验）外单复联率和精准度,人行征信,下一阶段,阶段一工作阶段二工作:尚处于阶段性样本测试阶段，不同样本的复联率表现存在差异,主要内容,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,金融工程 指标,VolatilityShare RatioIR RatioBarvar RatioBetaAlhpa,深度刻画 客户特征,对客户分 类分级,客户管 理,风险管理专项投顾,客户风险管理系功能：分析数据，提供多种服务,证券公司 数据优势,客户风险 管理系统,管理策略 设计,风险管理,研究,客户服务,数据,数据分析,分析结果整理,提供服务,整体功能,应用场景,核心模块示 例,技术架构,

13、系统难点及 演进方向,应用场景1-高层管理经营目标,融资融券余额利息收入佣金收入融资融券利润,风险,融资融券余额/净资本监管合规,融资融 券余额,净资本,监管或内控：400%,预警：320%,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,融资融 券余额,年度经 营目标,佣金收入,差额,利息收 入,盈利,应用场景2.1-风险管理人员，制作各类图表,指标,融资融券余额,融资余额 29,632,436.30 融券余额 3,235,424.95,客户数据,客户维持担保比例客户数(个）130%的客户125,需立即处理,总体风险金额（元）占净资本比例 预警值 监管值32,867,86

14、1.25,风险状态,VAR值（万元）,20,30,35,40,10天5天3天1天,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,应用场景2.2：风险管理员,公司级或客户级压力测试公司级压力测试单券集中度90%的客户假设市场下跌幅度：,15%30%50%65%,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,应用场景3.1：业务人员,授信额度管理、客户开发示例：找出高价值客户，提高他们信用额度，充分挖掘客户价值,整体功能应用场景,核心模块示 例,技术架构,系统难点及 演进方向,应用场景3.2：业务人员，交叉销售、精准营销,资金量大、或专业机构,推荐报价回

15、购推荐约定购回,连续亏损客户,推荐集合理财产品推荐专项资产管理推荐量化投资,交易量小、交易次数小的胆小 型客户,推荐固定收益产品推荐理财产品,期间行 为分析,行业偏 好分析,风险偏 好分析,外部信 息,精准营销 交叉销售,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,应用场景3.3：业务人员，发送系统分析报告，提供个性化服务投资建议系统性报告专题报告,整体功能应用场景,核心模块示 例,技术架构,系统难点及 演进方向,应用场景4：研究员，针对投资行为、资产组合等做专业研究客户交易行为分析：判断投资者类型,客户开仓、平仓行为归因止盈/止损风格持仓习惯（多头、空头、换手率、平均

16、持股时间）客户收益、风险、杠杆结构收益率、alphaShare Ratio、IR RatioBeta、Bavar Ratio波动率、Sotino Ratio借入杠杆、名义杠杆、组合杠杆、金融工具杠杆资产组合管理研究资产配置专业的客户资产选择与再平衡管理优秀客户,整体功能应用场景,核心模块示 例,技术架构,系统难点及 演进方向,资产负债统计持仓统计 期间交易,交易行为,投资绩效压力测试 客户报告导出,客户风险 管理系统,整体功能应用场景客户风险管理系统介绍：6 个核心模块+1个客户报告导出,核心模块示 例,技术架构,系统难点及 演进方向,功能简介：资产负债统计,资产负债统 计,整体功能,应用场景

17、,核心模块示 例,技术架构,系统难点及 演进方向,功能简介：持仓统计,持仓统计,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,功能简介：期间交易,期间交易,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,功能简介：交易行为,平仓行为,平仓行为归因,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,功能简介：投资绩效,风险,收益/风险,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,功能简介：压力测试,维持担保比例,保证金额,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,后台综合指标查询0000

18、00代表所有客户,功能简介：客户报告可将分析报告导出，并发给客户根据客户分类等级，或客户需求，制定导出内容,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,技术逻辑架构,开发采用BS模型，MVC架构数据模型分为源数据层、EDW、DDW三层数据源数据导入层,数据服务层,应用服务层,数据备份、恢复、运营控制,ODS数据中心,数据登场 区ODS,EDW,DDW,业务指 标分析,OLAP,报表,驾驶舱,查询,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,ETL工具,开发与运营环境,软件名称,数量（台）,要求,单价（元）总价（元）,说明,整体功能,应用场景,核心

19、模块示 例,技术架构,系统难点及 演进方向,系统设计、开发,前端开发：JAVA+WEB,后台开发：SQL存储过程EDW(数据整合层）,24个复杂存储过程,111个普通存储过程,DDW(数据汇总、分析层),个大中型存储过程,4个超大型存储过程,1736个中型存储过程,121个普通存储过程,设计：UML,辅助信息表(from DDW 明细层),F_CT_HISTRADE_P(from 交易统计分析),交易量,多头、空头、总体、柱状图,交易成本,息费与佣金,收益统计,TOP 5 盈利TOP5 亏损,行业收益,板块收益,按投资额排序按期间浮动收益排序,F_FUNDACC_DAILY(f rom DDW

20、明细层),F_LONG_DAILY(f rom DDW明细层),证券市值,F_SHORT_DAILY(from DDW 明细层),期间交易明细,F_HISTRADE_P(from 期间交易),三联图,三联图-Grid,数据模型,期间交易设计,整体功能,应用场景,核心模块示 例,技术架构,系统难点及 演进方向,系统亮点、难点，以及演化方向,金融指标专业度 高融入现代资产管 理理论,金融工程思 维量化管理,金融工程指标多计算量大,计算量大,创新业务、复杂 业务多,盈亏计算,下一步发展方向,APP,移动化,模块独立化利用大数据分布式 计算基于系统结果开发 风险评分模型,整体功能,应用场景,核心模块示

21、 例,技术架构,系统难点及 演进方向,Part3,大数据整体解决方案,大数据部分应用分析-某互联网金融产品,44,互联网金融行业在解决什么问题面临怎样的风险用 什么样的技术手段来应对传统金融V.S.互联网金融信用风险V.S.欺诈风险传统风控V.S.数据科学技术风控,互联网金融行业中的风险,45,互联网金融风险分析实践,46,借款用户通信社交网络与欺诈风险,结论1:与坏用户有大量关联的借款用户的坏账率是 未关联用户的2.9倍,结论2：高分段用户的坏账率是低分段用户的3.3倍,风控建模中的数据科学,47,数据获取与清洗,特征提取,高级特征提取,建模,风险控制,金融数据,消费数据,行为数据,社交数据

22、,其他,统计学习 数据分析社交网络分析.,消费能力评级,用户风险评级,社交关联评级,用户属性评级,其他,GBDT梯度提 升决策 树,SVM支持向 量机,RF随机森 林,.,2016 年成都银行历史数据平台一期,48,调 度 监 控,ODBC数据处理 数据加载,JDBC数据查询 数据压缩,专用接口数据导出 数据安全,共享存储,统 一 调 度,统 一 监 控,历 史 数 据 存 储,能 应用 功,信贷系 统,核心系统,个贷系统,微贷系 统,CR M,网银系 统,信用卡,手机银 行,二代支 付,其 他,海量数据并行处理数据存储,历史明细 数据获取,测试明细 数据获取,相关应用系统,测试环境,务接口

23、服,司法查询、历史指标 查询,客户历史数据查 询,历史数据查询界面,柜面终端,数据查询应用非现场审计,审计界面,务查询 服,源系统,2017 年长沙华融湘江银行大数据平台,49,吉贝克大数据事业部,产品,长信资本,险保保,融资融券风险管理,黑名单,精准决策,数据,自有数据,合作伙伴数据,加工整合数据,大数据技术,大数据平台解决 方案,大数据业务应用 设计,大数据平台实施,产品,数据,技术,产品1黑名单：风险管理利器,申请,申请信 息,征信调 查,政策性 排除,申请风 险评分,批准/拒 绝,线下搜集 信息,同业数据,互联网数 据,潜在客户 开发,交易管理,账户持续管理,贷前,贷中,贷后,客户提交

24、信息+内部信 息,授权版块,定价板块,催收板块,额度板块沟通板块续贷板块政策性排除：指不需要做风险评，直接按公司经营规定需要提前剔除的规定。例如处于黑名单中的客户、老赖、过去多年有过破产的客户、当正处于违约中的客 户、年龄小于18岁或大于70岁的客户等。,黑名单,张某某 违 约余某某破产韩某某法院,80%的信用损失来自于审批20%来自于后续账户管理,产品,数据,技术,融合多来源的数据，分多个类别对经济主体的负面信息进行监测,采集/关键项抽取,Hadoop/mysql,平台爬取法院数据、行 业网站数据、政府监管机构 数据、行业专 业网站数据,主体抽取和自动分主题归类,增值应用转化,合作伙伴合作伙

25、伴授权数据：伙伴自 有平台数据的融合，含舆情 数据、工商数 据、政府统计 数据、电信数 据、海关数 据、电商数 据、金融行业 客户数据等 等。,查询分析及监测,应用形式,主体评价报告,产品数据产品1黑名单：技术架构，大数据+大数据技术+移动互联网数据来源数据加工数据应用,技术,产品1黑名单：数据来源广，并不断扩大,数据来源仍在随着数据的开放程度以及合作伙伴的加入持续扩充,行业主管 机构公告,法院数据,质管机构 公告,党政机关 公告,产品,数据,技术,黑名单查询,名单详情,经济主体风险 监测,风险分 析,产品1黑名单：界面示例黑名单 移动APP,产品,数据,技术,吉贝克大数据业务部数据,据 数

26、大 克 贝 吉,自有数据,法院,工商,新闻信息,公开财务数据,市场数据,合作伙伴数据,工商数据,法院数据,税务数据,舆情数据,电商数据互联网数据 宏观经注数据,自有数据，主要用于支持公司内部产 品,合作伙伴数据：,支持公司产品开发新型产品市场出售,产品,数据,技术,法院数据,56,电商数据,57,外部授权插件爬取的数据形成的报告样例,58,大数据技术,平台 业务,数据采集技术数据存储（约5TB）数据安全数据治理,数据 数据分析数据出售业务 数据采集解决 大数据技术选型企业数据模型设计方案 数据业务规划,产品,数据,技术,吉贝克大数据平台服务,60,大数据 解决方案为政府、金融机构和企业提供大数

27、据规划 咨询、数据治理、数据应用开发服务。,大数据采集、加工与销售鉴别高价值数据资源，并在合规前 提下进行提取、整合及销售。,大数据云存储和云分析产品搭建数据共融基础平台，支撑大数 据应用产品开发、运营,大数据 业务运营,基于大数据技术基础，开展征 信、互联网金融等具体业务。,吉贝克大数据平台总体架构,61,6,基础设施（服务器、存储、网络）,业务职能部 门数据供应,数据源工商 税务,公安,政府 法院,财经 网站,行业 协会,外部 购买,内部 业务,微信,微博,快数据处理（实时事件）快数据流处理（Event Processing）引擎,实时决 策引擎,数据标准,销,精 细 管 理 应 用数 据

28、数据检索与服查询务61,XBRL,API编程CDC ETL,多结构数据存储与管理,多结构原始数据存储融合数据存储（Raw Data）（Integrated Data,）,分布式 分析与 挖掘引 擎,报表 分析 与挖 掘引 擎,传统数据存储与管理 整合数据区 通用语义区,基础数据区,数据交换,文件交换,数据库共享,Web,services,消息交换,情 报 服 务,竞争情报推 送深度情报跟 踪,企 业 征 信,个人信用评 级企业信用评 级企业精准决 客户策精准营策略执行跟 踪绩效评定,1,3,4,5数据管理元数据数据质量管理 数据传输任务与管理数据安全2数据采集实时事 件侦听页面请 求侦听网络

29、爬虫 Map/ReduceSqoop,6,数据集市,吉贝克自有采集平台,62,吉贝克可以协助客户进行数据的采集，采集类型包括但不限于以下几类：行业对标数据采集：如交易所网站数据、协会网站数据等；研发部门特有账号对应的专业网站数据采集：如某特定行业网站的数据采集等，采集下来 的数据，可以落地存储到ODS，扩充对比分析的来源；可以根据风险或投资方面的需要，专业定制标签化的情报数据；,吉贝克自有采集平台（续）,63,自有主题提取技术,64,基于标签化处理的互联网文本情报数据,65,互联网数据,标签化处理,标签化处理模板,Part4,大数据构建数据仓库案例,逻辑架构,67,技术架构,68,未来大数据应

30、用发展趋势,69,机器 学习,两级 分化,数据 治理,物联 数据,风险 管理,分布 存储,终端 整合,跨界 应用,机器学习和数据科学将加速发 展，带动风控和反欺诈领域的 应用,行业领导者与后来者的差距将 会变大，传统金融机构逐渐跟 上趋势,数据治理将成为大数据平台的 重点，金融业注重合规和数据 质量问题,金融服务将重视物联网大数据 的应用如ATM和移动银行业务,风险管理仍然是大数据平台的重 点，形成以数据驱动的风控、预 警行为,分布式云存储将逐渐替代昂贵、扩展性差的传统数据仓库作为整 体解决方案,前端到后端的整合能力将逐渐成 为检验软件解决方案的基础能力,大数据将指领金融业与其他领域 的跨界整合，如快消品、医疗、零售和制造,感谢您的聆听,大数据,云平台,