证券行业反欺诈大数据管控平台建设方案.pptx

证券行业反欺诈大数据管控平台建设方案.pptx

《证券行业反欺诈大数据管控平台建设方案.pptx》由会员分享，可在线阅读，更多相关《证券行业反欺诈大数据管控平台建设方案.pptx（69页珍藏版）》请在冰点文库上搜索。

金融风险反欺诈大数据管控平台建设方案,大数据,云平台,目录,Contents,金融公司风险管理融资融券风险管理系统风险大数据整体解决方案大数据构建数据仓库案例,Part1,金融公司风险管理,多维度数据集市,画像应用,设备,画像底层,搜索,贴吧,到店,知道,公开数据,百科,网盘,外部,数据,LBS,APP,Volume-,海量,Variety-,多维,注册,糯米,去哪儿,钱包,财富,有钱花,外卖,爱奇艺,文库,登录,Velocity-,实时,金融传统数据仓库,5,大数据部分应用场景,6,网络金融征信P2P网络贷款市场规模急剧增长个人征信业务需求不断上升通过大数据实时分析客户信用记录提升企业价值,小微贷款管理需要大数据分析提供业务支撑利用实时数据处理信息管理、交叉营销、信贷模型分析以及业务风险控制的需求不断提升,财富管理评估利用大数据分析给予用户有价值的财富管理产品组合,使用业态广：

银行/财富管理机构/券商,/保险,反欺诈预警渗漏与欺诈风险增加，控制力度和手段不足,缺乏先进的分析能力“实时高效”,的甄别可疑理赔行为,客户识别、流失预警分析识别潜在客户群体、维护老客户、降低客户开发成本成为主要需求,理赔审查评估骗保识别成为保险业最大问题难点,分析、评估理赔数据有效降低风险并,为保险赔付制定提供依据,高频交易分析量化投资增长迅速，对结构化/非结构化数据利用力度不断加大实时、准确的数据模型提供有价值的交易推荐，提升客户满意度,保险精算利用大数据对险种、赔付率建立模型进行细分维度下的精准预测提升企业盈利水平保险业核心业务需求,实时分析客户信用记录提供贷款依据,大数据提供交叉营销、信贷模型分析,大数据实时分析渗漏欺诈风险,利用外部内部大数据有效管理客户关系,实时建立赔付率模型、并根据客户分析制定险种划分,内外部大数据分析有价值的财富投资组合,数据量化投资组合、建立高效数据模型,理赔数据审查、数据评估，有效降低异常赔付和骗保,大数据在金融领域的热点应用,7,9876543210,10,0,1,4,5,度热用应,23应用价值周期,用户画像,资产产品定价,运营优化,区块链,智能投顾,风险定价,量化交易,精准营销,风险管理金融搜索引擎,金融领域大数据应用热点图,横轴代表该应用领域价值周期，表明该应用价值速度的快慢纵轴代表该应用领域的炒作周期阶段圆圈代表应用领域的规模，表示该应用领域当前参与方的多少与应用数量,对大数据的理解：

深入数字化，实现全社会数据互联互通，,8,形成以数据指导业务的习惯、策略与模式,据数大,一、深入的数字化,不仅仅指传统意义上的纸质文档电子化,形成以数据指导业务的习惯、策略与模式,二、全社会数据互联互通。

仅仅局限在企业内部的数据，不能把握大数据的真正能力。

大数据在产业链各环节迅速发展，推动各种创新业务“遇春花开”,数据采集,4V数据VolumeVelocityVarietyValue爬虫数据治理行业数据整合,存储能力,列式数据库内存数据库Hadoop的keyvalue数据存储TB级跨向PB级,计算能力,MPP（ShareNothing）去IOE扩展能力跨硬件、跨代、跨厂商,分析能力,数据价值挖掘统计样本扩大专业工具多（SAS,R）专业模型行业模型,应用能力,信息可视化管理精细化预防向预测转变精细制度、医疗智慧城市,金融工程项目特点，计算量巨大，可依赖当前大数据分布式计算解决,证券公司风险管理：

主动承担的风险、需要规避的间接风险,业务风险市场风险信用风险流动性风险,非业务风险操作风险监管风险法律风险,10,市场风险,信用风险,证券公司主要风险流动性风险,操作风险,监管风险,法律风险,为盈利而必须承担的风险,是公司运营过程中产生的间接风险尽量回避、转移或减轻,金融风险管理新趋势：

数据+分析模型+业务知识,3.风险计量2.损失最小化1.合规性/内部控制,4.风险管理,6.风险资本分配、基于风险定价5.风险与收益最优化,风险控制,保护资产负债表,风险/收益最优化,价值创造,风险管理成熟度,目标:

是管理下行风险措施:

内部控制信息、报告程序、预警系统、止损设置等,与战略的相关度,高,中,低,行业竞争前沿,融资融券过程复杂，涉及风险种类多，信用风险管理是重点,操作风险信用风险法律风险合规风险,操作风险,操作风险市场风险流动性风险,操作风险信用风险清算风险声誉风险法律风险,操作风险信用风险,操作风险市场风险流动性风险,操作风险,融资融券流程中主要风险,1.信用评定,2.授信管理,3.,开,户,4.交易,5.实时盯市,6.强制平仓,7.客户通知,8.权益处理,Q3,Q4,Q3,Q4,2016Q1.,4030.06,3920.02,6034.75,10152.13,20421.33,9035.08,11690.37,8711.00,13950.0,2015Q1Q2,Current,22627.39,2015/6/18,融资余额（亿元）,高杠杆股灾海加深了市场对风险的认识,通,银河中信广发华泰,融资融券余额TOP5:

银河申万中信招商广发,维持担保比例低于200%的投资人数TOP5:

2014Q1Q2单位：

亿元,金融行业风控反欺诈体系,贷前,黑名单,运行账环户境安安全全,实体关联网络黑中介关联黑产关联,贷中,反欺诈规则体系,反欺诈通用模型,异常集中度监控,贷后,贷后客户质量监控,金融获客,活体验证,失资联产修保复全,多头借贷,粗分好人和坏人防批量欺诈攻击拦截70%80%,监测变动信息降低风险拦截10%20%,识别团伙欺诈监测批量骗贷风险拦截5%10%,修正优化欺诈技术，提升催收效率有效复联50%-60%,利用百度人工智能和大数据技术，精准刻画用户的欺诈风险，构建多层次化的金融反欺诈安全防控体系,Part2,融资融券风险管理系统,风控关联网络架构,应用层：

当前在金融反欺诈的主要应用场景用户接口：

底层关联网络提供Restful图交互接口、Cypher图交互接口和离线图计算任务接口，同时面向用户提供Web、桌面版和SDK（建设中）三种形态的服务,存储计算层：

基于sparkgraphx建立的一套子图计算管理、关联快照和关联分析算法,数据建模：

对源数据进行加工，抽取出实体、实体关系、实体属性，形成图基础数据,多维数据集市,金融数据账户数据,数据源,行为数据,社交数据,黑产数据,源数据层：

负责各种数据源的引入、清洗和管理，包括金融数据、行为数据和第三方数据,关联网络应用：

教育信贷业务关联分析,某计算机职业培训学校（正常）,某职业技能培训学校（骗贷）,逾期人员的机构关联分布图,关联网络应用：

现金贷业务关联分析,百度现金贷M2+逾期关联,百度现金贷正常用户关联（抽样1万人）,中介和贷款人关联图（绿色贷款中介，褐色关联贷款人）,关联网络应用：

催收复联,修复信息维度,电话,客户其他新亲友/同事电话电话,邮箱,邮箱地址,通讯录电话,常个人地址亲友、同事地址,驻,地公司地址,址,电话本中联系人地址,失联预警预测,当前效果,内单：

百度用户的覆盖率为99%,复联率为60%+,外单：

（实验）外部用户的覆盖率为60-80%，复联率为15-30%,强关联关系挖掘,相关性排序,常驻点挖掘,失联催收ROI排序,施压点挖掘,数据挖掘,潜在关联关系挖掘,金融关联网络,百度钱包,百度有钱,百度账号,社交关联网络,通讯关联,信贷关联,支付关联,AP关联,IDMapping,百度糯米,百度外卖,下一阶段,从最终催款效果出发，提升复联精准度,原始数据,微博,画像数据,。

爱奇异百度地图,提升（实验）外单复联率和精准度,人行征信,下一阶段,阶段一工作阶段二工作:

尚处于阶段性样本测试阶段，不同样本的复联率表现存在差异,主要内容,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,金融工程指标,VolatilityShareRatioIRRatioBarvarRatioBetaAlhpa,深度刻画客户特征,对客户分类分级,客户管理,风险管理专项投顾,客户风险管理系功能：

分析数据，提供多种服务,证券公司数据优势,客户风险管理系统,管理策略设计,风险管理,研究,客户服务,数据,数据分析,分析结果整理,提供服务,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,应用场景1-高层管理经营目标,融资融券余额利息收入佣金收入融资融券利润,风险,融资融券余额/净资本监管合规,融资融券余额,净资本,监管或内控：

400%,预警：

320%,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,融资融券余额,年度经营目标,佣金收入,差额,利息收入,盈利,应用场景2.1-风险管理人员，制作各类图表,指标,融资融券余额,融资余额29,632,436.30融券余额3,235,424.95,客户数据,客户维持担保比例客户数（个）130%的客户125,需立即处理,总体风险金额（元）占净资本比例预警值监管值32,867,861.25,风险状态,VAR值（万元）,20,30,35,40,10天5天3天1天,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,应用场景2.2：

风险管理员,公司级或客户级压力测试公司级压力测试单券集中度90%的客户假设市场下跌幅度：

15%30%50%65%,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,应用场景3.1：

业务人员,授信额度管理、客户开发示例：

找出高价值客户，提高他们信用额度，充分挖掘客户价值,整体功能应用场景,核心模块示例,技术架构,系统难点及演进方向,应用场景3.2：

业务人员，交叉销售、精准营销,资金量大、或专业机构,推荐报价回购推荐约定购回,连续亏损客户,推荐集合理财产品推荐专项资产管理推荐量化投资,交易量小、交易次数小的胆小型客户,推荐固定收益产品推荐理财产品,期间行为分析,行业偏好分析,风险偏好分析,外部信息,精准营销交叉销售,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,应用场景3.3：

业务人员，发送系统分析报告，提供个性化服务投资建议系统性报告专题报告,整体功能应用场景,核心模块示例,技术架构,系统难点及演进方向,应用场景4：

研究员，针对投资行为、资产组合等做专业研究客户交易行为分析：

判断投资者类型,客户开仓、平仓行为归因止盈/止损风格持仓习惯（多头、空头、换手率、平均持股时间）客户收益、风险、杠杆结构收益率、alphaShareRatio、IRRatioBeta、BavarRatio波动率、SotinoRatio借入杠杆、名义杠杆、组合杠杆、金融工具杠杆资产组合管理研究资产配置专业的客户资产选择与再平衡管理优秀客户,整体功能应用场景,核心模块示例,技术架构,系统难点及演进方向,资产负债统计持仓统计期间交易,交易行为,投资绩效压力测试客户报告导出,客户风险管理系统,整体功能应用场景客户风险管理系统介绍：

6个核心模块+1个客户报告导出,核心模块示例,技术架构,系统难点及演进方向,功能简介：

资产负债统计,资产负债统计,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,功能简介：

持仓统计,持仓统计,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,功能简介：

期间交易,期间交易,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,功能简介：

交易行为,平仓行为,平仓行为归因,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,功能简介：

投资绩效,风险,收益/风险,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,功能简介：

压力测试,维持担保比例,保证金额,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,后台综合指标查询000000代表所有客户,功能简介：

客户报告可将分析报告导出，并发给客户根据客户分类等级，或客户需求，制定导出内容,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,技术逻辑架构,开发采用BS模型，MVC架构数据模型分为源数据层、EDW、DDW三层数据源数据导入层,数据服务层,应用服务层,数据备份、恢复、运营控制,ODS数据中心,数据登场区ODS,EDW,DDW,业务指标分析,OLAP,报表,驾驶舱,查询,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,ETL工具,开发与运营环境,软件名称,数量（台）,要求,单价（元）总价（元）,说明,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,系统设计、开发,前端开发：

JAVA+WEB,后台开发：

SQL存储过程EDW（数据整合层）,24个复杂存储过程,111个普通存储过程,DDW（数据汇总、分析层）,个大中型存储过程,4个超大型存储过程,1736个中型存储过程,121个普通存储过程,设计：

UML,辅助信息表（fromDDW明细层）,F_CT_HISTRADE_P（from交易统计分析）,交易量,多头、空头、总体、柱状图,交易成本,息费与佣金,收益统计,TOP5盈利TOP5亏损,行业收益,板块收益,按投资额排序按期间浮动收益排序,F_FUNDACC_DAILY（fromDDW明细层）,F_LONG_DAILY（fromDDW明细层）,证券市值,F_SHORT_DAILY（fromDDW明细层）,期间交易明细,F_HISTRADE_P（from期间交易）,三联图,三联图-Grid,数据模型,期间交易设计,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,系统亮点、难点，以及演化方向,金融指标专业度高融入现代资产管理理论,金融工程思维量化管理,金融工程指标多计算量大,计算量大,创新业务、复杂业务多,盈亏计算,下一步发展方向,APP,移动化,模块独立化利用大数据分布式计算基于系统结果开发风险评分模型,整体功能,应用场景,核心模块示例,技术架构,系统难点及演进方向,Part3,大数据整体解决方案,大数据部分应用分析-某互联网金融产品,44,互联网金融行业在解决什么问题面临怎样的风险用什么样的技术手段来应对传统金融V.S.互联网金融信用风险V.S.欺诈风险传统风控V.S.数据科学技术风控,互联网金融行业中的风险,45,互联网金融风险分析实践,46,借款用户通信社交网络与欺诈风险,结论1:

与坏用户有大量关联的借款用户的坏账率是未关联用户的2.9倍,结论2：

高分段用户的坏账率是低分段用户的3.3倍,风控建模中的数据科学,47,数据获取与清洗,特征提取,高级特征提取,建模,风险控制,金融数据,消费数据,行为数据,社交数据,其他,统计学习数据分析社交网络分析.,消费能力评级,用户风险评级,社交关联评级,用户属性评级,其他,GBDT梯度提升决策树,SVM支持向量机,RF随机森林,.,2016年成都银行历史数据平台一期,48,调度监控,ODBC数据处理数据加载,JDBC数据查询数据压缩,专用接口数据导出数据安全,共享存储,统一调度,统一监控,历史数据存储,能应用功,信贷系统,核心系统,个贷系统,微贷系统,CRM,网银系统,信用卡,手机银行,二代支付,其他,海量数据并行处理数据存储,历史明细数据获取,测试明细数据获取,相关应用系统,测试环境,务接口服,司法查询、历史指标查询,客户历史数据查询,历史数据查询界面,柜面终端,数据查询应用非现场审计,审计界面,务查询服,源系统,2017年长沙华融湘江银行大数据平台,49,吉贝克大数据事业部,产品,长信资本,险保保,融资融券风险管理,黑名单,精准决策,数据,自有数据,合作伙伴数据,加工整合数据,大数据技术,大数据平台解决方案,大数据业务应用设计,大数据平台实施,产品,数据,技术,产品1黑名单：

风险管理利器,申请,申请信息,征信调查,政策性排除,申请风险评分,批准/拒绝,线下搜集信息,同业数据,互联网数据,潜在客户开发,交易管理,账户持续管理,贷前,贷中,贷后,客户提交信息+内部信息,授权版块,定价板块,催收板块,额度板块沟通板块续贷板块政策性排除：

指不需要做风险评，直接按公司经营规定需要提前剔除的规定。

例如处于黑名单中的客户、老赖、过去多年有过破产的客户、当正处于违约中的客户、年龄小于18岁或大于70岁的客户等。

黑名单,张某某违约余某某破产韩某某法院,80%的信用损失来自于审批20%来自于后续账户管理,产品,数据,技术,融合多来源的数据，分多个类别对经济主体的负面信息进行监测,采集/关键项抽取,Hadoop/mysql,平台爬取法院数据、行业网站数据、政府监管机构数据、行业专业网站数据,主体抽取和自动分主题归类,增值应用转化,合作伙伴合作伙伴授权数据：

伙伴自有平台数据的融合，含舆情数据、工商数据、政府统计数据、电信数据、海关数据、电商数据、金融行业客户数据等等。

查询分析及监测,应用形式,主体评价报告,产品数据产品1黑名单：

技术架构，大数据+大数据技术+移动互联网数据来源数据加工数据应用,技术,产品1黑名单：

数据来源广，并不断扩大,数据来源仍在随着数据的开放程度以及合作伙伴的加入持续扩充,行业主管机构公告,法院数据,质管机构公告,党政机关公告,产品,数据,技术,黑名单查询,名单详情,经济主体风险监测,风险分析,产品1黑名单：

界面示例黑名单移动APP,产品,数据,技术,吉贝克大数据业务部数据,据数大克贝吉,自有数据,法院,工商,新闻信息,公开财务数据,市场数据,合作伙伴数据,工商数据,法院数据,税务数据,舆情数据,电商数据互联网数据宏观经注数据,自有数据，主要用于支持公司内部产品,合作伙伴数据：

支持公司产品开发新型产品市场出售,产品,数据,技术,法院数据,56,电商数据,57,外部授权插件爬取的数据形成的报告样例,58,大数据技术,平台业务,数据采集技术数据存储（约5TB）数据安全数据治理,数据数据分析数据出售业务数据采集解决大数据技术选型企业数据模型设计方案数据业务规划,产品,数据,技术,吉贝克大数据平台服务,60,大数据解决方案为政府、金融机构和企业提供大数据规划咨询、数据治理、数据应用开发服务。

大数据采集、加工与销售鉴别高价值数据资源，并在合规前提下进行提取、整合及销售。

大数据云存储和云分析产品搭建数据共融基础平台，支撑大数据应用产品开发、运营,大数据业务运营,基于大数据技术基础，开展征信、互联网金融等具体业务。

吉贝克大数据平台总体架构,61,6,基础设施（服务器、存储、网络）,业务职能部门数据供应,数据源工商税务,公安,政府法院,财经网站,行业协会,外部购买,内部业务,微信,微博,快数据处理（实时事件）快数据流处理（EventProcessing）引擎,实时决策引擎,数据标准,销,精细管理应用数据数据检索与服查询务61,XBRL,API编程CDCETL,多结构数据存储与管理,多结构原始数据存储融合数据存储（RawData）（IntegratedData,）,分布式分析与挖掘引擎,报表分析与挖掘引擎,传统数据存储与管理整合数据区通用语义区,基础数据区,数据交换,文件交换,数据库共享,Web,services,消息交换,情报服务,竞争情报推送深度情报跟踪,企业征信,个人信用评级企业信用评级企业精准决客户策精准营策略执行跟踪绩效评定,1,3,4,5数据管理元数据数据质量管理数据传输任务与管理数据安全2数据采集实时事件侦听页面请求侦听网络爬虫Map/ReduceSqoop,6,数据集市,吉贝克自有采集平台,62,吉贝克可以协助客户进行数据的采集，采集类型包括但不限于以下几类：

行业对标数据采集：

如交易所网站数据、协会网站数据等；研发部门特有账号对应的专业网站数据采集：

如某特定行业网站的数据采集等，采集下来的数据，可以落地存储到ODS，扩充对比分析的来源；可以根据风险或投资方面的需要，专业定制标签化的情报数据；,吉贝克自有采集平台（续）,63,自有主题提取技术,64,基于标签化处理的互联网文本情报数据,65,互联网数据,标签化处理,标签化处理模板,Part4,大数据构建数据仓库案例,逻辑架构,67,技术架构,68,未来大数据应用发展趋势,69,机器学习,两级分化,数据治理,物联数据,风险管理,分布存储,终端整合,跨界应用,机器学习和数据科学将加速发展，带动风控和反欺诈领域的应用,行业领导者与后来者的差距将会变大，传统金融机构逐渐跟上趋势,数据治理将成为大数据平台的重点，金融业注重合规和数据质量问题,金融服务将重视物联网大数据的应用如ATM和移动银行业务,风险管理仍然是大数据平台的重点，形成以数据驱动的风控、预警行为,分布式云存储将逐渐替代昂贵、扩展性差的传统数据仓库作为整体解决方案,前端到后端的整合能力将逐渐成为检验软件解决方案的基础能力,大数据将指领金融业与其他领域的跨界整合，如快消品、医疗、零售和制造,感谢您的聆听,大数据,云平台,