时政教育 汇报提纲 时政教育以 “时事”为蓝本 时政教育的八句宣传口号 促进 《 时事 》 发行六措施 进行时政教育的七种形式 时政教育现状的自我评价
BDTC2015 数美时代-梁堃-sentry 金融实时风控系统
-
Upload
jerry-wen -
Category
Data & Analytics
-
view
745 -
download
1
Transcript of BDTC2015 数美时代-梁堃-sentry 金融实时风控系统
Sentry 金融实时风控系统
梁堃@数美时代
目录
01 背景与挑战
02 Sentry实时风控系统
03 Q & A
背景与挑战01
数美发现数据之美
数美 金融大数据解决方案提供商
核心业务 为金融行业提供大数据产品及服务开发,并提供基于大数据场景的解决方案。主营产
品(业务)分为风险控制类、用户画像类、精准营销类、数据分析与挖掘类、数据仓库类、大数据
决策支撑类
我们是谁
背景与挑战
交易的种类越来越多流水也越来越大
欺诈交易带来的损失迅速增加银行业高速发展
实时风控系统对于银行业继续保持高速发展越来越重要
背景与挑战
目标
挑战
安心:实时阻断欺诈交易,减少客户/商家/银行的损失便捷:让正常的交易便捷流畅地完成,减少不必要的中间环节
• 银行业务的内在复杂度
• 交易发生的方式、地点非常的多样化
• 欺诈方式、技术等的不断提高
• 两个目标似乎是矛盾的
背景与挑战
大数据
迎接挑战
美国的经验:平均每100美元交易中
由于欺诈导致的损失
1990~1992年:20分
2008~2010年:7分
02 Sentry金融实时风控系统
Sentry是什么
以大数据为核心
建立正常交易模型
识别欺诈交易
• 基于大数据技术构
建的实时交易风险
评估系统
Sentry是什么
业务系统将交易信息发送风控系统
发现该交易中存在的异常行为和可疑场景
根据发现的“证据”计算该交易的风险系数
将风险系数等相关信息反馈给业务系统
在每一笔交易发生时,实时进行
异常行为
交易账号曾出现在POC中 交易频率异常
交易时间异常 交易地点异常
交易延时异常 交易序列异常
交易金额异常
异常行为
Ø 个性化信息,针对特定客户,
特定帐号
Ø 不是常用的或常常发生的情
况
Ø 不符合该客户,该帐号平常
的行为模式
主要类型
可疑场景
1. 可疑收款账号
2. 可疑收款商家
3. 可疑收款POS
4. 可疑交易ATM
5. 可疑交易地点
6. 可疑交易应用
7. …
可疑场景
Ø 全局信息
Ø 在该场景下经常发生欺诈交易
计算风险系数
计算交易的欺诈概率• (0, 1)范围内的值• “证据”越多,包含的“证据”越强,概率越大• 常用技术
1. 规则系统
2. 机器学习
3. 机器学习与规则混合系统
• 计算交易风险系数• 渠道特定• 例如:欺诈概率,欺诈概率 x 交易金额
业务系统处理
030201
交易放行
04
附加验证
人工座席验证
交易阻断
Sentry的整体架构:主要模块图
access-layer
drpc-servers
sentry-sdk
prediction-engine
业务渠道
CH N
…
CH 2
CH 1
CH 3
rule-engine
ml-models
rt-statistics
…
rule-manager
report-manager
case-manager
dashboard (web-ui)
客户信息客户行为历史
offline-mining
客户画像挖掘
POS画像挖掘
…
ml-training
NNTrain
GBDTTrain
…
profiles
客户画像
POS画像
…
Sentry的整体架构:主要数据流图
业务渠道
CH N
…
CH 2
CH 1
drpc-servers
syncapi
rule-engine
CH 3ml-models
NN
GBDT
…
feature-assembler
profiles
case-manager
客户信息客户行为历史
dashboard (web ui)
Online
Offline
offline-mining
客户画像挖掘
POS画像挖掘
…
ml-training
NNTrain
GBDTTrain
…
sentry-sdk
result-cacheresult-return
rt-statistics
asyncapi
asyncapi
sentry-inputs rule-manager
Sentry的特点
1.잠재고객
多渠道
⾼可⽤
⾼可伸缩
低成本
低延时• 几分之一秒的响应时间
• 运行于普通的PC服务器之上,对硬件没有特殊要求
• 随着PC服务器数目的增加,吞吐近乎可以等比例地增加
• 完全的分布式系统,少量PC服务器宕机不影响服务
• 支持同时接入多种业务渠道• 支持跨渠道实时风险评估
Sentry使用的开源组件
• 分布式存储系统 Cassandra• 在Sentry中主要用于存储画像、案例、规则等数据• 支持快速的按key查询、更新,支持批量读取、写入
• 实时计算系统 Storm• 在Sentry中是预测引擎使用的实时计算框架• 支持毫秒级别的实时计算
• 分布式一致性协议的实现 ZooKeeper
Sentry的实施
3阶段:改进阶段
1 1.5 3
• 1阶段:基于规则的欺诈交易识别
2阶段:基于机器学习+ 规则的欺诈交易识别
2
1.5阶段:基于规则 + 数据挖掘的欺诈交易识别
实施的三个阶段
前提
Sentry实施的第一阶段:基于规则的欺诈交易识别
阶段1.5: 通过数据挖掘获得规则中的阈值• 例如上述规则中的 “5000”, “50000”
搭建实时风控系统架构• 该阶段,机器学习引擎返回空常量• 打通与渠道系统的交互流程
资深业务人员制定规则体系• 转账金额 > 5000 AND IP属地 != 常用属地 è 附加验证• 累计转账金额 > 50000 AND 收款方账号位于灰名单中 è 人工座席验证• …
收集并准备必要的数据1
3
4
2
Sentry实施的第二阶段:基于机器学习+规则的欺诈交易识别
训练深度神经网络• 实时在线训练• 批量训练
启用机器学习引擎
• 随着训练样本和时长的增加,机器学习模型会越来越准
逐步调整机器学习和规则相对比例• 平滑过渡到机器学习为主、规则为辅的状态
Sentry实施的第三阶段:长期改进阶段
B:引入更多维度的数据
• 为机器学习提供更多有信息量的特
征
C:调优机器学习模型
神经网络的结构
Regularization方法
调整训练参数
A:案例深入分析
03 Q& A
谢谢大家!
北京数美时代科技有限公司