前言

2019年1月20日凌晨,黑灰产羊毛党利用电商平台拼多多“无门槛100元券”存在的bug薅羊毛,导致拼多多巨额资金损失。这个事件震惊网络。

今天我们就分以下几个部分来聊一下电子商务的作弊与反作弊。

一、电子商务欺诈现状

二、黑产欺诈态势分析

三、电子商务反欺诈方案

四、反欺诈的技术与效果评估

五、反欺诈的挑战及展望



三、电子商务反欺诈方案

3.1 现有反欺诈方案面临的挑战

当前,有很多厂商提供反欺诈解决方案。同时,大多互联网、“互联网+”企业都部署有不同类型的欺诈检测系统,但很多方案尚不够完善,主要体现在以下几个方面。

3.1.1防御能力单薄

• 通过单个技术方式进行欺诈识别,比如单纯依赖黑名单或简单的人工规则、单点布控等,缺少全流程的反欺诈方法(如设备指纹、验证码、注册保护、登录保护),无法形成从设备启动到用户行为各个环节的纵深防御。

• 反欺诈功能薄弱,只能防御部分欺诈形式,而不能全面防御羊毛党、虚假用户裂变、渠道流量作弊、广告导流、刷单、内容爬取等欺诈形式。

3.1.2防御时效性差

• 比如依赖T+1离线挖掘,欺诈发生后才能发现,无法实时、在线阻止欺诈损失的发生,同时策略生效周期长。

3.1.3防御进化慢

• 缺乏策略迭代闭环,没有形成攻防研究——策略设计——策略研发——验证——运营——案例分析——策略更新的进化闭环。

• 无自学习机制,难以发现潜在的和新型的欺诈模式。

3.1.4过分依赖设备显性ID

• 过分依赖“显性ID”,如IMEI、MAC、IMSI、SN等,以此为识别设备唯一性的标准。

• 这些ID都可以通过改码软件或虚拟机等手段轻易的进行变换/模拟,从而利用有限的造假设备就可以伪装出大量的移动设备。

3.1.5黑名单库准确性低

• 数据服务商受利益驱动,希望扩大数据体量,赚取更多查询费用。

• 整个行业对于黑名单没有一个明确的规范标准。A的黑名单库,未必适合B公司。

• 黑名单数据僵化,因其不可证伪性,更新迭代速度慢,其反欺诈效果越来越差。

3.2 全栈式实时反欺诈方案

完善的反欺诈方案应该既是全面的,也是实时的。

全面的反欺诈方案应该包括:全场景识别体系、全路径实时布控体系、全方位策略体系和全流程运营体系。这样的方案可以全面覆盖全场景多维度,维护企业健康生态,为企业持续运营增长保驾护航,免受黑产欺诈干扰。

实现营销活动反作弊、内容防盗爬、渠道流量反作弊、刷榜刷单防护、虚假用户裂变识别、支付风控等全方位安全保护。

3.2.1 全场景识别体系

智能识别不同行业复杂多样欺诈场景,电子商务的刷榜刷单、商品评论广告导流、机器秒杀特价商品、虚假交易套利,虚假用户裂变等众多场景。

3.2.2 全路径实时布控体系

全路径纵深布局,从设备启动到用户注册、登陆,再到浏览、签到、领券、分享、送礼、邀请好友、评论、下单、提现等业务行为每一个环节实时识别风险,在每一个风险点都精确部署专家防御策略集,做到全局实时风控。

(1)启动

启动阶段根据设备风险SDK 采集数据判断设备是否存在风险,具体包括篡改设备、虚拟机、设备农场、积分墙、设备风险分、云手机等。

(2)注册

注册保护通过作弊设备识别,风险设备聚类,风险设备库,风险IP 库,风险手机号等识别批量接码注册、批量脚本注册、注册机注册、模拟器注册、代理IP 注册、异常手机号注册等异常注册行为。

(3)登录

登录保护通过作弊设备识别,风险设备聚类,异地登录检测,风险设备库,风险IP 库等识别撞库尝试、撞库盗号、洗号登录、晒号登录、养号登录、模拟器登录,篡改设备登录,异常手机号登录、代理IP 登录等异常登录行为。

(4)业务行为

业务行为保护主要判定机器刷积分、代下载、自动化抢红包、机器阅读、自动刷单、自动点赞、盗刷卡、机器秒杀等异常行为。

3.2.3 全方位策略体系

构建全方位多维度立体策略集合,包括关联图谱、行为时序、属性聚熵、资源离散、目标聚集、时域网络,检测设备、行为、关联风险三个层面,实时识别虚拟机、篡改设备、设备农场、积分墙设备、云手机等风险设备;实时拦截机器注册、撞库攻击、机器秒杀、机器薅羊毛、虚假拉新、虚假裂变、恶意抢红包、恶意刷榜刷单等风险操作;同时结合时域网络,采用无监督机器学习模型,递归调度PageRank等风险传播算法进行黑产社群发现,多方位有效精准识别欺诈团伙和高危群体。

3.2.4 全流程运营体系

设立行业级黑产研究院,持续跟踪黑产动态,同时部署顶级策略团队,打造全流程持续循环运营体系,从“案例分析、攻防研究、策略设计、策略研发、策略验证、策略上线到策略运营,实现攻防策略的“闭环迭代,持续进化”。

3.3 移动设备唯一性甄别实时反欺诈方案

移动设备唯一性甄别实时反欺诈方案,是指利用移动设备标识如“可信ID”,为移动开发者实时提供设备真实性&唯一性的甄别服务。通过有效的反作弊措施,鉴别虚假数据,提升运营数据质量,从而有效杜绝灰色产业链的侵蚀。

其采用具备编译器级别的反编译方法,使用数据动态加密,进行代码混淆加密,以及运行环境识别,防止SDK被破解以及传输数据被伪造。

架构上采用多地采集中心和双存储中心,能够容灾备份,保证数据安全。数据采用流式处理和分布式处理,毫秒内返回设备及应用状态结果,保证客户数据实时性。

平台架构分为系统应用层、消息枢纽层、数据计算层、数据存储层,以及监控管理系统。系统应用层包括数据采集上报、客户服务系统;消息枢纽层使用Zookeeper+Kafaka数据计算层包括离线的大数据计算和实时的业务数据计算;数据存储层包括原始日志、中间及结

果型数据。

主要反欺诈应用场景有:O2O防薅羊毛、反作弊验证、虚假流量识别、裂变红包防薅、虚假账号识别、数据防爬虫、伪基站校验识别、识别恶意卸载等。

3.3.1 账号识别及保护反欺诈方案

(1)虚假账号识别/识别欺诈小号:依靠可信ID与客户自定义关联服务,实时鉴别欺诈小号,方便开发者制定设备与账号的反欺诈规则。精准识别虚拟机、模拟器、改码设备生成的账号,对虚假账号进行有效清洗,提升运维质量。

(2)账号保护:防范撞库攻击、暴力破解、账号盗号等恶意行为带来的商业损失。

3.3.2 营销活动反欺诈方案

(1)防羊毛党:实时判断设备真伪,过滤机器注册及重复领取行为,封堵推广资金被“薅羊毛”,避免推广资金被盗取。

(2)裂变红包防薅:识别裂变红包营销中的作弊行为,通过设备可信ID锁定背后的用户,毫秒级鉴别机刷红包及重复领取行为,只给有效用户发放红包福利。

(3)虚假流量识别:提供准确的渠道效果监测服务,毫秒级实时数据反馈、可有效识别虚拟机、重复、封信、召回等多种行为,有效鉴别app 营销推广中的虚假流量。

(4)渠道推广反作弊:提供有效的渠道推广反作弊服务,毫秒级实时数据反馈、可有效识别虚拟机、重复、封信、召回等多种行为,有效鉴别app营销推广中的虚假流量。

(5)反作弊验证:实时验证移动运营推广中的数据质量,基于设备唯一性识别的技术,有效鉴别改码手机、模拟器、虚拟机等生成的虚假用户及流量,提升防作弊的风控等级。

四、反欺诈的技术与效果评估

4.1 反欺诈技术体系架构

图片

每个层的功能如下:

4.1.1 接入层

主要进行接口安全检查、流量控制、参数校验、过载保护等功能。一般提供HTTP接口,POST请求方式,返回结果的格式一般为JSON格式。

4.1.2 业务逻辑层

主要包括业务逻辑的处理,具体模块包括设备指纹服务、业务事件服务、验证码服务。

4.1.3 决策层

决策层包括决策引擎(AE),加载策略集合,根据输入和基础引擎的结果进行判决,给出最后的判定结果。

4.1.4 基础引擎层

基础引擎层包含行为模型服务、名单服务、实时统计服务、实时画像服务,计算各种基础特征。

(1)行为模型服务

行为模型服务是一组基础引擎。它提供了包括监督学习、非监督学习、时域关联网络等多类机器学习在内的模型加载与运行服务。

监督学习模型包括:

• 经典的LR、SVM、GBDT、RandomForest 等

• 深度学习模型,RNN,GAN

非监督学习模型主要是一些异常检测模型:

• GMM 异常检测、离散度模型等

时域关联网络:

• 通过在时间和地域上通过各个实体之间关系进行团伙挖掘

(2)名单服务

名单服务提供配置黑白名单的功能,包括设备、IP、账号等黑白名单。

(3)实时统计服务

配置相关统计指标,包括统计窗口、统计维度、统计周期等,实时统计服务进行实时统计所有配置的指标。

(4)实时画像服务

根据配置相关画像变量,进行实时计算。

4.1.5 模型数据层

提供相关模型和数据,模型包括恶意注册模型、撞库登录模型、申请借贷模型、交易欺诈模型、目标聚集模型、行为时序模型、关联频度模型、资源离散模型、属性聚熵模型等;数据包括名单库、统计库、画像库。

4.1.6 基础平台层

数据平台层主要包括大数据分析和建模平台,具体包括Hadoop、Spark、Elasticsearch、Tensorflow。用于模型训练和数据分析。

4.1.7 管理层

包括具体规则数据管理、系统监控等。

4.2 反欺诈技术

图片

4.3 反欺诈效果验证与评估

4.3.1 事前评估

创建反欺诈事前评估流程,在涉及到欺诈行为的业务场景或者营销活动前,先经过反欺诈事前评估通过。具体操作如下:

(1)创建某业务反欺诈事前评估工单

(2)由风控人员进行反欺诈事前评估

(3)反欺诈评估未通过,反欺诈工单处理人进行措施建议,业务侧进行修改。

(4)反欺诈评估通过后进行业务活动。

在业务开展前,根据用户风险情报库进行反欺诈评估,使反欺诈评估更快捷。对业务的开展不造成时间上的滞后。

同时,可建立初始用户风险情报库,在营销活动的过程中不断发现风险,总结风险知识,完善用户风险情报库,保持风险情报库的时效性。

每次营销活动后,总结风险,深入分析风险,更新用户风险情报库。

4.3.2 事中分析

对反欺诈行为进行事中风险分析,并对欺诈行为进行相应的管控。将欺诈行为划分风险等级,根据不同的风险等级采取相应的措施。

欺诈风险等级:

Ø 极高风险;

Ø 高级风险;

Ø 中级风险;

Ø 低级风险;

Ø 无风险;

在业务过程中,进行事中管控策略,建议以二次校验为主,只对高风险行为进行阻断。管控措施如下所示:

图片

在业务开展一段时间后,对事中分析结果进行汇总,并形成报表,用事后评估。

4.3.3 事后评估

对反欺诈行为进行人工验证,采取的验证方式如下

图片

为保证用户免受拦截误伤,定期对拦截的反欺诈行为进行效果验证

(1)取被拦截的用户进行定期验证。

(2)人工进行欺诈行为数据分析验证。

(3)判断欺诈拦截行为的准确度。

(4)对不准确的欺诈行为拦截,进行反欺诈风险分析模型调整。

(5)对于精度不够的反欺诈模型进行精度优化。

欺诈分析需要全方位的分析,包含事前分析,事中分析,事后分析,事后取全量业务数据进行是否欺诈行为分析。比对事中分析中生成的风险报表,评估事中分析与事后分析之间的差距。从以下几个方面进行评估。

●事中分析的准确度占比

●事中分析的误伤数据占比

●事中分析的遗漏反欺诈行为用户占比

根据事后评估,更好的优化反欺诈分析模型,提高反欺诈分析的准确度。

五、反欺诈的挑战及展望

5.1 反欺诈的困难和挑战

业务风险不确定性分散。

风控效果不可判断性高。

认知盲区不认知性强。

追求数据美观不务实性多。

5.2 反欺诈未来展望

5.2.1 加强技术升级优化

面对黑产的技术持续进化,反欺诈技术也需要从多方面、多角度持续迭代更新。

(1)优化设备风险识别技术

移动时代,设备风险识别日益重要,我们需要从设备层面进行攻防研究,做好反欺诈防御的第一道关口,保证设备使用的真实性与有效性,有效识别设备的风险,包括不限于虚拟机、云手机、篡改设备、设备农场、猫池卡池、积分墙等,防止黑产用机器大规模作恶,提高黑产的作恶成本。

(2)优化反欺诈模型

大数据现在已经来临,使用单一维度单一模型,无法兼顾高准率与高召回率的平衡,在高维度海量数据面前,机器学习变得日益重要,黑产在部分领域也已经进化到了深度学习的阶段,反欺诈模型也应由应对的进行更行。要大面积推广机器学习、深度学习,让AI 为反欺

诈技术保驾护航,从海量数据中找到欺诈的线索,挖掘出隐蔽的欺诈团伙,让欺诈份子无地可藏。

(3)优化全栈式实时反欺诈

在移动时代下,反欺诈一定要做到全栈、实时,才能真正的维护好企业安全生态。一方面,反欺诈不能成为马其洛防线,单点很强,而其他防线薄弱。对于狡猾的黑产,他们寻找的是防守最薄弱的地方,以最低的成本攻破风控系统,实现欺诈获利。,全栈防御应成为重点演进方现,以保证黑产所有作恶路径上的点都有布防,做到天网恢恢,疏而不漏。

另一方面,反欺诈也不能成为事后诸葛亮,黑产已经获利了结,系统才刚刚发现。黑产是灵活多变的人,作案也是实时变化的,反欺诈系统也必须是实时反欺诈,实时发现黑产的动机,实时拦截黑产的行为,保证系统防御的高效性。

点赞(1) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部