摘要：所以，把本人踩过的一些坑在这里分享出来，让准备搭建风控的人心里有个数。结语信息采集往往是实施风控的最难的一个环节，但也是最重要的环节，覆盖质量时效都决定了项目的成败。
作者前言
从业近10年，大大小小参与了3家公司不同领域的风控系统的设计，从前到后把风控系统所有环节都细细的琢磨过，然而至今仍然感觉刚刚一只脚踏进门而已。
大多数人做的产品都是目的明确的，比如订单支付、账户体系要做什么一开始就知道了，而且也有很多的竞品可以去参考；风控系统却完全不一样——未来要面对什么问题不可能完全了解，做每个功能都谨小慎微，因为一个不注意走错了方向，可能就会在未来的某个阶段要全盘推翻。
而对于研发资源紧缺的安全需求来看，往往会在某个时间把自己摆到一个非常尴尬的境地，问题解决不了，改造又面临大量的时间和沟通成本。
所以，把本人踩过的一些坑在这里分享出来，让准备搭建风控的人心里有个数。
业务安全风控设计101-信息采集 业务风控主要做四件事：1.拿到足够多的数据
2.做足够灵活的分析平台去分析数据
3.产出风险事件进行阻拦风险
4.量化风险拦截的价值和不断分析案例进行策略优化
拿数据这件事几乎是决定风控系统成败的核心，由于篇幅问题我们先主要说这点，主要有三件事要考虑
1 拿到的数据越详细越好拿账号安全这件事来举例子，如果能拿到基础的登陆注册数据，就可以从频率、登陆注册特征来进行分析；
如果可以进一步拿到登陆注册行为的上下文，比如登陆前访问了哪些页面，登陆后去访问了什么，就可以从访问行为轨迹来增加更多的分析维度，例如页面停留时间，是否有访问到必访问的页面等；
如果还可以拿到用户的操作行为数据，比如鼠标移动的轨迹，键盘输入，那么可以进一步的从操作过程来增加分析维度，比如是不是输入密码的时候有过多次输入删除？是不是直接复制粘贴的账号密码？
2建立标准的日志格式确认好能拿到哪些数据以后，就要开始建立标准的日志格式。
常见的登陆、注册、下单、密码修改、绑定凭证修改等等都要给出一个标准的日志格式，而且要充分考虑到字段命名的统一，比如密码、用户名字段的名称如果在不同的日志中叫法不统一，在后续分析和指定策略的时候都会遇到不小的麻烦。
3拿到的数据质量必要的字段是否都能拿到？
往往风控关心的信息比如IP地址、UserAgent、referer这些信息业务都是不关心的，但这些信息的缺失可能造成很多策略没法做，所以在采集信息开始的时候就要有个明确的信息列表，一旦妥协了后面再去返工让研发加是会遭白眼的。
数据信息拿的是否准确？
比较常见的是需要用户的访问IP，结果拿到的IP地址是内网的服务器IP；或者是想要用户名，结果传递过来的是UID。这点需要大量的前期沟通确认工作，一旦上线了以后发现数据不对再改也同样要遭白眼。
拿数据有主动方式和被动方式两种：
1主动方式方式主动方式是自己去数据库、日志里面去读。
这种方式实时性比较差，而且基本有什么拿什么，想加信息是比较难的，但不需要研发配合太多事情，适合喜欢自己动手丰衣足食的场景。
当然有些比较成熟的公司有自己的消息总线，风控可以去实时的订阅信息然后作为数据源进行分析，但这种通常为少数；
2 被动方式方式被动方式就是提供接口给研发，让业务把消息按格式标准喷过来。
这种配合周期非常长，但可以按照标准来拿到高质量的信息，所以是比较常见的风控系统搭建方式。
踩坑记 1号坑：如果拿消息是多数据源的时候，必须要考虑到消息的时间序问题：
比如登陆日志是公共服务发过来的，网页访问是拿的access_log，用户操作行为数据是页面JS或者SDK发过来的，那么这三者的时间是不一致的。
这就必须要在确认所有的消息到位之后再进行分析判断。否则，如果实时策略考虑了登陆的时候必须有页面键盘点击，而两个数据到位的时间不一致，就可能出现大量的误封造成事故。
2号坑：对采集回来的数据必须定期的对数据质量进行监控——
已经采集到的数据可能因为技术架构调整，代码更新等各类奇葩原因造成采集回来的数据不准了，如果无法及时发现可能造成后面一系列分析过程都出现错误。
3号坑：采集点尽量选择稳定的业务点，比如采集登陆日志，一次性在公共服务采集好，后面出现问题只要找一个点。
如果是去前端从WEB、移动端等各个调用登陆服务的点去采集，出了问题要改动的工作就会成倍增加，还有可能出现新业务点的日志无法覆盖的情况。
4号坑：关于技术选型：
消息队列是必须的，用restful只能处理业务日志比如登陆这种1秒最多几次的类型，如果后期要去采集页面访问行为这种一秒上千的消息就必须要用到队列.
开源的可以考虑RabbitMQ或者Kafka,稳定性都还不错。
5号坑：关于日志存储：
ELK是不错的选择，为后续的分析平台提供基本的查询功能。
结语信息采集往往是实施风控的最难的一个环节，但也是最重要的环节，覆盖、质量、时效都决定了项目的成败。
因为出于沟通的压力，往往会有比较多的妥协，也就为后期风控系统的搭建埋下了隐患，其实也很难一篇文章把细节描述详尽。
如果你在这方面遇到了难点，欢迎留言和我们沟通交流，如果对接下来的内容感兴趣，请鼓励一下小编，我们会尽快给出后续的章节。
反爬虫
文章来源：http://bigsec.com/
刘明 岂安科技联合创始人，首席产品技术官
超过6年的风控和产品相关经验，曾就职网易，负责《魔兽世界》中国区账户体系安全。现带领岂安科技互联网业务风控团队为客户提供包括了明星产品Warden和RED.Q的风控服务。
文章版权归作者所有，未经允许请勿转载,若此文章存在违规行为，您可以联系管理员删除。
转载请注明本文地址：https://www.ucloud.cn/yun/38224.html
摘要：所以，把本人踩过的一些坑在这里分享出来，让准备搭建风控的人心里有个数。结语信息采集往往是实施风控的最难的一个环节，但也是最重要的环节，覆盖质量时效都决定了项目的成败。 showImg(/img/bVEcg5?w=900&h=658); 作者前言 从业近10年，大大小小参与了3家公司不同领域的风控系统的设计，从前到后把风控系统所有环节都细细的琢磨过，然而至今仍然感觉刚刚一只脚踏进门而已。...
摘要：所以，把本人踩过的一些坑在这里分享出来，让准备搭建风控的人心里有个数。结语信息采集往往是实施风控的最难的一个环节，但也是最重要的环节，覆盖质量时效都决定了项目的成败。 showImg(https://segmentfault.com/img/bVEcg5?w=900&h=658); 作者前言 从业近10年，大大小小参与了3家公司不同领域的风控系统的设计，从前到后把风控系统所有环节都细细...
摘要：上一章搭建风控系统道路上踩过的坑信息采集我们介绍了第一点，如何去获取足够多的数据，而接下来的事情就是要创建一个机制去灵活的处理这些信息，为自动分析捕捉风险事件提供基础原料，进而借助规则引擎从中分析出风险事件。 上一章《搭建风控系统道路上踩过的坑01--信息采集》我们介绍了第一点，如何去获取足够多的数据，而接下来的事情就是要创建一个机制去灵活的处理这些信息，为自动分析捕捉风险事件提供基础...
阅读 1693·2021-10-18 13:34
阅读 3844·2021-09-08 10:42
阅读 1537·2021-09-02 09:56
阅读 1589·2019-08-30 15:54
阅读 3102·2019-08-29 18:44
阅读 3281·2019-08-26 18:37
阅读 2181·2019-08-26 12:13
阅读 434·2019-08-26 10:20
