网易易盾高洪亮：纵深检测防御体系，企业内容安全问题的解决之道

摘要：网易易盾企业安全高级解决方案工程师高洪亮安全开发者峰会是国内开发者与安全人才的年度盛事，受众包括开发者安全人员及高端技术从业人员。

由中国最早的安全人员交流学习社区看雪学院主办、CSDN协办的安全开发者峰会（SDC），于2019年7月20日在北京国家会议中心举行。

网易易盾企业安全高级解决方案工程师高洪亮
安全开发者峰会（SDC）是国内开发者与安全人才的年度盛事，受众包括开发者、安全人员及高端技术从业人员。作为开发与安全领域内，最具影响力的互联网安全合作交流盛会之一，安全开发者峰会始终致力于建立一个多领域、多维度的高端安全交流平台，推动互联网安全行业的快速成长与广泛合作。

在本届安全开发者峰会（SDC），网易易盾企业安全高级解决方案工程师高洪亮也受邀出席本次会议并进行了演讲。他分享了当下企业安全的各种痛点后，详细地讲述了在UGC内容爆发增长以及国家监管越来越完善和严格的背景下，如何解决企业面临的内容安全问题。

以下是本次演讲的实录：

各位嘉宾下午好，我是网易易盾的解决方案工程师高洪亮，今天和大家分享的主题是《漫谈企业安全的痛点问题》。

首先和大家分享一下我对企业安全的一些认知。企业安全是一个特别大的概念，做好企业安全的最终目标是保障企业正常发展，而企业安全整个体系由不同的模块组成，任何一部分没有做好，都会影响企业的发展，这种影响可能是企业的营收利润，可能是是企业的声誉，甚至可能是企业的存亡。

一、安全漫谈

因为工作岗位的原因，日常工作中有较多的用户交流的工作。经常接触的几个部门，像安全部门、运营部门、审核部门、开发部门等。每个部门关注的点不同，网络安全的事情基本都由安全部门负责，市场营销策略效果保障的事情由运营部门负责，审核部门负责内容质量和内容违规的事情，开发部门会涉及到安全平台的统一开发建设。各个部门的工作重要性，也与公司的业务有直接的关系，但是不管哪个部门的工作出问题，企业都会受到影响。

举个直观的例子，对于一个游戏公司来说，可能会遭受到DDOS攻击影响业务的稳定运行，可能会有数据泄露问题影响企业的声誉，可能会有内容违规的问题，会让整个游戏下架、整改，最常见的还是外挂问题，直接的后果就是用户流失以及收入的损失。

这里我把企业的一些典型的安全问题罗列一下，如下图：

内容安全事件，比如出现各种黄赌毒的信息。在刚过去的6月份，网信办针对语音进行严查，下架了一大批的应用。现在行业内主要的解决方案是将业务相关的文本、图片、 视频、音频对接到机器审核平台，目前主要是第三方的服务商SaaS检测平台，或是企业自建的检测平台，主要用来提高效率和降低审核时间，同时结合人工审核来保障效果，降低漏判和误判率。

在游戏破解方面，大家有兴趣的可以搜一下淘宝店铺，输入关键词游戏破解，会有非常多的店铺和游戏可以选择。游戏破解的除了去掉游戏里面正常的收费，还会增加一些比较{{BANNED}}的功能，比如加倍攻击等等来吸引玩家。有的店铺按照会员制度收费，月付150元，已经超过了很多原版游戏的单用户收入，对于原版游戏来说是非常致命的。

如何解决呢？拿移动端游戏举例，针对破解的问题可以采用加固的方式防止被逆向破解，外挂的问题可以通过游戏反外挂技术对模拟器、多开器、云真机、模拟点击等进行检查，并且结合运营手段，增强对外挂的威慑力。

薅羊毛的威胁，18年末的时候星巴克做的一次新人注册送咖啡券活动。当时的用户验证做的比较简单，填写比较少的信息就可以拿到咖啡券，上线一天半的时间，被羊毛党刷走了差不多400W张券，按照中杯价格估值，大概有1000W人民币左右。 在羊毛党这个圈子中，分分钟几十万可能是件稀疏平常的事。对于羊毛党的防护，以威胁情报库为支撑，比如手机号、IP、邮箱号这些信息的黑名单，再通过收集活动过程中的用户的相关信息进行数据分析和行为分析。在这个黑灰产行业里，利益驱动力非常强大，对抗很激烈。

数据泄露的事情比较有意思的地方在于，大约60％以上的数据泄露都有内鬼的原因。最近刚发生的某招聘网站泄露16W份简历信息，就是内外勾结典型事件。 50元一份简历，被非法卖给商贩后，在淘宝上1-2元一份的价格卖出。所以数据防泄漏，不仅仅是使用一些数据防泄漏的产品就可以解决，还需要完善制度，注意权限划分，加强审计活动，对内部人员进行安全意识培训，增加法制意识。

DDoS攻击也算是最古老但是最有效的一种网络攻击方式了，得益于网络通信和互联网技术的发展，DDoS攻击愈演愈烈。 比如现在的物联网设备，很多都可以用来进行DDos攻 击。 对于用户来说很难解决攻击源，只能被动防护。在国内，现在动辄几十GB的攻击已经非常常见了。通常都是夹杂着流量和CC混合型攻击，本地化部署防护设备很难应对，大多采用云清洗的方式来解决。我们可以看到国内的很多安全厂商，从硬件开始转型到云服务，也是安全服务云化的一个趋势。

以上是我对企业的痛点问题进行简要的分析，因为今天的分享时间有限，所以在本次分享上，还是做一些聚焦，和各位嘉宾分享一下，在这个UGC内容爆发增长，国家监管力度日渐增强的背景下，如何解决企业面临的内容安全问题。

二、内容安全治理现状

先说一下内容安全现状。从三个角度来看，首先是监管角度几个特点:监管部门的覆盖度广、法律法规越来越完善、有针对性的专项整治。

部分法律法规，更多的法律法规可参考：史上最全的内容安全法律法规盘点

这里主要重点谈谈后面的两个特点。当下法规越来越完善，大家可以看下上图，这是我列出的部分规范要求。

这块想强调一下责任主体的问题，这里面主体一个是用户，一个是平台。拿一个场景来举例，一个用户在内容平台发表了色情广告信息。用户这种行为是违法的，内容平台如果发布了这个内容也是违法的。客观来说应该对于两者都进行处罚，但是实际情况来看，对于用户追责成本非常之高，所以在各类的内容违规事件上，我们可以看到的大多是对平台的处理。

并且从2017年6月1日开始，正式实行了网络安全法，监管部门执法更加有依据了。再拿一个场景举例: 一个恶意用户，通过网络攻击的方式篡改网站，发带有色情信息的内容，那运营平台不光是违反了内容发布的要求，同时根据网络安全法，运营方没有落实好信息系统保护的工作，将会依据网络安全法给予一定的处罚。

监管的第三个特点: 有针对性的专项整治，以网信办的检查来说，从2018年12月份，到今年6月份，先后发起的内容治理活动就有四次。

18年12月份进行的是针对APP的专项检测，主要是涉黄涉毒、违规游戏、不良学习等应用进行检查，下架了3万款应用；

19月1月份，对教育类APP进行专项整治，查实了“作业狗”、“口袋老师”等20多款APP 非法传播淫秽色情内容，进行下架处理；

19年1月份-6月份，进行的为期半年的“全网整改行动”；

19年6月份进行了语音专项整治活动；

从上可以看出，国家对于建设绿色网络空间环境决心和力度。

即使是在这么强的监管力度之下，违规内容还是层出不穷的。违规内容的特点:覆盖场景多、数据变种多、对抗性强。

覆盖场景已经到了无孔不入的地步。 新闻内容、用户评论、用户头像、昵称、看网剧弹幕，没有任何一个有内容发布的场景可以躲得过违规内容的骚扰；

在各种场景里，出现的违规数据种类和变种也非常之多。从最初的文本敏感词，到现在的字体拆分、特殊符号混淆、以及图片内嵌入违规内容等多种形式，最近一两年在语音方面又多了一个ASMR的内容类型，会夹杂着很多色情内容。

对抗性强体现在违规内容的发布上有一定的组织性和对抗性，以内容形式的变换和账号的变化来对抗检测或运营策略。这个部分会在后面的纵深防御体积建设的必要性进行详细说明。

在这个背景下，做好内容安全其实是一个比较困难的问题。对管理者来说，最终要看的一般包含两个指标的检测效果，以及对业务的影响度。这里面检测效果一般看正确率、召回率。业务的影响主要是看检测的用时，尽量不要影响用户体验。比如在IM聊天中检测，如果一条文本检测时间超过1s，就属于对用户体验造成严重影响。

那么要实现这些目标，从0到1自建检测系统，存在比较多的难点。首先是成本的投入，最主要的的两种成本:人力成本和设备成本。 人力成本方面，当下的互联网招人成本还是很高的，光是一个成熟的算法专家，年薪一般要50W上下。而且整个体系需要的不仅是算法人员，还有相关的运营和审核人员。光是是在人力方面投入，就会达到数百万的级别。 在设备方面，现在图像处理所需要用到的GPU节点是比较大的开销。比如一块英伟达的P40显卡，是在16年上市的，现在要5W左右一个，一个P40能够做的图片检测，并发在30QPS左右。此外还需要有GPU节点来做模型训练，也是比较高的开销。

除了考虑成本，还有数据积累和审核经验的壁垒。拿图片训练来说，一个检测模型，需要的样本数据需要在几万甚至大几十万。没有一定的时间和渠道是做不到这种样本数据积累的。

另外审核人员的经验和审核流程及制度，也是效果的重要保障，人员的审核经验，决定了主观上的审核效果和审核效率，完善的流程和制度是对效果客观上的保障。人员的经验要靠不断的学习和培训，流程和制度需要时间去制定和完善，这都需要有一个过程。

三、内容安全体系建设艰难性

接下来这部分我来介绍下建设检测团队和技术体系。首先是团队的建设，这里我拿易盾的团队来举例——整个大的团队细分成几个小的团队，算法团队、系统开发团队、运营团队、人工审核团队：

核心技术由算法团队来实现，团队内又细分为不同的小组，比如做文本机器学习的小组，图片机器学习的小组;

系统开发团队负责业务平台的搭建;

运营团队负责直接和业务部门对接，明确检测标准需求，并实时的调整一些检测策略来进行效果调优;

审核团队人员最多，目前也是以轮班轮岗的工作模型完成全天候的审核工作。

接下来是检测标准的制定。制定检测标准，要考虑两个原则，一个是全面性原则，一个是可落地性原则。从全面性来讲，需要考虑是两个主体，一个是国家，一个是运营平台。 对于国家来说，色情、暴恐、违禁品这些都属于违禁内容，会有相关的法律及法规条禁止出现的，这些标准基本上是所有内容平台要做到的检测。对于运营平台来说，比如针对谩骂、灌水、竞品广告信息这些内容，是不希望出现的。

这里强调一个实时性，从要求提出到标准的落实，需要尽快完成，以减少检测的真空期。

从可落地性来看，需要做到数据可收集和模型可训练这两点。数据可收集是对于人来说，标准可以是描述性的，但是数据收集和打标签必须是细化的。比如上图中列出的标准，是描述了性行为的范畴和概念，落实到数据打标签就需要更为细节，比如对漏臀图片需要进一步说明，根据拍摄的角度是否有漏点，以及是否是儿童照片等因素，分到不同类别的说明。最终会被标记为色情、低俗、性感或是正常的照片。

制定标准之后，依据场景检测需要应用不同的标准。 性感图片在新闻内容中发布没有什么问题，但是在儿童教育IM中出现就不太正常了。

然后我们再来看系统平台的开发建设，最重要的三个平台如下:

检测平台（服务的核心），预置了已经训练好的各类模型。

人工审核平台（效果及能力补充，提高效率），里面的功能包括数据的抽检、审核快捷操作等功能。

模型训练平台（效果保障），主要由GPU集群组成，

三个平台，再加上业务系统的关系：业务系统与检测系统对接，对于文本和 图片类的检测结果可以实时反馈。 需要人工审核部分的数据，由检测平台和审核平台对接，最终由审核平台将结果返回给业务系统。机器训练平台，主要是基于各个渠道的badcase，进行模型训练调优，最终输入训练结果供检测平台使用。这样这几个平台形成一个闭环，达到业务可快速接入，效果可持续调优的目标。

以上的三个部分，团队、标准、平台，形成了比较完善的检测系统。可以应对常规的内容检测需求。

但接下来我要讲的是，内容治理不光是对内容进行处理，还需要有一个纵深的检测防御体系。

这是因为有个客观事实——大多数的违规内容是非正常用户发布的，内容治理是企业和黑灰产的直接较量，只做内容检测手段过于单一，或落入疲于应对的局面。

四、纵深防御体系在内容安全治理上的必要性

为什么说内容治理是企业和黑灰产的直接较量，我们先来看一个黑灰产的业务流程:从角色上看，有发单人，有业务分包，有内容平台。

发单人有几种，比如各种黄赌毒的网站，为了吸引流量需要发布网站相关信息，也会有人处于恶意竞争的目的在同行业平台发布违规内容。发单人会找到业务分包的角色来实现违规内容发布，这个业务分包就会涉及到非常多的角色，有专门写自动化工具的人员，有倒卖账号的人员，有执行内容发布的平台比如各种群控平台，最终发单人实现在各大平台灌水式发布。

现在的黑灰产是非常成熟的，各个环节分工不同，有专门的手机卡商、账号商人、打码平台，各种云控平台等等。

大家知道现在的手机卡都是实名制的，所以手机卡商是如何实现大批量申请卡的，有一种操作方式——注册公司，就可以用公司的名义来申请到大批量的物联网卡。这些物联网卡没有语音功能，但是可以接发短信，就可以用来注册和登陆账号。 所以当你回拨一个注册号码的手机号，语音提示:你所拨打的号码未开通语音功能的时候，大概率就是一张物联网卡 了。

这里面的利益驱动力非常之强，举个例子，一个新号价值几元，但是通过不定期发表正常内容等手段，所谓的养号，最终可以价值几十元甚至百元。

在各大内容平台进行发布，现在的对抗尤其的激烈，拿微博举例，大家可以观察到，以往的色情账号会直接在各个热点事件下发表色情言论，比如色情网站，或者加联系方式。这种比较容易被检测和封号，现在已经转变为账号头像会换成比较性感，但不属于色情的图片，发表的内容多是正常的评论，但是个人头像里都是色情引流的信息，以此来增强对抗性。

在这种强对抗的背景下，仅做内容检测手段过于单一，纵深防护是内容治理的关键。不仅仅在于发表内容的检测，还需要从源头进行整治。 需要建立一个纵深的的防御体系，从账号注册、到账号登陆，再到用户行为，最终再到发表内容，进行全方位的检测，才能达到更好的效果。也就是从内容检测延伸到用户行为检测，具有用户画像的能力，才能更好的对抗黑灰产的攻击。

上面是黑灰产会涉及到的环节，以及在各个环节我们要解决的问题和对应技术。 在注册阶段，会有批量注册、虚假注册的问题，可以考虑用验证码、号码认证、实人认证来解决。在登陆阶段，会有批量登陆，暴力破解的问题，可以用验证码和反作弊的技术手段。然后对发布行为和发布内容进行检测，比如对同一个账号在短时间内发表大量相似内容的行为进行处理。

这里提到的技术手段，拿验证码和反作弊简单说明一下。先说下验证码，主要用来做人机识别，目的是提高攻击者的攻击成本。早期的验证码比如字符型的验证码是非常容易被破解，使用OCR的识别技术，就能很轻松就把图片中的字符识别出来。目前大多采用的验证码，还是智能型验证码，是对用户的一些行为信息和设备信息进行分析来判断的。现在比较主流比如拼图滑动式的验证码，文字点选的验证码，增强了对抗能力。

反作弊这里会用到的技术，比如IP画像，会检测用户的IP地理位置，是不是代理IP等等；对设备环境的检测，会检测设备是不是模拟器，是否有root或者越狱；对用户行为的分析，根据各个维度之间的信息，通过规则设定正常的行为基线，一般多用于注册、登陆、和关键业务操作的事件入口，比如发帖操作。

以上是关于检测体系和纵深防护体系以及对应的技术手段，也是我今天分享的主要内容。最后介绍下我们的部门和安全能力：网易易盾是国内领先的内容安全&业务安全服务商，依靠网易20多年丰富的安全经验以及云计算、人工智能方面的积累，面向数字化业务提供内容安全、业务安全、移动安全和网络安全服务，保障客户业务合规、稳健和安全运营，使客户可以免受黑灰产组织非法侵害，专注创新发展。

继传统网络安全之后，和特定场景高度融合的业务安全，正逐步成为数字企业发展的重要生命线。基于网易丰富的安全经验，采用人工智能和大数据技术，易盾智能业务风控引擎全面整合反不良信息、验证码&反作弊、应用加固、反游戏外挂、高防抗D等安全模块，全面驱动业务安全，为越来越多的企业系统高效地降低内容及业务风险。

网易易盾服务的客户
目前，易盾已拥有20多万注册开发者、数千家付费客户，其中不乏知乎、OPPO、ViVO、携程、一直播、小咖秀、挖财、唯品会、滴滴、英雄互娱等知名企业。未来，易盾还将不断提升技术、产品和服务体验，为广大客户带来更佳的综合效益。

安全路上任重道远，期望和各方携手前行，谢谢。