资讯专栏INFORMATION COLUMN

用户行为分析能力的构建实战

IT那活儿 / 3046人阅读
用户行为分析能力的构建实战

点击上方“IT那活儿”公众号,关注后了解更多内容,不管IT什么活儿,干就完了!!! 

近年来,随着国家大数据发展战略加快实施大数据技术创新与应用日趋活跃,网络安全问题迫在眉睫。

同时基于“要全面加强网络安全检查,摸清家底,认清风险,找出漏洞,通报结果,督促整改”的要求,急需加快对相关业务系统登录和访问用户信息及操作敏感数据日志进行行为分析预警。

由此,客户对现场运维团队提出要求具备接入业务系统的各类用户行为日志进行分析的能力。

具体包括以下方面:

  • 集中采集安全软硬件设备(WAF、IPS、IDS、DDOS、DLP、基线、弱口令、防火墙、交换机、主机、数据库、及中间件)等日志,对采集到的数据实施清洗和过滤、标准化、关联补齐、添加标签等处理。

  • 按照管控要求,对各类日志进行相应的审计。

  • 对用户行为进行各类分析,包括行为分析、网络攻击分析、系统安全分析、应用攻击分析。

 



实现思路分析



根据上述的能力建设要求,我们分析所需要建设的平台要具备的能力可以归纳为:

  • 日志采集

  • 日志存储

  • 日志检索

  • 日志分析

这里可以看到能力围绕的目标都是日志,完全可以看做是一个日志管理平台。但是,目前基于ELK架构的开源日志管理解决方案,是在基于日志采集入库之后再进行分析,存在较大的时延性,对于客户所提出的要对潜在攻击或异常用户行为的即时预警能力方面力所不逮。

因此我们考虑在传统日志管理平台建设的基础上,加入实时计算的能力,以此来实现对异常事件的快速感知和告警输出。另外,针对行为分析所需的场景,我们也增加了一些对应的数据处理和逻辑判断能力。

平台主要建设了以下几个方面的能力

1. 实现多类型数据的集成融合

由于平台本身并不是安全设备平台,同时企业内部已经部署了各类安全设备,并可以支持吐出各类日志信息。因此,平台要能直接对接其他平台的日志输出。但是对于其他平台不具备的原始日志数据分析能力,我们也需要平台自身也要有采集各类数据的能力。

根据调研各类安全设备、主机、中间件、业务应用的日志存储和接口情况,确定本平台需要具备的对接能力包括:

  • 日志文件的采集

  • syslog采集;

  • 接口调用采集;

  • jdbc采集

  • kafka管道采集这几类。

其中比较特殊的是文件采集和jdbc采集。有个安全平台的日志会将多类不同的日志吐到同一个syslog中,不利于后续做分析,因此我们考虑在接收该日志时根据每条日志中标识的类型进行分解,分类存放到多个文件中去,用python可以很容易实现。

另一个难点是有些业务系统对于用户的行为存放在日志表中,是使用一个字段存放了一个json字符串,包含多个关键信息,因此需要对采集到的字段做二次分词解析,来实现对关键信息的提取。这个功能我们考虑在日志分词的功能上进行扩展实现。

综合以上分析,除了开源架构所具备的日志采集能力外,需要扩展的功能如下:

  • 通过jdbc采集接入数据库表数据后的二次分词

    各业务系统存储到数据表中的用户行为日志数据,存在存储格式不一致的现象,且改造难度较大,无法适用统一日志存储的规范要求,部分日志存在单个字段中处存放json串格式存储多个关键数据的情况。

    因此需要在实现jdbc方式对这类用户行为数据进行采集后,使用二次分词的方式对单个字段进行进一步分词处理,分解出关键信息用于审计、检索、分析等需求。

  • 采集第三方系统吐出到kafka-topic的数据

    支持对接第三方系统吐出到kafka-topic的数据,并实现对原始数据的数据过滤、数据加工、关键字分词提取、指标化数据分析及告警的处理流程,并将原始数据按需要进行分类存储,支持审计、检索等前端访问的需求。

  • 实现多路实时数据的关联并输出

    实现对各类网络设备流量日志数据、主机操作日志、业务系统登录日志、操作日志数据等不同数据源类型的日志数据的关联。通过建立关键字段逻辑关联,达到获取单个用户全行为操作数据汇聚的目的。

  • 实现实时数据与维表数据的关联并输出新数据

    实现根据对各类日志数据中的关键字提取,与一些数据库维表数据建立实时关联检索,获取数据库维表数据的关键信息附加到日志数据的需求。该功能需要满足海量数据条件下的关键维表数据附加加工操作的性能要求,避免出现大幅度的数据处理延时或积压。

2. 统一的用户行为数据生命周期管理和访问

根据需要将原始日志在线保存1年,离线保存2年。由于日志量大,传统的原始日志全部存放到ES库的方案存在检索效率低,资源占用大的风险,因此我们考虑以ES+HBASE的复合存储架构来对原始日志数据进行保存。

原始日志的检索和审计功能在ELK的开源方案里是具备的,但因为我们的存储架构发生了变化,所以会需要针对该存储架构进行适配建设。

针对存储架构的配合改造主要包括以下方面:

  • 数据采集过程改造

    通过客户端采集到的日志文件、syslog日志、第三方接口数据、Kafka等消息管道数据,得到的用户行为原始数据,为每条原始数据创建唯一索引编码,通过唯一索引编码可映射对原始数据的检索。

  • 构建索引数据改造

    不同的数据类型,在实时计算模块中将审计字段、业务检索字段、唯一索引编码提取,生成索引数据,使用该数据作为数据审计或检索的关键信息。

  • 索引数据存储及适配改造

    索引数据存储到ES库,按日建索引,构建并支撑存储1年。超过1年以上的数据,按月导出备份文件,存储2年。

  • 原始数据存储及检索适配改造

    原始数据分词处理后的半格式化数据在ES库中保留14天(可根据业务需要及存储资源自定义),用于实时查看、近期问题分析、上下文检索等分析需求。

  • 审计及检索配合改造

    以唯一索引编码为key,半格式化数据为value,将数据存储到HBASE库中保存1年,支持通过唯一索引编码进行快速查找。

3. 实时数据处理及分析计算过程可配置化和可视化

我们将数据的处理和计算需求归纳为格式化、聚合计算、以及规则计算。要在平台中提供可视化的处理配置能力,通过数据处理流程的配置实现数据的自动处理执行。并在后台提供计算组件的方式提供不同的计算能力。数据处理中提供对过程数据的可观测性,对各组件运行状态、数据流量等关键信息进行展现。

图片来源于网络

根据上述要求,我们考虑在开源架构基础上,增加实时计算框架,实现以下类型的数据加工处理规则或逻辑判断规则:

  • 数据处理类

    日志类数据分词

    结构化数据的二次加工、属性项新增、数值转换等

    非结构化数据提取生成结构化数据

  • 指标计算类

    简单指标计算(最值计算、均值计算、分类统计等)

    复合指标计算(对已生成指标或告警的二次统计计算)

    关联指标计算(实现对两个或两个以上指标做关联生成新的指标)

    加工指标计算(对指标的二次加工,如数值转换,key值转换,key值新增等)

  • 判断规则类

    阈值规则(固定阈值比对判断)

    同比环比规则(与历史同期数据或时序前列数据的比对判断)

    动态基线比对规则(以历史数据根据配置规则生成动态基线)

    指标未生成规则(有基线数据,无实时数据时产生)

    规则清单包括以下统计计算规则和逻辑判断规则

4. 用户行为分析指标数据与资产关联

针对主机、网络设备、安全设备等日志分析得到的的各类关键指标或告警数据,由于目前只包含IP等物理关键信息,而管理侧需要进一步到CMDB等管理系统中去查找该IP的归属业务系统或归属管理责任人。

这一动作在实际工作中非常影响对安全攻击事件的处置效率。

因此需要以实时计算能力支撑对数据的格式化,并建立和CMDB资产的关联。这样可以大大提升各类数据之间的关联能力,为数据分析应用打下良好基础。自动能根据管理需要关联得到对应的归属系统(归属责任人)信息并随指标或告警一起输出,减轻管理人员的二次核查信息工作量,提升事件处置效率。

5. 建立用户日常行为基线及异常预警

针对用户行为的分析,不只是基于简单的阈值判断,不同的用户有不同的操作习惯或行为需求,因此还需要根据实际用户的行为习惯建立操作基线,并以动态基线的形式来实现对异常的捕获和预警能力。

  • 应用动态基线实现更精准的异常检测优化

    根据不同时间段正常值建立动态基线,然后根据被测时刻历史数据的统计值与动态基线值的偏离程度建立动态临界线,当某一时间段的值超过了临界线,判定此时段为值异常时段。

    实际进行动态基线异常监测时,对于一些行为操作数据量正常,但会高于固定临界值而被误判为异常的场景,使用以动态基线为基础的动态临界机制,即时所造成的正常值增加仍然会低于动态的临界值。而只有与流量基线明显偏离的时段才会被视为异常值。

  • 面向单个用户建立日常行为操作范围基准

    通过对各类日志的关键信息提取,实现对单个用户登录到内网后的所有操作行为的汇聚及分析,包括用户的VPN登录日志、4A登录日志、网络设备的流量日志、主机登录日志、主机操作日志、数据库登录日志、数据库操作日志、中间件登录日志、中间件操作日志、业务系统登录日志、业务系统操作日志等,将这些日志数据分别提取用户关键信息、目标关键信息、场景关键信息,并以单个用户为分析目标,建立其日常行为基准,对存在超出基准行为之外的异常动作进行预警和干预。

6. 前台的灵活配置数据展现能力

平台在构建用户行为分析场景时要支持以零代码方式实现的。基于现场运维人员大多具备SQL能力这个现状,我们将分析场景的构建能力定位为只要懂sql就能构建场景这个目标。

分析结果数据展现场景只需要配置sql脚本或参数配置,平台要支持对各类可视化组件的拖拉拽方式布局,并以拓扑图、报表页面、分析页面形式展现,通过零代码开发生成场景功能页面及实现各界面组件间的联动、跳转、下钻等功能。



常见安全设备平台



用户行为分析的对象是各类设备的日志数据。

除了对于运维人员来说习以为常的主机、数据库、中间件、网络设备等日志外,在企业的IT环境中有大量用于各种用途的安全设备,对于平时接触较少的同学来说可能名字都比较陌生。这些安全设备主要以安全类攻击和防护能力为主,但是对于用户行为的分析能力偏弱,特别是对于某些场景涉及多类日志的综合分析的情况,单一设备平台往往难以具备相关能力,必须通过将这些设备的数据统一收集并进行关联分析后得出更有价值的分析结果。

我们在最开始也一头雾水,经过多次和安全相关部门的客户或厂商接触沟通后,才有了一些了解,由于需要对这些安全设备平台进行日志采集,必须要对其有所了解,在此将网上收集到的一些信息整理供大家参考:

1. 动态应用防护系统

动态安全以动态防护技术为核心,可对企业内、外网的应用提供主动防护,不仅可以防护传统攻击行为,还可以有效防御传统防护手段乏力的自动化攻击。

对企业内、外网的应用提供主动防护,不仅可以防护传统攻击行为,还可以有效防御传统防护手段乏力的自动化攻击。

通过动态封装、动态验证、动态混淆、动态令牌等创新技术实现了从用户端到服务器端的全方位“主动防护”,为各类 Web、HTML5提供强大的安全保护。让攻击者无从下手,从而大幅提升攻击的难度。

主要功能:

  • 网站漏洞隐藏

    使漏洞扫描攻击无法获取漏洞信息,使漏洞利用工具无法执行,在网站未打补丁和补丁空窗期提供有效安全保护;

  • 网站代码隐藏

    对网站底层的代码进行封装,使攻击者无法分析网站应用的源代码;

  • 传统应用安全威胁防护

    有效防止SQL注入、越权访问、跨站攻击、网页后门等攻击行为;

  • 自动化攻击防护

    有效防护攻击者利用自动化攻击脚本或工具对应用发起的攻击行为;

  • 模拟合法操作攻击防护

    可有效应对攻击者利用工具、合法身份,模拟正常人工访问的攻击行为;

  • 数据防泄露

    防止恶意人员使用工具或脚本程序通过前台应用批量获取数据的攻击行为。

2. DLP(数据安全防泄密系统)

数据泄漏防护是通过一定的技术或管理手段,防止企业组织的指 定数据或信息资产以违反安全策略规定的形式被有意或意外流出。数据防泄露产品(Data Leak Protection或Data leakage prevention)

1)数据防泄露系统-管理平台

是基于Web界面的综合管理平台,可配置基于用户角色的访问控制和系统管理选项。用户通过管理平台可依据内置策略模板,统一制定数据防泄露策略,并集中下发到各安全模块,从而对客户敏感数据进行全方位的保护。管理平台可视化地呈现敏感数据分布状况和安全态势,可生成泄露事件日志和报表,帮助用户进行审核、审计和补救操作。

2)数据防泄露系统-终端保护

终端保护客户端扫描并发现电脑上的敏感信息分布和不当存储,监控对敏感信息的使用并进行实时保护(如复制敏感信息到U盘等可移动存储上,通过QQ、微信、个人邮箱外发敏感信息等,或者将其发至网盘、BBS等公共互联网),排除数据从终端泄露的风险。

3)数据防泄露系统-邮件保护

邮件保护监控和扫描员工外发的电子邮件,包括信封、主题、正文和附件,对发现含有敏感信息的邮件进行隔离保护,交由相关人员审批,并根据审批结果对邮件进行放行或者阻止,实现对通过企业邮箱泄露敏感信息的精确控制。

4)数据防泄露系统-网络监控

网络监控通过镜像旁路方式监控捕获来自多种网络通道的外发数据,在确保不对网络环境造成任何影响的情况下,发现并记录经由网络外发的敏感数据泄露事件,帮助客户分析事件发生原因,追踪到相应责任人,采取补救措施以消除影响,挽回损失并避免安全事故的再次发生。

5)数据防泄露系统-网络保护

网络保护帮助用户监控、阻止和保护敏感数据通过Web通道外泄。网络保护同时支持HTTP、HTTPS和SMTP协议,对网络数据流量实时进行内容恢复和扫描,从而实现对通过Web方式泄露的敏感信息进行监控和阻断并上传日志通知用户。

6)数据防泄露系统-数据发现

数据发现亦叫网络数据发现,通过扫描网络上的FTP服务器、文件服务器和邮件服务器中的数据,使用户掌握敏感信息在网络存储设备上分布和不当存储,发现敏感信息泄露的潜在风险。

7)数据防泄露系统-应用系统保护

应用系统保护帮助用户监控、阻止和保护通过web应用系统下载或上传敏感信息。应用系统保护支持HTTP和HTTPS协议,对访问web应用系统的流量实时进行内容恢复和扫描,从而实现对上传到web应用系统和从web应用系统下载的敏感信息进行监控和阻断并上传日志通知用户。

3. WAF(WEB应用防护系统)

Web应用防护系统(也称为:网站应用级入侵防御系统。英文:Web Application Firewall,简称:WAF)。利用国际上公认的一种说法: 

Web应用防火墙是通过执行一系列针对HTTP/HTTPS的安全策略来专门为Web应用提供保护的一款产品。

企业等用户一般采用防火墙作为安全保障体系的第一道防线。但是在现实中,Web服务器和应用存在各种各样的安全问题,并随着黑客技术的进步也变得更加难以预防,因为这些问题是普通防火墙难以检测和阻断的,由此产生了WAF(Web应用防护系统)。

Web应用防护系统(Web Application Firewall, 简称:WAF)代表了一类新兴的信息安全技术,用以解决诸如防火墙一类传统设备束手无策的Web应用安全问题。与传统防火墙不同,WAF工作在应用层,因此对Web应用防护具有先天的技术优势。基于对Web应用业务和逻辑的深刻理解,WAF对来自Web应用程序客户端的各类请求进行内容检测和验证,确保其安全性与合法性,对非法的请求予以实时阻断,从而对各类网站站点进行有效防护。

4. DDOS防御系统

防御DDOS是一个系统工程,DDOS攻击是分布、协奏更为广泛的大规模攻击阵势,当然其破坏能力也是前所不及的。这也使得DDOS的防范工作变得更加困难。

想仅仅依靠某种系统或高防防流量攻击服务器防住DDOS是不现实的,可以肯定的是,完全杜绝DDOS是不可能的,但通过适当的措施抵御99.9%的DDOS攻击是可以做到的,基于攻击和防御都有成本开销的缘故,若通过适当的办法增强了抵御DDOS的能力,也就意味着加大了攻击者的攻击成本,那么绝大多数攻击者将无法继续下去而放弃,也就相当于成功的抵御了DDOS攻击。

近年来随着网络的不断普及,流量攻击在互联网上的大肆泛滥,DDOS攻击的危害性不断升级,面对各种潜在不可预知的攻击,越来越多的企业显的不知所措和力不从心。单一的高防防流量攻击服务器就像一个大功率的防火墙一样能解决的问题是有限的,而集群式的高防防流量攻击技术,也不是一般企业所能掌握和使用的。

怎么样可以确保在遭受DDOS攻击的条件下,服务器系统能够正常运行呢或是减轻DDOS攻击的危害性?


对于企业来讲,这个系统工程往往要投入大量的网络设备、购买大的网络带宽,而且还需要把网站做相应的修改,还要配备相关人员去维护,这个工程完成后,能不能够抵挡住外部攻击可能还是未知数。

防御DDOS攻击应综合考虑到基于BGP的流量清洗技术的多层面、多角度、多结构的多元立体系安全防护体系的构建和从主动防御、安全应急、安全管理、物理安全、数据容灾几大体系入手,从而整合高防服务器”高防智能DNS”“高防服务器集群”“集群式防火墙架构”“网络监控系统”“高防智能路由体系”,从而实现智能的、完善的、快速响应机制的“一线式”安全防护架构。

1)攻击方法

  • SYN/ACK Flood攻击

    这种攻击方法是经典最有效的DDOS方法,可通杀各种系统的网络服务,主要是通过向受害主机发送大量伪造源IP和源端口的SYN或ACK 包,导致主机的缓存资源被耗尽或忙于发送回应包而造成拒绝服务,由于源都是伪造的故追踪起来比较困难,缺点是实施起来有一定难度,需要高带宽的僵尸主机支持。

    少量的这种攻击会导致主机服务器无法访问,但却可以Ping的通,在服务器上用Netstat -na命令会观察到存在大量的SYN_RECEIVED状态。

    大量的这种攻击会导致Ping失败、TCP/IP栈失效,并会出现系统凝固现象,即不响应键盘和鼠标。普通防火墙大多无法抵御此种攻击。

  • TCP全连接攻击

    这种攻击是为了绕过常规防火墙的检查而设计的。

    一般情况下,常规防火墙大多具备过滤TearDrop、Land等DOS攻击的能力,但对于正常的TCP连接是放过的,殊不知很多网络服务程序(如:IIS、Apache等Web服务器)能接受的TCP连接数是有限的,一旦有大量的TCP连接,即便是正常的,也会导致网站访问非常缓慢甚至无法访问,TCP全连接攻击就是通过许多僵尸主机不断地与受害服务器建立大量的TCP连接,直到服务器的内存等资源被耗尽而被拖跨,从而造成拒绝服务。

    这种攻击的特点是可绕过一般防火墙的防护而达到攻击目的,缺点是需要找很多僵尸主机,并且由于僵尸主机的IP是暴露的,因此容易被追踪。

  • 刷Script脚本攻击

    这种攻击主要是针对存在ASP、JSP、PHP、CGI等脚本程序,并调用MSSQLServer、 MySQLServer、Oracle等数据库的网站系统而设计的,特征是和服务器建立正常的TCP连接,并不断的向脚本程序提交查询、列表等大量耗费数据库资源的调用,典型的以小博大的攻击方法。

    一般来说,提交一个GET或POST指令对客户端的耗费和带宽的占用是几乎可以忽略的,而服务器为处理此请求却可能要从上万条记录中去查出某个记录,这种处理过程对资源的耗费是很大的,常见的数据库服务器很少能支持数百个查询指令同时执行,而这对于客户端来说却是轻而易举的。

    因此攻击者只需通过Proxy代理向主机服务器大量递交查询指令,只需数分钟就会把服务器资源消耗掉而导致拒绝服务。常见的现象就是网站慢 如蜗牛、ASP程序失效、PHP连接数据库失败、数据库主程序占用CPU偏高。

    这种攻击的特点是可以完全绕过普通的防火墙防护,轻松找一些Proxy代理 就可实施攻击,缺点是对付只有静态页面的网站效果会大打折扣,并且有些Proxy会暴露攻击者的IP地址。

2)防御方案

  • 异常流量的清洗过滤

    通过DDOS硬件防火墙对异常流量的清洗过滤,通过数据包的规则过滤、数据流指纹检测过滤、及数据包内容定制过滤等顶尖技术能准确判断外来访问流量是否正常,进一步将异常流量禁止过滤。单台负载每秒可防御800-927万个syn攻击包。

  • 分布式集群防御

    这是网络安全界防御大规模DDOS攻击的最有效办法。

    分布式集群防御的特点是在每个节点服务器配置多个IP地址,并且每个节点能承受不低于10G的DDOS攻击,如一个节点受攻击无法提供服务,系统将会根据优先级设置自动切换另一个节点,并将攻击者的数据包全部返回发送点,使攻击源成为瘫痪状态,从更为深度的安全防护角度去影响企业的安全执行决策。

  • 高防智能DNS解析

    高智能DNS解析系统与DDOS防御系统的完美结合,为企业提供对抗新兴安全威胁的超级检测功能

    它颠覆了传统一个域名对应一个镜像的做法,智能根据用户的上网路线将DNS解析请求解析到用户所属网络的服务器。同时智能DNS解析系统还有宕机检测功能,随时可将瘫痪的服务器IP智能更换成正常服务器IP,为企业的网络保持一个永不宕机的服务状态。




场景建设实例



在建设了上述的的功能后,我们需要围绕客户提出的场景需求来通过日志采集、数据加工、数据统计、规则判断等实施工作来完成对用户行为的分析及异常预警。

下面我们梳理了几个对主机日志进行分析,并基于平台能力实现的用户行为分析场景作为平台能力的应用示例。

1. 账号登录异常

  • 登录时间异常

    某重要资产或业务系统发现在夜间或非工作时间存在账号短时间登录行为,登录结果为成功,并且该行为持续时间较长;

  • 登录地点异常

    某重要资产或业务系统发现大量非合法区域的IP登录行为,登录结果为成功;

    在防火墙上这些IP的访问动作为允许,并且来自不同区域;

  • 登录账号异常

    某重要资产或业务1天内有多个账号登录(正常业务除外)并且登录结果是失败;

    检查新登录的账号是否在黑名单中,如果在名单中则触发黑名单告警;

    非正常工作时间登陆、操作。

1)需求分析

  • 由于在其他场景中有针对业务系统的,所以与客户沟通,该场景的需求主要面向主机设备。

  • 短时间的登录成功次数限定,暂定为10分钟内5次,后续建立动态基线后,以基线数据为准。即当某个账号在10分钟内登录成功大于5次即产生告警。

  • 合法登录时间为每天的08:00-20:00,由于工作外时间登录较为常见,所以该限定条件只做记录,不做告警输出。

  • 一天内多个账号登录失败的条件限定为20个,即一天内超过20个用户登录失败即产生告警。

  • 非合法区域的登录成功,判定条件限定为1个,即存在来源于非合法区域的登录成功,即需产生告警。

  • 关联账户黑名单列表,当出现黑名单账户登录时即告警。

2)依赖原始日志

  • 主机登录日志(需要分词字段:登录用户、登录时间、来源IP、目标IP、操作结果)

3)依赖维度数据

  • 合法访问区域IP清单

  • 账号黑名单

4)输出分析指标

  • 单账号登录次数统计(简单指标计算)

    分组字段:账号名、目标IP

    过滤条件:登录结果字段为“成功”

    统计周期:10分钟

    计算规则:统计数量

    告警条件:值大于5

  • 非合法时间段登录记录清单(简单指标计算)

    分组字段:账号名、目标IP

    过滤条件:登录时间字段在08:00-20:00范围外

    统计周期:30分钟

    计算规则:获取字段值(登录时间字段)

    告警条件:无

  • 登录失败记录清单(简单指标计算)

    分组字段:账号名、目标IP

    过滤条件:登录结果字段为“失败”

    统计周期:30分钟

    计算规则:获取字段值(登录时间字段)

    告警条件:无

  • 登录失败账号数统计(批量计算:登录失败记录清单数据表SQL去重统计)

    分组字段:账号名、目标IP

    过滤条件:无

    统计周期:当天

    执行周期:30分钟

    告警条件:大于20

  • 非合法区域登录(简单指标计算,指标加工计算)

    分组字段:账号名、目标IP

    过滤条件:登录结果字段为“成功”

    统计周期:10分钟

    计算规则:获取源IP字段

    指标加工:关联合法区域IP清单,增加“合法”标记

    告警条件:指标加工后无“合法”标记

  • 黑名单账号登录(简单指标计算,指标加工计算)

    分组字段:账号名、目标IP

    过滤条件:无

    统计周期:10分钟

    计算规则:获取字段值(登录时间字段)

    指标加工:关联黑名单账户清单,增加“黑名单”标记

    告警条件:指标加工后有“黑名单”标记

2. 账户提权

发现普通账户的权限被升级为管理员权限。

1)需求分析

  • 在主机上执行“sodu”相关操作命令;

  • 对于写到shell脚本中的sodu命令实现的提权操作,将通过对主机上所有shell脚本的扫描来发现,不在此场景中实现。

2)依赖原始日志

  • 主机操作日志。(需要分词字段:操作用户、操作时间、来源IP、目标IP、命令执行路径、执行命令)

3)依赖维度数据

4)输出分析指标

  • 账号提权操作记录(简单指标计算)

    分组字段:操作用户、来源IP、目标IP、命令执行路径、执行命令

    过滤条件:执行命令中包含“sudo”相关命令

    统计周期:30分钟

    计算规则:获取操作时间

    告警条件:无条件,该类记录均需告警

3. 异常账号登录

  • 沉默账号登录成功

  • 离职员工账号登录成功

1)需求分析

  • 由于在其他场景中有针对业务系统的,所以与客户沟通,该场景的需求主要面向主机设备。

  • 维护一个账号最新登录时间记录表作为维表,每日根据“单账号登录次数统计”指标数据做去重后更新。

  • 维护一个离职员工账号表作为维表(手工维护或从相关系统同步)

  • 将登录成功账号与账号最新登录时间记录维表关联,关联条件为查询2个月内有登录记录的账号,如不能关联到数据,则产生沉默账号登录告警。

  • 将登录成功账号与离职员工账号维表关联,当关联到离职员工账号时产生离职员工账号登录告警。

2)依赖原始日志

  • 主机登录日志。(需要分词字段:登录用户、登录时间、来源IP、目标IP、操作结果)

3)依赖维度数据

  • 账号最新登录时间记录维表

  • 离职员工账号维表

4)输出分析指标

  • 沉默账号登录记录(简单指标计算,指标加工计算)

    分组字段:登录用户、来源IP、目标IP

    过滤条件:登录操作结果为“成功”

    统计周期:30分钟

    计算规则:获取登录时间

    指标加工:关联账号最新登录时间记录维表,获取两个月内有登录记录的账号,添加“非沉默账号”标识

    告警条件:对无“非沉默账号”标识的记录告警

  • 离职员工账号登录记录(简单指标计算,指标加工计算)

    分组字段:登录用户、来源IP、目标IP

    过滤条件:登录操作结果为“成功”

    统计周期:30分钟

    计算规则:获取登录时间

    指标加工:关联离职员工账号维表,添加“离职账号”标识

    告警条件:对有“离职账号”标识的记录告警



END



本文作者:李秋霖

本文来源:IT那活儿(上海新炬王翦团队)

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/129466.html

相关文章

  • 0编码构建AI模型

    摘要:编码构建模型近年来人工智能在语音识别自然语言处理计算机视觉等诸多领域取得了巨大成功,但人工智能要规模化商用仍然存在一些问题和挑战。 0编码构建AI模型 近年来人工智能在语音识别、自然语言处理、计算机视觉等诸多领域取得了巨大成功,但人工智能要规模化商用仍然存在一些问题和挑战。例如面包店要自动识别面包种类及数量实现无人结算,如调用通用图像识别服务,虽然易用,但识别准确率低,无法准确区分面包...

    MycLambert 评论0 收藏0
  • 进阶Java架构师必看15本书

    摘要:阿里巴巴的共享服务理念以及企业级互联网架构建设的思路,给这些企业带来了不少新的思路,这也是我最终决定写这本书的最主要原因。尽在双阿里巴巴技术演进与超越是迄今唯一由阿里巴巴集团官方出品全面阐述双八年以来在技术和商业上演进和创新历程的书籍。 showImg(https://segmentfault.com/img/remote/1460000015386860); 1、大型网站技术架构:核...

    Julylovin 评论0 收藏0
  • 如何评价我们分类模型性能?

    摘要:反映了分类器检测假负性的能力。我们将从混淆矩阵开始,这是表示分类结果的最简单方法。 作者:chen_h微信号 & QQ:862251340微信公众号:coderpai简书地址:https://www.jianshu.com/p/c28... 什么是分类模型? 分类是将每个数据集合中的元素分配给一个已知的数据类别。 那么分类都有哪些任务呢? 根据医生的病历记录,将检查者区分为健康或者...

    sydMobile 评论0 收藏0
  • Python--Redis实战:第二章:使用Redis构建Web应用:第三节:网页缓存

    摘要:研究表明,减少用户等待页面载入的时间,可以增加用户使用网站的欲望,并改善用户对网站的印象。上一篇文章实战第二章使用构建应用第二节使用实现购物车下一篇文章实战第二章使用构建应用第四节数据行缓存 上一篇文章: Python--Redis实战:第二章:使用Redis构建Web应用:第二节:使用Redis实现购物车下一篇文章:Python--Redis实战:第二章:使用Redis构建Web应用...

    hoohack 评论0 收藏0
  • 视频私有云实战:基于 Docker 构建点播私有云平台

    摘要:本篇文章将会结合网易云信的实践经验,以全局概述的方式带大家认识点播私有化平台构建的整体架构面貌。基于构建点播私有云平台在具有以上优势的同时,还具备资源弹性管理监控完善部署简易自动化维护等特性。基于构建平台,能够自由管理创建云主机。 私有云是为一个客户单独使用而构建的,因而提供对数据、安全性和服务质量的最有效控制。前置条件是客户拥有基础设施,并可以使用基础设施在其上部署应用程序。其核心属...

    MadPecker 评论0 收藏0

发表评论

0条评论

IT那活儿

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<