【牛人访谈】威胁情报的与时俱进
前言
在全球信息技术发展进入全面渗透、跨界融合、加速创新的背景下，现代企业的数字化转型的进程也不断深入，数据要素的价值逐渐凸显，导致各行业企业对数字风险防护管理的需求与日俱增。保护关键数字资产与数据信息免受外部威胁、提升在线业务运营稳健性，其价值毋庸置疑。数字经济时代的企业正向网络化、扁平化、柔性化转变，以辨证思维看待企业数字化进程，不难发现新发展阶段下的企业数字化转型的机遇与挑战是共生的。业务的数字化使得企业可以为客户提供更多的自主服务和新媒体互动，激活企业自身的活力，加速企业发布新功能以保持竞争力。
然而在数字化转型过程中，每一种新技术的引入，都会无形中增加网络风险的暴露面。了解威胁，是进行威胁分析和防御的关键环节，在开展威胁评估和威胁分析的过程中，威胁情报是被最广泛认知与采用的方法。国内的威胁情报技术发展，从开始萌芽到现在也走过了第一个五年，在数字风险管理的新挑战下，威胁情报会有怎样的新变化，又能够为客户解决什么样的新问题和带来什么样的新价值？近日，安全牛邀请天际友盟技术总监刘广坤，就威胁情报在数字时代的应用发展，来进行深度的探讨。
刘广坤 天际友盟 技术总监
刘广坤先生具有20多年的行业从业经验，先后在多间知名公司任职，担纲技术管理和IT咨询工作，期间负责的工作包括信息安全、IT战略发展与架构、IT运维等领域的咨询和团队管理工作，所提供的咨询服务包括管理咨询和技术咨询，所覆盖的范围从企业信息技术到车联网、物联网等多领域。
威胁情报的开发与应用与时俱进不断发展，对客户核心价值究竟是什么？
刘广坤：首先，我借用Gartner对威胁情报的定义,“威胁情报是基于证据的知识，包括场景、机制、指标、含义和可操作执行的建议。这些知识是关于现存的、或者是即将出现的针对资产所面临的威胁或危险相关的，可为主体响应相关威胁或危险提供决策信息支持。”
从以上定义来看，威胁情报需要围绕决策这个核心点回答两个问题：现存的知识与未来即将出现的风险。从这两个问题可以看出，虽然是基于证据的知识，情报仍然具有不确定性。而对于威胁情报研究而言，关键就是降低其不确定性。因此，现存的知识对于未来的预测至关重要。
情报，对于客户的核心价值最重要的就是“烽火”效应。网络攻防始终处在博弈的过程中，双方的能力交错上升，对于防守一方来说，当攻击方发明了新的方法时，如果某一个体遭受攻击后，在处理过程中把获得的关键信息（即现存知识）共享出来，例如：IP等攻击者的资源类信息，hash所指向的攻击工具，则看到“烽火”的其它防守者可以进行防御策略调整，避免潜在的损失风险(未来的风险)。从防御者整体上来看，通过分享形成了群体损失减小的效应。
再者，有效地进行威胁情报的内循环，可以使得企业/组织避免收到同样攻击的二次伤害或多次伤害。可见，威胁情报所形成的知识可以为企业/组织重复使用。
在此之上，通过对威胁的分析，形成威胁情报并加以利用，不仅仅可以加强主动防御实现降低或避免伤害，还可以针对对手方进行策略应对，从而形成主动防御、震摄性防御，甚至可以是有效混淆、还击的战略。
安全牛：威胁情报的概念从兴起到应用，在国内也已走过了5年。这5年中，威胁情报具体都有哪些落地的应用方式？
刘广坤：自威胁情报的概念兴起，通过对国内、外市场的观察，当前情报的应用包括四种主要方式：情报订阅、情报查询服务、情报即服务、情报网关。概要的讲，他们分别具有如下应用特征：
情报订阅：威胁情报厂商以明文方式呈现给客户，可应用于主动防御模式，主要包括威胁相关的IP、域名、URL、邮件以及HASH信息以及漏洞信息。通过研究全球主要威胁情报厂商可以看到，情报订阅模式下，威胁情报厂商提供的信息至少包括威胁类型、指示器、信誉值，其日更新数量在千万级。随着威胁情报厂商提供的上下文信息增加，使用者可以采用更加丰富的筛选逻辑来根据应用场景选择威胁情报子集。但威胁情报厂商提供的情报订阅越接近其原始数据，使用者才具有越高的使用自主权。
情报查询服务：情报查询的主要目的是获取其上下文信息，用于溯源或者根据IOC的历史信息判断其未来的威胁性，可查询的数据索引往往是数十亿以上的量级。情报查询，具有隐私数据外泄的风险，因此企业应当尽量避免唯一指向性查询，采用具有信息混淆的方式向服务商提出查询请求。
情报即服务：情报即服务，要求客户和威胁情报厂商建立长期的、互信的服务机制。由威胁情报厂商利用其威胁情报源、威胁情报应用能力，结合客户的实际情况，进行数据整理、分析，形成自有情报和决策信息。情报即服务的市场随着战略威胁情报的需求，将会持续增长。
情报网关：在情报订阅服务中，我们可以知晓威胁情报日更新量在千万级，而传统的信息安全解决方案是无法实时应用千万级威胁情报的，需要有一种新的应用形态，即情报网关。根据Gartner的定义，威胁情报网关是利用大量箱内威胁指标数据集（支持数百万甚至数十亿个威胁指标）的网络安全设备。
安全牛：威胁情报网关产品拥有基于海量威胁情报应用的高性能流量检测防护能力，但用户似乎在威胁情报应用实践中依然存在着困难，主要的难点有哪些？
刘广坤：TIG（威胁情报网关）目前刚进入市场，受到厂商的产能爬坡影响，绝大多数客户还没机会使用，只能获得威胁情报本身并利用自身的研发能力或者安全集成商的能力进行应用。因此，用户对威胁情报的应用的确还有很多问题需要解决，其中包括情报应用意识、情报知情权、情报准确性、情报完整性的问题。
情报应用意识：威胁情报应用意识第一个要澄清的问题是定义主动防御与威胁情报之间的关系，将威胁情报应用于主动防御才能够发挥威胁情报的真正价值，也才符合未来攻防中防守方的首要利益诉求；威胁情报应用意识第二个要澄清的问题是正确的期望，前面我们提到过关于威胁情报是集“现在的知识与未来的风险”与一体的，这样就出现了不确定性，除了不确定外，威胁情报实践者还应当注意“上帝之眼”的误区——即不存在无漏报的情报商，即使是集中了全球所有的威胁情报厂商的知识于一体，也无法实现“上帝之眼”。
情报知情权：越来越多的客户，对订阅的威胁情报提出了知情权，即所订阅的情报集合中包含的全部内容是什么。如何确定威胁情报厂商声称的千万级威胁情报是真实存在的，在这一过程中威胁情报厂商应当还情报客户知情权。
情报准确性：情报准确性是与威胁情报误报共生的，威胁情报误报是指将正常的网络资源评价为“恶意“，一经使用则导致发生不良影响，例如：DNS服务商所使用的IP被误报为恶意IP，则可能导致采用了这一情报的客户阻断正常的DNS访问，从而造成大面积网络连接异常的现象。2019年下半年，某运营商的DNS服务即遇到了类似状况，其根本原因是境外某威胁情报组织出现了无意的误报，造成大量使用了该情报源的威胁情报厂商和客户遭受了”数据污染“。天际友盟义务从中进行了斡旋，帮助该运营商在24小时内消除了误报。这一事件反应了威胁情报准确性的重要性，以及识别一个外部情报数据为误报所面对的挑战。简单的讲，情报的准确性直接影响决策的方向，例如：一个C段IP地址发生攻击行为，被威胁情报厂商识别为恶意，但整个A段被标记为恶意，就出现了准确性问题，而这个问题会影响很多互联网用户的正常访问。形象的比喻：如同近期的COVID-19屡禁不绝，如果一个城市的某个小区出现了病例，例如：上海浦东某个小区出现了病例，本地防护虽然做的很好，整个城市也安然无恙，而不明真相的其他城市或省份人群将整个浦东区，甚至整个上海市视为洪水猛兽，从而对来自这个城市的人群执行严格的隔离措施，就会带来经济交往上的重大损失。
情报完整性：我们刚刚提到“上帝之眼”，还有另一个层面，即不存在完全完整的威胁情报。首先是全球威胁情报体系多达数百个，威胁情报体系的不一致导致情报汇总可能存在某种映射难题；同时，由于缺少相应的知识，使得威胁情报分析无法完整实现，例如：由于逆向的难度或者所捕获的样本的缺失，无法模拟出全部DGA数据。不过某些数据的缺失，并不影响威胁情报技术的应用，例如：针对刚刚提到的DGA数据，虽然威胁情报做不到完整，但可以利用基于机器学习的DGA识别技术，则可以有效的提高DGA的识别。
安全牛：威胁情报的数据订阅，似乎说了很多年，现在是否已经能够得到大部分用户客户的认可？
刘广坤：威胁情报订阅正越来越受客户的认可。
首先，网络安全传统厂商和重视网络安全的用户（例如:大规模企业/集团型公司，关键基础设施组织或公司等），这类有独立应用能力的威胁情报订阅者的数量越来越多，并且情报订阅者逐渐对订阅的威胁情报进行闭环反馈，已经形成了良好的威胁情报订阅生态圈。
其次，这一模式也正在得到普及。2019年10月22日， TI Inside概念首次由天际友盟公开提出；2019年11月6日，安全牛第一次报道了TI Inside模式；2020年6月29日，威胁情报共享交换联盟（TIXA联盟）面向联盟内生态合作伙伴发起了威胁情报技术应用TI Inside计划。TI Inside是国际、国内都广泛应用的情报订阅模式，目前国内已经有数十家安全厂商以TI Inside的模式在使用天际友盟的威胁情报，而最终客户也通过采购这些厂家的FW/NGFW、IDS/IPS、WAF、态势感知等系统，获得了威胁情报的部分能力。据我们观察、预测，TI Inside这一模式会在未来1-2年内高速增长。
安全牛：威胁情报会有什么应用新趋势？
刘广坤：1.威胁情报将有效提升威胁检测和响应（TDR，Threat D&R）的能力
威胁检测和响应（TDR），是安全防御的重要环节。良好的威胁情报体系可以帮助组织实现基于威胁情报的威胁检测、响应和处置，包括从终端到服务器，从网络到用户行为分析系统。组织还可以结合自身业务和所面临的主要攻击特点，引入自有情报数据和多源情报集成，提升相关事件关联分析能力，减少需要安全分析师手动分析的安全事件数量，通过自动化响应手段缩短响应时间。随着威胁情报的应用，威胁检测和响应（TDR，Threat D&R）在安全防御环节中的重要性和能力进一步提高。
2.威胁情报的广泛应用带来互联网“群体免疫“的效应
威胁情报的数量级特点决定了第一批能够使用威胁情报的应用平台以态势感知和SIEM类为主，而这些平台需要规模化团队或外包服务，中小企业由于预算、技术团队规模和能力等各种原因有效利用威胁情报进行安全防御存在一定困难。而互联网安全是一体的，中小企业失陷，意味着威胁传播渠道增加，导致互联网整体不安全性提高。Gatner从第三方组织的角度提出了TIG（威胁情报网关）的概念，指出TIG应当具有内置几百万甚至是亿以上单位的指示器的能力，并且能够基于威胁情报进行网络检测和阻断，这使得安全团队能够轻松配置安全规则集，根据威胁情报中的风险评分、威胁源等元数据构建动态策略阻止已知威胁。由于TIG（威胁情报网关）解决了海量威胁情报应用以及对安全团队能力和规模的依赖，使得中小企业也能够利用威胁情报进行安全防御，由此可以切断更多的传播途径，从而改善互联网恶意威胁的环境，形成“群体免疫“的效应。
3.开源威胁情报收集、整理和分析能力将迎来快速增长
威胁情报在欧美已经发展了数年，公开信息表明，欧美在威胁情报管理系统方面的人力资源投入趋缓并有下降趋势，而在开源威胁情报的人力资源投入上呈现快速增长趋势。这一变化趋势说明威胁情报的应用系统技术趋于成熟，并且在欧美市场趋于饱和。随着威胁情报系统的推广，威胁情报的应用更加广泛，对威胁情报的需求从简单的商业情报交换开始向关注开源情报的收集、整理、分析、利用方面发展。由于开源情报存在着分布广、形式多、噪音大的特点，因此收集、整理和分析开源威胁情报需要使用到机器学习等具有挑战的技术能力和庞大的计算、存储资源，其困难度及成本要远远高于采购商业情报。正是这一特点，使得开源情报收集、整理、分析成为未来抢占威胁情报领先地位的重要“滩头阵地”，掌握了开源情报收集、整理和分析技术，就是掌握了未来威胁情报技术的制高点。因此，开源威胁情报收集、整理和分析能力将迎来快速增长。
安全牛：展望一下：威胁情报未来的发展，会走向哪里？
刘广坤：威胁情报未来的一个重要发展领域是DRP（数字风险防护），DRP是与企业数字化转型配套的安全解决方案。企业的数字足迹、数字资产甚至管理者的个人形象，随着现代企业的数字化进程，都有可能成为下一个攻击目标。DRP作为一种新趋势，国际上知名的威胁情报服务商，例如：Digital Shadows、Risk IQ、ZeroFox等，都在向着这个方向前进。