跳转至

知识图谱及其在安全领域的应用

1. 知识图谱是什么？

1.1 知识（Knowledge）是什么？

知识图谱（Knowledge Graph）正如其名，其本质是为了表示知识[1]。那么知识是该如何定义呢？我们来看一下维基百科中的定义：

知识是对某个主题确信的认识，并且这些认识拥有潜在的能力为特定目的而使用。意指透过经验或联想，而能够熟悉进而了解某件事情；这种事实或状态就称为知识，其包括认识或了解某种科学、艺术或技巧。此外，亦指透过研究、调查、观察或经验而获得的一整套知识或一系列资讯。

可以从这块相对抽象的定义里得到一个主观的感受，那就是知识是一种认知，其既是一种事实，也是一种状态。比如，“我会加减乘除”是一种事实也是在表述我通过学习和实践，使得现在已经掌握这项技能的一种状态。并且这种认知是相对复杂的，有从时间变化的纵向维度，也有涉及到关系、概念、实践等等横向维度的变化。但不变的是，知识是有一个主题的，以及由主题衍生出来的各个“属性”组成，类似于树状结构，这一棵树，就是一条知识。

如果用官方一点的定义呢，每条知识是表示为一个SPO三元组，即Subject（主体）——Predicate（谓语）——>Object（客体）[1]。

那个回到“表示知识”这个关键点，我们创造出知识图谱这个概念，就是为了帮助我们更快、更好地用来表示出多条独立的“知识”。更进一步说，知识图谱就是用来组织和描述SPO三元组的。

那么如何描述呢？请看下一部分

1.2 如何描述三元组？

前面我们介绍了知识的概念和SPO三元组，我们已经知道了，知识图谱是一条条知识组成的，一条条知识又是三元关系（Subject——Predicate——>Object）组成的，那么问题就来了，如何描述这个三元关系呢？

使用RDF来表示

在知识图谱中，我们用RDF形式化地表示这种三元关系。[1] 从定义上来看，RDF(Resource Description Framework)，即资源描述框架，是W3C制定的，用于描述实体/资源的标准数据模型。[1] 为什么我们描述知识要用“Web”的形式去描述呢？因为网络、Web中的各项关系，其实和知识的抽象概念很像，这是一种即像树，又像网的东西。

有唯一确定主体、有连接属性的谓语、有明确属性值。

那么RDF框架下，对三元组是如何具体定义的呢？我们先来了解一下RDF图中定义的三种类型：International Resource Identifiers(IRIs)，blank nodes 和 literals[1]。RDF通过定义出来的这三种属性对SPO三元组进行约束：

  1. Subject可以是IRI或blank node。
  2. Predicate是IRI。
  3. Object三种类型都可以。

可以看到，主体必须是能唯一表示的，或者干脆就是匿名资源（Blank Node，这个概念可以向外引申，在这里可以先忽略）。唯一表示就会用到IRI，相当于是URL和URI的推广[1]，用于唯一定义一个实体或是资源。（说白了，就是我们要通过一个确定的方式来找到唯一的它）

谓语也是要唯一表示的，就像你都不知道要和另一个人建立什么关系，你又怎么能跑过去说我们在一起吧。这个“在一起的两个人“这个关系描述得就太模糊，不能唯一确定。举个例子，两个男的可以是朋友、可以是仇人也可以是情侣。

那我们整理一下RDF定义三种类型的用处：

  • IRI —— 在整个网络或者图中唯一定义了一个实体/资源
  • blank node —— 没有IRI和literal的资源，或者说匿名资源[1]，暂不详细分析
  • literal —— 字面量，可以看作是带有数据类型的纯文本

回到刚刚那个例子，架设有两个男人一个为A，一个为B，我们的主体Subject是男人A，我们给他一个IRI：www.man-a/relation；我们的谓语是表示与主体是朋友的关系，我们给他一个带有prefix的IRI：kg:firiends；然后我们的客体就是男人B的名字，我们给他一个字面量：man-b。

那么这个描述两个男人间朋友关系的这个知识就可以表述为：www.man-a/relation ——kg:firiends——man-b。

是不是一下子就很清楚了。这就是RDF的作用，使用标准数据模型的方式来进行资源描述。

使用属性图来表示

介绍完RDF来表示关系，是不是感觉略有一点复杂，确实，这种方式比较严谨，更贴近知识图谱原始的定义。但实际在工业界应用过程中，还是会有相当多的场景会选择用属性图（Property Graph）的形式来描述“关系”。那么下面我们来介绍一下属性图的方式。

属性图(Property Graph)的逻辑其实特别好理解，就是主体会和很多客体有关系，比如主体是一个普通人A的话，他会有手机号、会有性别、会有家人，这些就是他的客体。而他和他的手机号之间，就是“拥有”的关系、他和他的父亲，就是父子关系，这种关系就是主体和客体的关系。以上三种，主体、关系、客体，都可以有相应的属性。例如普通人A，属性可以是他的名字（也可以成为一种主客体关系）；他和他的手机号之间是拥有的关系，“拥有”关系可以有属性“何时拥有”、”如何拥有“等；手机号也可以有属性，比如归属的运营商名字等等。

这种同样描述主客体关系，但支持实体或关系拥有属性的方式，就称为属性图表示。

1.3 从知识到知识图谱

我们从知识的定义讲到了如何表示使用RDF定义单条知识，那么知识图谱的具体形象就呼之欲出了，知识图谱就是有多条知识组成的树状或网状结构，总体来说是图的结构。

主体必须唯一确定，谓语需要清楚描述，客体可以是另一条“子知识“也可以是字面量（也就是带数据类型的纯文本）。

以下是一个使用RDF描述的知识图谱，可以看到其通过RDF标准来表示出了单条的知识以及总体的关系：

图：罗纳尔多知识图谱[1]

以下是一个由属性图来表示的知识图谱，注意其支持实体或关系拥有属性，而RDF形式的就不支持：

图：一个简单的属性图[2]

其实更严谨地说，这两种不同的描述关系的方式，其实也是代表了两种知识图谱的存储方式：

  • 基于RDF存储的形式
  • 基于图数据库的存储

以下是两者之间的比较：

图：RDF和图数据库方式的比较[2]

1.4 知识图谱的作用

知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。 不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。[2]

从这个概念上来说，知识图谱主要解决的问题是一个复杂关联信息的查询和表示。那么我们来看看它的应用需求应该是如何的，换句话说，就是什么样的情况下，我们可以考虑采用知识图谱：

图：对采用知识图谱的需求分析

2. 在安全领域的应用

2.1 安全知识图谱

安全知识图谱（Cyber Security Knowledge Graph）是知识图谱在网络安全领域的实际应用，包括基于本体论构建的安全知识本体架构，以及通过威胁建模等方式对多源异构的网络安全领域信息（ Heterogeneous Cyber Security Information）进行加工、处理、整合，转化成为的结构化的智慧安全领域知识库。[3]

上面说到了知识图谱的作用，我们再回顾一下，知识图谱可以解决复杂关系信息的查询和表示。因此，在安全领域，我们在进行应用的时候，同样要考虑以下几点：

  • 是否有强烈可视化需求？
  • 是否有较高的语义分析需求？
  • 是否本事拥有海量的多源异构数据，且存在一定的信息孤岛问题？

  • 是否有对关系进行深入搜索、挖掘、分析的需求？

  • 是否有资源和能力去搭建系统，并且能进行运营？

其实思考这几个问题的时候，我们的需求和对应的应用场景，有经验的同学应该就比较清晰了。知识图谱需要解决的问题，它的应用，主要是：

  • 从海量数据中挖掘、表示威胁的实体相关信息
  • 提高威胁分析的效率，从关系出发去挖掘事件（Incident）、表示事件
  • 对于基于语义分析的威胁发现具有相对的优势

因此，我们也可以用一句话来说明安全知识图谱的作用：从威胁实体和实体关系的视角出发，主要针对多源异构数据，利用语义分析的特点，识别威胁以及对威胁进行评估。

以下是一个用安全知识图谱表示的永恒之蓝攻击防御场景：

图：利用知识图谱构建攻击场景[4]

2.2 从需求到应用

2.2.1 分析需求

偏向于事件分析

知识图谱的关键点在于对“关系”的描述。对于事件来说，我们需要一个更高纬度的知识表达，主要来说，可以主要从这几个方面出发：威胁主体、攻击方法、资产、隐患和防御手段[4]。

使用基于属性图的知识图谱构建，我们需要定义好主客体的关系以及三者各自的属性；使用基于RDF的知识图谱构建，我们需要更加关注于严格的推理关系、将属性的表达用确定的关系谓语代替。

偏向于情报分析

对于情报分析来说，我们很多时候不是要关注自己怎么样，而是要关注对手怎么样，所以知识图谱在安全情报分析中的应用，主要的关注于：

  • 对手是谁（Who）：包括威胁行为体，赞助商和雇主
  • 对手使用什么（What）：包括他们的能力和基础设施
  • 对手的行动时（When）：确定行动的时间表和规律
  • 对手的目的（Why）：包括他们的动机和意图
  • 对手的目标行业和地理区域（Where）：详细说明行业，垂直行业和地理区域
  • 对手如何运作（How）：关注于他们的行为和规律

以上的5W1H[5]可以作为安全情报知识图谱构建时的参考，例如使用基于属性图的知识图谱构建，我们可以这样去构建：

  • 威胁行为体作为Subject，赞助商和雇主可以作为其属性（Property）
  • 基础设施作为威胁行为体的Object，用“自身拥有”或是”非法占用“来描述他们的关系（Predicate）
  • ...
偏向于特定威胁分析

在这边我对它的定义主要用于分析某种特定恶意行为。这种特定的恶意行为需要有较明确，且相对唯一的攻击链。例如，我们可以把对恶意钓鱼邮件的攻击视为一种特定威胁，我们对恶意钓鱼邮件的分析，从规则、模型到专家经验转换等等，都是在对其进行特定威胁的分析。

从另一方面来说，一种特定的技战术组合也可以称为一种特定威胁，因为它的杀伤链也相对固定，对于这部分的知识图谱构建，可以帮助我们从整体角度观察威胁。

2.2.2 展示需求

也许部分同学一看到展示需求，心里就会冒出来“大屏”、“给领导看的”、“没啥用”这些想法，虽然这确实也是一种现象，但我们也应该好好考虑一下这部分。

因为做安全的最终目的，还是说为了提高总体的安全能力，这个安全能力小到个人水平，大到国家安全。我们实际点讲，怎么才能提高企业的安全呢？企业安全由于其复杂性，不是某一方向上的技术很酷就能起到提高整日安全能力的。

企业安全的关键还是在于从检测——分析——响应——优化的闭环。这个闭环是关键，而这个闭环中，所要参与到的各个部门、乃至同部门的各个方向、同个方向上的各个人员，他们的先验知识都是不一样的。我们使用知识图谱进行展示的本意，是为了结构化地表达知识。从而降低闭环中各个环节的成本。这个成本包含很多方面，有时连沟通成本也是。

3. 总结

本文主要是学习和整理了知识图谱的相关概念，以及对其在安全领域的应用做了一个简单的分析。这块仍是处于一个探索阶段，还是有许多新的思路和落地方案需要补充。欢迎各位师傅批评指正！

References

[1] 为什么需要知识图谱？什么是知识图谱？——KG的前世今生, SimmerChan, https://zhuanlan.zhihu.com/p/31726910

[2] 这是一份通俗易懂的知识图谱技术与应用指南, https://www.jiqizhixin.com/articles/2018-06-20-4

[3] 安全知识图谱助力内部威胁识别, 绿盟科技研究通讯, https://cloud.tencent.com/developer/article/1556641

[4] 【RSA2018】创新沙盒 | AWAKE SECURITY基于机器学习的安全分析平台, 刘威歆, http://blog.nsfocus.net/rsa2018-awake-security/

[5] 从现状看威胁情报发展趋势，e1knot，https://zhuanlan.zhihu.com/p/183993203