如何评估威胁情报？
情报本质上是高纬度的信息，对于信息/数据的评价，一般可以分为：完整性、一致性、准确性和及时性。相关的权威标准可以参考：数据质量评价指标（GB/T36344-2018 ICS 35.24.01），里面进一步划分了各项指标。但本篇不从高屋建瓴的方法论入手，而是直接关注于实际的威胁情报使用场景，具体来说是威胁情报中IOC类型的使用。
那么对于威胁情报本身来说，是否有一套结合业界实际使用场景的评估方法呢？有，可以参考360Netlab的域名IOC评估方法。
对于IOC实际使用方来说，单纯堆量是没有意义的。整体需要关注的方面包括：
- IOC数据量大小
- 命中数量/比例
- 活跃/存活的IOC数量
- 误报情况（准确率）
- 漏报情况（召回率）
- 更新频率
- 更新数据是否稳定
- 更新中新增数量
- 更新中的淘汰数量
- ......
静态评估项
| 指标 | 含义 | 计算方法 | 结果说明 | 备注 |
|---|---|---|---|---|
| IOC_num | IOC记录数量 | 越大越好 | ||
| DGA _ratio | DGA 域名在整个 IOC 中的占比 | 越小越好，但为0时则也可认为没有DGA检测能力 | ||
| IOC_soundness | IO是否符合标准 | 此项须为 0，任何非0值，说明IOC不合规 | 合规IOC的判断依据待后面补充 | |
| IOC_family_num | IOC 信息中的不同家族个数 | 越大越好 | ||
| IOC_family_distr | IOC 在不同家族之间分布的均衡性 | IOC_family_distr = TOP5家族的 IOC 个数/IOC_num | 越小越好 | |
| whitelist_ratio | IOC在白名单中的占比 | Whitelist_ratio = IOC命中白名单的个数/IOC_num | 任意非0值表示可能存在一定程度的误报 | 白名单包括：公共DNS服务、Alexa/SecRank Top域名等 |
| IOC_fields | 每条IOC数据字段的丰富性 | 建议 IOC 包含项: 创建时间、过期时间、IOC、严重等级、可信程度、家族信息、威胁类型、IOC来源 | 越多越好 | |
| IOC_update | IOC更新情况 | 更新频率；每日更新数量 | 填写具体的更新频次和每日更 新数量 | |
| IOC_overlay | IOC重合程度 | 不同数据源/供应商的IOC重合情况 | 此项无标准参考值，根据实际情况评估 | |
| Match_method | IOC匹配所用的运算逻辑 | 建议填写项：全匹配、部分匹配（e.g. 二级域、C段）、正则匹配、其他（需说明） | 此项无标准参考值，根据实际情况评估 |
动态评估项
| 指标 | 含义 | 计算方法 | 结果说明 | 备注 |
|---|---|---|---|---|
| Hit_all_req_num | 越大越好 | |||
| Hit_valid_req_num | ||||
| Hit_valid_ratio | 有效命中率 | |||
| Hit_IOCs_ratio | 在测试期间命中的 IOC 占总 IOC 数量的比例 | Hit_IOCs_ratio= Hit_IOC_num/IOC_num |
越大越好 | |
| top95%_IOCs_ratio | 测试期Top95%的IOC 数量占总命中IOC的数量 | top95%_IOCs_ratio = Hit_95%_IOC_num/Hit_IOC_num |
越小越好 | |
| top95%_family_distr | 命中Top95% 的IOC的家族分布均衡性 | Top95%_family_distr=TOP95%命中的 IOC中TOP5家族的个数/Hit_top95%_IOC_num |
任意非0值表示可能存在一定程度的误报 | 白名单包括：公共DNS服务、Alexa/SecRank Top域名等 |
| top95%_servity | 命中 Top95% IOC 的风险等级分布 | 此项无标准参考值，根据实际情况评估 | 风险等级分布可以看出命中 IOC 的严重程度分布情况。对 IOC 是否适用本网络有个大致的评估。 | |
| top95%_overlay | 命中Top95% IOC的不同供应商的重合度 | 更新频率；每日更新数量 | 此项无标准参考值，根据实际情况评估 |