别成为网络安全垃圾数据收藏家
企业安全团队必须多想想怎样将大数据转化为实时答案了。
安全团队总在寻找新的有效方法来发现威胁，新兴安全分析领域被证明是最有前途的创新领域之一。安全分析包含一系列分析技术，能被用于诸如网络流量、主机威胁指示器或几乎任何类型事件日志的多样化数据源。
从很多方面看，这一描述都很像是某种大数据分析——分析大量数据集以找出非预期关联。然而，尽管大数据明显是个强有力的工具，却还达不到万灵丹的程度。当涉及到发现活跃攻击时，太多数据反而会压垮员工，以致威胁被遗失在噪音中。若对怎样使用数据没有一个清晰的概念，大数据安全分析项目反而会让IT团队陷入网络安全无能者的境地——数据堆到拖垮企业的地步。
一些教训
不用回溯太久，就可以找出“更多数据未必意味着更大价值”的教训。自上世纪90年代，安全信息和事件管理(SIEM)和日志管理厂商就假设：设置所有企业日志的中心收集点就可以应对企业的几乎任何问题。虽然SIEM被证明对很多企业而言都是必备的，这些系统依然不足以成为IT那无所不知的神谕。企业早已经由惨痛代价明白，堆成山的数据并不能点石成金，形成有指导意义的洞见。
人类专业知识通常是成功的SIEM项目的核心。想要理解不同种类的数据，编出极端复杂的规则来解释数据，专家是必不可少的。通常都需要有人类分析师来对SIEM提出正确的问题。这种状况往往导致各种操作都是高度定制化的，系统脆弱而很难改变，且高度依赖于人类维护和反馈。简言之，收集数据是容易的部分；将成山高的数据用起来，就相当具有挑战性了。
安全团队事实上需要的是数据缩减
安全分析的大数据方法已然准备好复制那些困扰SIEM多年的东西，虽然有着多得多的数据，以及高得多的复杂度。为避免落入上一代技术的误区，我们需要摒除“数据够多，答案自现”的一厢情愿。这种想法带来的重担，几乎总是压在人类分析师的肩上，他们必须从大量警报和异常中筛选出真正相关的点。
基本问题是，收集的数据越多，自动化数据删减的平行需求愈明显。这里的数据删减，指的是大海捞针似的将庞杂数据快速降解出真正有用的几个点的能力。如今，我们正在创建庞杂数据自动生成的场景，但大海捞针的过程却依然是人工的。员工可能要将所有的时间都用在调查“非正常”却未必是真实威胁的事件上。这有可能导致出现“垃圾收藏家”状况，也就是抱着“可能会有用”的想法留下全部东西，实际上却干扰了正常运作的情况。
因此，安全分析项目需要以情报转化率进行衡量。分析自动化程度如何？问题何时被检测到，是不是决定性问题？有多少附加调查和验证是需要员工来做的，需要多少时间？重申一遍：收集数据相对容易，安全分析解决方案的价值却存在于将数据转化为答案的能力上。
当然，保有全部数据本身并不是一件坏事。事实上，在鉴证情形下，这是非常有用的。这种情况下，安全团队清楚出了问题，而一个完整的数据集能让他们探寻到答案。但是，主动发现和阻止活跃攻击又是另一码事了。两种方法都有其位置。不过，老实说，业界不缺验证和分析已知攻击的鉴证工具。大多数企业都缺乏的，是揭露未知攻击的能力。这要求我们多想想该怎么将大数据转化为实时答案。
====================================分割线================================
本文转自d1net（转载）