入侵检测系统的测试与评估(4)

5 对IDS进行测试评估一利用的相关数据
对IDS进行测试评估，也就是让IDS对进入到受保护系统的数据进行检测，以确定检测系统能否发现其中的入侵。要测试评估IDS，最准确的数据当然是根据实际运行环境产生的数据，但这通常是行不通的。因为各机构的数据中都包含一些隐私信息，他们不愿公开这些数据，并且即使有机构愿意公开自己的数据，也不大适合用来做通用测试，因为特定机构的数据都带有明显的特有的一些特性，具有一定的局限性，可重复性也不好。为此，在具体测试的时候，大都采用一些测试工具。通过这些工具来生成IDS的测试数据。
测试评估数据的生成需要满足下面几个条件，即数据的生成必须能自动完成，不需要人为的干预；要具有一定的可重复性，也就是说需要时可以产生相同的数据；要有一定的健壮性，可在无人监控的条件下，可运行较长时间。
测试评估IDS的数据包括两部分，一部分是训练数据，另外一部分是实际测试数据。这两部分数据中都包括正常数据和入侵数据。只有在正常数据的背景下，对IDS的测试评估结果才是客观和全面的。入侵行为在背景数据的掩护下，被检测系统发现的机率会大大降低。而IDS也可能将正常的流量行为误判为攻击，产生虚警。训练数据用来帮助IDS建立正常行为的模型，调整IDS各参数的设置。在训练数据中，入侵数据是明确标明的。测试数据用来对检测系统进行测试，其中的入侵数据没有标明。
通常使用下面三种方法生成既包含正常通信数据又有攻击的可公用的数据：抓取正常情况和被受控攻击时的运行通信数据。由于隐私和安全问题这显然行不通；从实际运行数据中清除秘密信息。并在其中加入攻击，这也行不通，因为很难清除秘密信息；在一个内部网中重建正常通信和攻击数据，这是我们采用的方法。
重建正常通信和攻击数据也就是仿真用户操作、模拟入侵。仿真用户操作即生成用户各种各样的正常使用模式，这些模式帮助基于异常检测的IDS建立正常行为的模型，并且以用户正常模式数据作为检测入侵的背景通信数据，对于确定IDS正常运行时的检测率和虚警率是非常必要的。模拟入侵应尽可能地覆盖多种类型，新的攻击只在测试数据一出现。设计攻击要考虑很多问题。要分析攻击的机制，并在测试系统中试验以便于分析和调节。分析要确定攻击在测试环境中能否工作，是否需要新软件或服务的支持。设计新奇的攻击以用来发现未利用的系统或网络漏洞。下面对用户正常模式的仿真和入侵仿真分别进行讨论。
目前，大多采用下面三种方法来仿真网络用户行为，即通用会话生成工具、测试软件包和录制重放实际数据。通用会话生成工具方法基于有限自动机来生成用户所有可能的操作。每种操作都有一定的操作规程，比如FTP操作，首先它要完成TCP三步握手初始化连接，然后要输入用户名和密码，用户名密码通过之后再浏览FTP服务器上的内容、下载或者上传，所有操作完成后离开服务器，结束TCP会话。根据这种通用规程，就可生成通用的会话，模拟用户操作。但是，这种方法只适用于测试有限的命令集，比如可仿真FTP客户，但不能仿真shell客户，并且这种仿真存在一些问题，因为用户操作的顺序和服务器端的响应都是不确定的，仿真并不能完全模拟用户的操作状况。操作系统开发商自带测试软件包是比较简单的模拟方法，通常用于测试评估操作系统服务的性能和应用服务软件是否按设计说明来实现。但是这种测试不能给出用户进行什么样的操作，只能告诉我们系统对正常请求的响应行为。录制重放方法是记录各种用户正常活动的数据，然后在测试平台上重放用户的活动过程。这种方法要求用户活动记录要足够多。
用户正常行为的仿真主要包括网络流量仿真、主机正常使用仿真。大多数的网络IDS或者网络IDS的大部分都工作于网络层或网络层之上，它们对网络上的数据分组根据不同的协议进行相应的分析。因此，在仿真网络流量时，要仿真各种协议的各种应用的流量。通常，对实际流量进行分析，经统计计算，得到各个协议按时间的流量概率分布，以此为模型，分别仿真各个协议的流量。
主机的使用可以分为两个部分：主机所提供的网络服务的使用和主机的直接使用，即用户在主机上执行命令。相应的主机正常使用的仿真要分为两部分，即主机网络服务正常使用的仿真和主机直接使用的仿真。对主机提供的网络服务的正常使用进行仿真，可以采用两种方法。一是遍历法，即找出某个服务允许的所有正常使用模式，再由仿真程序，按这些模式依次对该服务进行访问。二是实际采样法，取得真实网络环境中某个服务的实际使用情况数据，分析出现的使用模式，再根据分析结果建立仿真模型进行仿真。此方法与网络流量仿真的方法类似。这两种方法各有优缺点、仿真实现中，应根据被仿真服务的具体情况进行选择。由于用户的行为因工作性质不同，会有很大差别，所以主机直接使用的仿真应将用户分为不同的种类（比如管理员、普通用户），根据不同的用户类型编写不同的脚本，实现主机直接使用的仿真。由于不同用户使用习惯变化很大，并且即使同一用户使用习惯也带有很大的随机性，这使得仿真的难度大大增加。在实际测试评估IDS时，一般只是仿真主机正常使用的一个具有代表性的子集。
攻击仿真是评估环境的核心，也是对IDS进行测试的关键。攻击仿真要尽可能多地搜集各种攻击方法。由于各种攻击的数量过于庞大，不可能对所有的攻击都进行仿真。参考软件测试领域中的等价划分方法（equivalence partitioning），在进行攻击仿真时，一般先将攻击分类，然后选择每种类别中典型的攻击方法进行仿真试验。选择好攻击类型后，在仿真时根据入侵者进行攻击的步骤进行仿真。在构造攻击数据时还要注意新式攻击。攻击方式隐秘的攻击、并行进行的攻击等方面。相对于旧式攻击、攻击方式明显的攻击以及串行进行的攻击而言，这些攻击方式对检测结果的影响可能会更大。
目前，测试数据所采用的格式大多采用Tcpdump数据格式和BSM数据格式，由于Windows系统广泛应用，Windows NT的日志格式也逐渐考虑进来。在测试数据方面，麻省理工学院林肯实验室的数据比较完备，它包括一定时间的训练数据和用于最后实际测试的检测数据。用于网络流量仿真的工具有Anzen公司开发的nidsbench以及加利福尼亚大学开发的入侵检测测试平台。nidsbench包括tcpreplay和fraqrouter两部分。tcpreplay的功能是将tcpdump复制的数据分组重放，还原网络的实际运行状态；而fraqrouter的功能是通过构造一系列躲避IDS检测的攻击以测试检测系统的正确性和安全性。加利福尼亚大学的IDS软件测试平台使用 Tcl-DP（TooL Command Language Distributed Programming）工具开发实现。它共包含四组命令：基本的会话命令集、同步命令集、通信命令集、记录重放命令集。这些命令集分别用来仿真入侵者的基本操作，按指定要求产生事件，实现并发进程的通信以及记录用户会话期间的操作命令序列再重放这些记录。此外，麻省理工学院林肯实验室也开发了非实时IDS性能评估工具，该工具可动态重放大量的数据。