深度数据包检测 (DPI) 是一种基于应用层的流量检测和控制技术，企业和互联网服务提供商 (ISP) 经常使用它来识别和阻止网络攻击、跟踪用户行为、阻止恶意软件和监控网络流量。
DPI 技术被技术专家和网络经理誉为解决互联网相关危险数量和复杂性的重要工具。DPI 系统使用OSI模型应用层来提取统计信息，能够查找、识别、分类和重新路由或阻止包含特定数据或代码有效负载的数据包。
DPI 会检查与单个数据包相关的数据和元数据，而状态数据包检查仅评估包头信息，例如源 IP 地址、目标 IP 地址和端口号。当数据包接近检查点时，DPI 会拦截任何协议违规、病毒、垃圾邮件和其他异常情况，并阻止数据包继续通过检查点。
DPI的历史是怎样的？
DPI 技术拥有漫长的历史，跨越 30 多年，可以追溯到 1990 年代。
阿帕网是深度包检测首次出现的地方。TCP/IP 数据传输协议最初由阿帕网使用，工程师学会了如何使用包头和元数据，通过管理原始数据包来解决 UNIX 安全问题。
1990 年，阿帕网被关闭，但随着当代互联网的普及，TCP/IP 问题变得更加普遍。网络工程师在 1980 年代创建了OSI 概念，以标准化 1990 年代中期收集的元数据。OSI模型通过形式化数据包元数据的级别，使广泛的统计分析成为可能。例如，辅助标头（也称为有状态数据或浅层数据）可减少带宽，同时实现正确的信息路由。
分组数据包元数据使 ISP 更容易区分不同的数据类别，深度数据包可能会激发新的商业模式。此外，二十多年来，网络中立性一直是一个有争议的问题，而DPI技术可将管道所有者转变为数据所有者。
DPI和传统包过滤有什么区别？
网络中的每个数据包都有一个包头，其中包含关于其发送者、接收者和传输时间的基本信息。使用传统的数据包过滤只能读取到此信息。较旧的防火墙通常以这种方式运行，因为它们无法足够快地处理其他形式的数据。
现在，防火墙可以通过DPI来解决这些问题，以进行更彻底、连续的数据包扫描。DPI提取或过滤数据包头以外的数据，以实现更彻底、更复杂的网络监控和防御。
| DPI和传统包过滤的区别（来源：okta）
DPI 是网络安全生态系统的重要组成部分。不仅仅是简单地查看传入的数据包以检测协议异常，DPI还可以根据需要对数据包进行分析、查找和阻止。这与标准网络数据包过滤形成对比，后者根据源和目的地对数据包进行排序。
DPI 如何工作？
传统防火墙通常缺乏对大量流量进行彻底实时检查的处理能力。随着技术的进步，可以使用DPI 执行更复杂的查验，以检查包头和数据。通常，带有入侵检测系统的防火墙经常使用 DPI。
在数字信息至上的世界中，每一条数字信息都是以小数据包的形式通过互联网提供的。包括电子邮件、通过应用程序发送的消息、访问过的网站、视频对话等等。除了实际数据之外，这些数据包还包括标识流量源、内容、目的地和其他重要信息的元数据。使用数据包过滤技术，可以持续监控和管理数据，以确保将其转发到正确的位置。但要确保网络安全，传统的数据包过滤是远远不够的。
下面列出了网络管理中深度包检测的一些主要方法：
匹配模式/签名
每个数据包都由具有入侵检测系统 (IDS) 功能的防火墙针对已知网络攻击数据库进行匹配检查。IDS搜索已知的恶意特定模式，并在发现恶意模式后禁用流量。签名匹配策略的缺点是它只适用于频繁更新的签名。此外，这种技术只能抵抗已知的威胁或攻击。
| DPI中的模式匹配（来源：OpenPR 2018）
协议异常
由于协议异常技术不是简单地允许所有与签名数据库不匹配的数据，所以IDS防火墙使用的协议异常技术不存在模式/签名匹配方法的固有缺陷。相反，它采用默认的拒绝策略。根据协议定义，防火墙决定哪些流量应该被允许，保护网络免受不明威胁。
入侵防御系统 (IPS)
IPS 解决方案可以根据内容阻止有害数据包的传输，从而实时阻止可疑的攻击。这意味着如果某个数据包代表已知的安全隐患，IPS 将根据定义的规则集主动阻止网络流量。IPS的一个缺点是需要定期更新有关新威胁详细信息的网络威胁数据库，还可能存在误报。但可以通过创建保守的策略和自定义阈值、为网络组件建立适当的基线行为，并定期评估警告和报告的事件以加强监控和警报来降低这种危险。
网络中DPI部署的架构是什么？
DPI引擎通常与路由器、SDN和数据包网关中的防火墙内联部署。非关键分析也可以进行离线数据包分析。
DPI是 4G LTE 和 5G 数据包网关 (P-GW) 中的标准选项。例如，ISP的骨干网络可以是一个 40-Gb/s 系统，带有四个 10-Gb/s DPI模块。
在云/ SDN隐含的动态服务环境中，由于对CPU资源的高要求，DPI可能会与网络设备(作为运行在虚拟交换机中的软件)或在控制层(在应用程序和交换机之间的控制器中)共存。使用DPI 的实时分析被输入到大数据分析包中，这有助于服务提供商了解最终用户在做什么并相应地调整服务产品。
| 内联启用DPI（来源：Accolade 2020）
如果DPI实时分析内容，会不会拖慢网络数据传输速度？
当前许多的DPI方法是资源密集型且成本高昂的，特别是对于高带宽应用程序。由于DPI是实时完成的，因此它不适用于普通处理器或交换机。
在最近几年，通过计算机工程和模式匹配算法的进步，DPI才逐渐成为可能。现在，专用路由器能够执行DPI。带有程序字典的路由器有助于识别它们路由的LAN和 Internet 流量背后的目的，消除了来自已知病毒重复攻击的漏洞。
| 网络流量统计（来源：Mikov 2013）
DPI 有什么优势？
当涉及到企业网络或任何组织的网络性能时，DPI提供了许多显着优势。
1）DPI 是保障网络安全的重要工具。DPI 通过扫描数据包而不仅仅是数据包包头来检测风险或阻止可能隐藏在数据中的攻击。这使企业更容易检测恶意软件、阻止数据泄漏以及阻止对网络及其用户的其他安全威胁。
2）DPI 为控制网络流量提供了更多选择。DPI使规则编程能够搜索特定数据类型，并区分高/低优先级数据包。DPI可以以这种方式在整个数据流中优先处理较高优先级或关键任务数据包，并且这些数据包将在较低优先级通信之前通过网络发送。
3）可以使用DPI来检查试图离开网络的传出流量。使用DPI可以找出数据包的传输位置，这意味着企业可以开发用于阻止数据泄漏的过滤器。
4）DPI 对数据包的实时处理受预定规则的约束。根据团队实施的预编程规则，将检查并自动处理从包头到内容的所有数据包数据。系统自动对每个数据包进行排序、过滤和优先级，可以防止网络变慢。
5）DPI能够对匹配配置文件的流量做出反应。例如提醒用户丢弃数据包或减少该流量可访问的带宽。
DPI 的局限性
尽管 DPI 对网络监控和安全性非常有利，但在使用 DPI 时有几点需要注意。虽然 DPI 提供了一定的安全性，但它将新的漏洞引入了网络。
1）DPI 在阻止缓冲区溢出、DoS 攻击甚至某些恶意软件攻击等方面非常出色，但它也可能被用来开发类似的攻击。
2）DPI 使现有的防火墙和其他与安全相关的技术变得更加复杂和繁琐。为了使DPI规则保持有效，必须确保经常更新和修改。
3）DPI 会降低网络性能和速度，因为它会导致网络瓶颈，并对防火墙处理器提出更多要求，以进行在线检查和数据解密。
4）一些隐私倡导者和网络中立的反对者可能不会支持 DPI，因为 DPI 可以访问关于信息来源和流向的特定信息。
防火墙是否使用 DPI 技术？
为了保卫网络，防火墙会进行深度数据包检测，而不仅仅是识别威胁并通知团队。DPI是下一代防火墙(NGFW)采用内容检测、入侵检测等特性来保障网络安全的技术。特别是，旨在识别攻击和保护网络的独立 IDS，以及具有入侵检测系统功能的防火墙，都广泛使用了DPI。
由于集成了 DPI 支持的协议和应用程序分类，防火墙可以将网络流量实时分类到应用程序级别。因为应用程序可见性，防火墙可以管理访问权限，对流量进行优先级排序，并优化关键任务应用程序的服务质量。最重要的是，始终提供对云服务的无阻碍访问，并且业务网络免受恶意软件和网络的攻击。
DLP 和 DPI 如何协同工作？
DLP（数据丢失防护）解决方案经常涵盖数百种不同的文件类型，高级内容和上下文扫描工具已经可用。这些工具为数据保护标准和法规（如 GDPR、HIPAA 或 PCI DSS）以及知识产权预定义了规则。DPI 允许端点访问网络功能，从而增强DLP策略执行方式的灵活性和准确性。
通过将 DLP 解决方案与 DPI 结合使用，企业可以更轻松地限制特定网站或将其列入白名单，以查明文件发送到的精确位置。它使企业能够根据情况决定哪些网站应该被允许传输，哪些网站应该受到限制。
组织还可以将电子邮件客户端的域名列入白名单，将敏感数据的传输限制在适当的部门，如财务和人力资源，并禁止所有其他地址访问。DPI 是 DLP 解决方案的绝佳补充，因为它提高了应用 DLP 策略的准确性。通过自动删除不需要的敏感数据传输目的地，同时允许使用有效通道，它可以主动降低 DLP 对员工工作效率的影响。
DPI 对隐私构成什么威胁？
DPI 有时也称为“全包检查”。由于大多数网络上的流量很大，DPI 通常根据网络运营商的预定义标准，由软件自动执行。DPI可用于识别所有未加密网络流量的内容，允许ISP 拦截几乎所有客户的网络活动，包括 Web 浏览数据和电子邮件等，因为大多数网络流量都未加密。ISP 在检查用户包的内容后，可以利用 DPI 根据过滤条件执行操作。DPI 已被用于尝试：
- 执行版权法
- 优先传输某些数据包
- 识别计算机病毒和垃圾邮件
DPI 还允许非 ISP 服务提供商（例如搜索引擎和网络邮件提供商）根据互联网使用情况构建用户档案。ISP 分析数据包包头的目的有很多，包括数据包路由优化、网络滥用检测和统计分析。这种检查通常被称为“浅层数据包检查”，它为 ISP 提供了有关互联网流量的基本信息，而不会泄露消费者电子邮件或网页浏览的内容。而DPI 可以让 ISP 访问其客户传输或接收的所有未加密互联网流量的内容。所以DPI 是有争议的，某些隐私和网络中立组织反对使用DPI。
DPI 的用例有哪些？
网络安全依赖于深度数据包检测功能，该功能可以评估特定数据包是否通过网络流量到达预定目的地。DPI 不仅仅是简单地查看传入的数据包，还可以根据需要对报文进行分析、发现和阻断。这与标准的网络数据包过滤形成对比，后者根据源和目标对数据包进行排序。
DPI 系统的另一个功能是数据包级分析，用于查找应用程序或网络性能问题的根源。它被认为是跟踪和分析应用程序行为、网络使用问题、数据泄露和其他困难的最精确的方法之一。深度数据包分析还有助于执行以下任务：
- 测量关键业务应用程序的过度网络延迟
- 增强应用程序可访问性并实现 SLA
- 制作历史数据报告并进行取证
此外，DPI 还可以帮助版权所有者，防止未经授权的内容下载。DPI还可以用于执行政策，为用户提供量身定制的广告，并进行合法的拦截。
有哪些DPI软件和工具？
深度数据包分析在下一代防火墙中特别有用。由于它被用作入侵检测系统 (IDS) 和入侵防御系统 (IPS) 的组件，因此近年来DPI的应用越来越广泛。DPI 通常作为一项功能包含在安全设备中，或者在服务器上设置为虚拟 DPI。虽然专用安全/DPI 设备是安装的最佳选择，但用户也可以选择使用软件或服务来实施 DPI。
下面列出了一些流行的 DPI 工具：
1）Wireshark：一种流行的免费开源数据包分析器，可以配置为用于入侵检测 ( ID )。该实用程序允许从命令行tshark过滤文件的内容以研究网络活动。
2）Linux 中的 Netfilter：将数据包分类为HTTP、Jabber、Citrix、Bittorrent、FTP 等，与端口无关。
3）来自 Cisco 的 Netflow ：在其路由器上引入，用于在流量进入/离开接口时收集IP网络流量信息并构建访问控制列表。它由流量收集器和分析器组成。
4）SolarWinds Netflow：网络带宽监控（收集和分析）工具，提供免费和付费版本。
5）来自 Plixer 的 Scrutinizer：可以处理 Cisco 和其他供应商的网络设备的网络流量分析。
如何选择 DPI 和分析软件？
借助DPI软件，组织可以部署传感器、配置安全指标等。对于DPI和分析工具的选择，应考虑以下标准:
1）应该有一个数据包扫描器，能够读取报头，并在专用网络上卸载SSL，以便可以读取有效负载。
2）应该是一个持续观察网络设备的系统。
3）应该可以从 DPI 切换到 SPI（状态数据包检测）。
4）为了在不付费的情况下评估程序，应该提供免费试用或演示服务。
