Statistical-entropy method of searching for fields in traffic of unknown protocols

Abstract

The article considers traffic analysis with an unknown structure. A developed method of statistical entropy is proposed, based on existing entropy and statistical algorithms, and allowing you to select fields without knowing the protocol specification. The determination of the boundaries of significant fields is based on the entropy and mutual information of byte sets, as well as the use of estimates of the number of times a network packet appears in the traffic. The software implementation of the described method implements the separation of network traffic packets with zero knowledge of the protocols used in it into semantic fields.

В статье рассматривается анализ трафика с неизвестной структурой. Предлагается разработанный метод статистической энтропии, основанный на существующих энтропийных и статистических алгоритмах, и позволяющий выделять поля без знания спецификации протокола. Определение границ значимых полей основывается на энтропии и взаимной информации наборов байтов, а также использовании оценок количества появлений частей сетевого пакета в трафике. Программная реализация описанного метода реализует разделение пакетов сетевого трафика с нулевым знанием используемых в нем протоколов на семантические поля.