Обнаружение аномалий в сетевом трафике при помощи машинного обучения

"Научный аспект №6-2024" - Информ. технологии

УДК 004.056

Лохматов Роман Юрьевич – магистрант Московского государственного технического университета им. Н.Э. Баумана

Аннотация: В статье рассматривается обнаружение аномалий, характерных сетевым атакам (атака «распределенный отказ от обслуживания» (DDOS) и атака проникновения в сеть) в сетевом трафике, при помощи машинного обучения. Своевременное распознавание аномалий может предотвратить противоправные действия и минимизировать причинённый вред. В работе осуществляется сравнение эффективности различных моделей (мультиномиальный логит, метод опорных векторов, искусственная нейронная сеть, метод деревьев решений, случайный лес) классификаторов для решения данной задачи. В качестве набора анализируемых данных используется датасет CSE-CIC-IDS2018. Для сравнения эффективности классификаторов применяются обобщения бинарных метрик с помощью микроусреднения, макроусреднения и средневзвешенного подхода. Сравнение осуществляется при помощи тестов Фридмена и Неменьи.

Ключевые слова: информационная безопасность, многоклассовая классификация, машинное обучение, тест Фридмана, тест Неменьи.

Сетевая безопасность является неотъемлемой частью функционирования современных организаций и инфраструктур. С ростом числа, сложности киберугроз, традиционные методы обнаружения аномалий в сетевом трафике становятся все менее эффективными. Новые подходы, основанные на машинном обучении, предоставляют возможность автоматически выявлять аномалии, в том числе соответствующее новым, ранее неизвестным атакам – атакам «нулевого дня».

Применение машинного обучения для решения задачи классификации сетевого трафика на предмет обнаружения аномалий, рассматривается в работах [1], [2]. В данной работе рассматривается задача небинарной классификации сетевого трафика в связи с возможной необходимостью администратора сети в различных действиях при обнаружении атаки.

Для решения поставленной задачи выбран датасет CSE-CIC-IDS2018 [3]. Из данного датасета были выбраны данные, соответствующие нормальному трафику, а также двум атакам: DDOS и Infiltration. В сценарии DDOS-атаки осуществляется попытка вызова отказа в обслуживании путем чрезмерной нагрузки сервера. В сценарии Infiltration-атаки осуществляется получение удаленного доступа к рабочему месту исследуемой сети.

Полученная выборка разбита на два множества – тренировочное и тестовое. На тренировочной выборке обучены следующие алгоритмы классификации, а именно: мультиномиальный логит (Мultinomial logit), метод опорных векторов (SVM), искусственная нейронная сеть (Neural Net), метод деревьев решений (Tree model), случайный лес (Random Forest).

Для оценки эффективности работы небинарных классификаторов используются метрики, рассчитываемые по результатам работы классификаторов на тестовой выборке.

Для построения метрик используются показатели:

1. Истинное срабатывание – система обнаружения вторжений правильно сработала на трафике атаки (англ. true positive, ).
2. Ложное срабатывание – система сработала на каком-то трафике, который являлся нормальным (англ. false positive, ).
3. Истинный пропуск – система правильно не сработала на легальном пользовательском трафике (англ. true negative, ).
4. Ложный пропуск – система не сработала на вредоносном трафике (англ. false negative, ).

Далее приведены примеры нескольких метрик [4]:

1. Доля ошибок, вычисляемая по формуле (1):

 

2. Доля правильных ответов, вычисляемая по формуле (2):
3. Точность системы – доля объектов, которые были названы классификатором вредоносными и действительно являющиеся вредоносными, то есть данная метрика показывает, как часто модель принимала правильное решение при маркировке запроса как злонамеренного. Данная величина вычисляется по формуле (3):

 

4. Полнота системы – доля правильно классифицированных запросов из всех. Вычисляется по формуле (4):

 

5. F-мера – гармоническое среднее между полнотой и точностью, вычисляемое по формуле (5):

 

Далее будет рассмотрено обобщение метрик  точность, полнота и F-мера на небинарный случай с помощью микроусреднения, макроусреднения и средневзвешенного подхода.

При микроусреднении все выборки вносят одинаковый вклад в итоговую метрику. При несбалансированности классов, те из них, в которых больше наблюдений, окажут большее влияние на результат. Микроусреднение рассчитывается по формулам (6):

 

 где  - общее число истинных срабатываний,  - общее число ложных срабатываний,  - общее число ложных пропусков.

При макроусреднении все классы имеют одинаковый вклад в итоговую метрику, что позволяет более точно оценивать при выборке с несбалансированными классами. Макроусреднение рассчитывается по формулам (7):

 

 

 

где ,  - число классов, - общее число истинных срабатываний i-ного класса,  - общее число ложных срабатываний i-ного класса,  - общее число ложных пропусков i-ного класса.

При средневзвешенном подходе вклад каждого класса в итоговую метрику взвешивается по его размеру. Средневзвешенный подход используется при несбалансированной выборке, когда необходимо придать большее значение классу с большим количеством примеров.

 При средневзвешенном подходе метрики рассчитываются по формулам (8):

 

 

где ,  - число классов, - общее число объектов, - общее число объектов i-ного класса.

В качестве дополнительной метрики используется ROС-кривой и вычисления параметра AUC, равного площади под ROС-кривой. При небинарной классификации необходимо построить ROС-кривую для каждого из классов. При обобщении метрики AUC осуществляется усреднение ее значения.

Результат расчета описанных метрик представлен в таблице 1.

Таблица 1. Оценки качества классификаторов.

Оценка\Модель	Tree model	Random Forest	SVM	Мultinomial logit	Neural Net
Err	41,163	29,731	36,382	38,116	84,062
Accuracy	58,837	70,269	63,618	61,884	15,938
F_мера_micro	0,5884	0,7027	0,6362	0,6188	0,1594
Precision_macro	0,4076	0,5675	0,4831	0,4723	0,1336
Recall_macro	0,6646	0,7048	0,6767	0,6664	0,1023
F-мера_macro	0,5884	0,7027	0,6362	0,6188	0,1594
Precision_weighted	0,548	0,7328	0,6427	0,632	0,1148
Recall_weighted	0,9004	0,9428	0,9173	0,907	0,0987
F-мера_weighted	0,548	0,7328	0,6427	0,632	0,1148
AUS среднее	0,823	0,8323	0,8327	0,8233	0,6557

Для сравнения классификаторов используется тест Фридмана и тест Неменьи. Применения теста Фридмана для сравнения качества классификаторов рассматривается в работах [5],[6]. Тест Фридмана осуществляет проверку гипотезы, что классификаторы равны. Теста Неменьи осуществляется попарное сравнение классификаторов.

По каждой метрики осуществляется присвоение классификаторам ранга в соответствии со значениями в таблицы 14, причем для оценок Accuracy, F_мера_micro, Precision_macro, Recall_macro, F-мера_macro, Precision_weighted, Recall_weighted, F-мера_weighted, AUS среднее 1 соответствует наивысшей значению, а 5 – наименьшем. Для оценки Err, показывающей процент ошибок классификатора, 1 соответствует наименьшей величине значению, а 5 – наибольшей. Результаты ранжирования приведены в таблице 2.

Таблица 2. Ранжирование классификаторов по оценкам.

Оценка\Модель	Tree model	Random Forest	SVM	Мultinomial logit	Neural Net
Errors	4	1	2	3	5
Accuracy	4	1	2	3	5
F_мера_micro	4	1	2	3	5
Precision_macro	4	1	2	3	5
Recall_macro	4	1	2	3	5
F-мера_macro	4	1	2	3	5
Precision_weighted	4	1	2	3	5
Recall_weighted	4	1	2	3	5
F-мера_weighted	4	1	2	3	5
AUS среднее	4	2	1	3	5
Среднее значение	4	1,1	1,9	3	5

После получения таблицы ранжирования осуществляется расчет критерия  по формуле (9):

где N – количество оценок, k – количество классификаторов, R – средний ранг классификатора.

В рассматриваемом случае . После осуществляется получение статистики теста FF с помощью формулы (10).

В рассматриваемом случае FF = 17,062. Величина статистики сравнивается с критической табличной величиной, равной при степенях свободы 5 и 10 с уровнем значимости : . Т.к.   принимается гипотеза, что классификаторы различны. Для сравнения классификаторов между собой используется попарно тест Неменьи.

Для теста Неменьи осуществляется попарное сравнение между средними рангами с критическим расстоянием CD, рассчитываемой по формуле (11):

Величина  является табличной и при уровнем значимости  равной 2.728. Соответственно, величина CD= 1,950

Попарное сравнение средних рангов между классификаторами приведено в таблице 3.

Таблица 3. Попарное сравнение средних рангов между классификаторами.

	Tree model	Random Forest	SVM	Мultinomial logit	Neural Net
Tree model	0	2,9	2,1	1	1
Random Forest	2,9	0	0,8	1,9	3,9
SVM	2,1	0,8	0	1,1	3,1
Мultinomial logit	1	1,9	1,1	0	2
Neural Net	1	3,9	3,1	2	0

Исходя из таблиц 2-3 следует, что модели SVM и Random Forest статистически отличается и является лучшим по сравнению с Neural Net и Tree model. Модель Мultinomial logit показывает результат лучше, чем Neural Net.

Соответственно, по тесту Неменьи Random Forest является лучшим классификатором для данной задачи, т.к. в отличии от SVM является статистически значимо лучше, чем Мultinomial logit.

Список литературы

1. Большаков А. С., Губанкова Е. В. Обнаружение аномалий в компьютерных сетях с использованием методов машинного обучения //REDS: Телекоммуникационные устройства и системы. – 2020. – Т. 10. – №. 1. – С. 37-42.
2. Частикова В. А., Жерлицын С. А., Сотников В. В. Нейросетевая технология обнаружения аномального сетевого трафика //Прикаспийский журнал: управление и высокие технологии. – 2020. – №. 1 (49). – С. 20-32.
3. Иман Шарафалдин, Араш Хабиби Лашкари и Али А. Горбани, «Созданию нового набора данных для обнаружения вторжений и характеризации аномального трафика», 4-я Международная конференция по безопасности и конфиденциальности информационных систем (ICISSP), Португалия, январь 2018 г.
4. Старовойтов В.В., Голуб Ю.И. Сравнительный анализ оценок качества бинарной классификации. Информатика. 2020;17(1):87-101.
5. Калиновский И. А., Спицын В. Г. Обзор и тестирование детекторов фронтальных лиц - Компьютерная оптика. – 2016. – Т. 40. – №. 1. – С. 99-111.
6. Трифонов А. А. и др. Метод и алгоритмы декодирования электрофизиологических сигналов в биотехнических системах реабилитационного типа - Известия Юго-Западного государственного университета. Серия: Управление, вычислительная техника, информатика. Медицинское приборостроение. – 2023. – Т. 11. – №. 3. – С. 48-77.