Угроза модификации модели машинного обучения путем искажения («отравления») обучающих данных

Угроза заключается в возможности модификации (искажения) модели машинного обучения, используемой в информационной (автоматизированной) системе, реализующей технологии искусственного интеллекта. Данная угроза обусловлена: - недостатками реализации процесса машинного обучения; - недостатками устройства алгоритмов машинного обучения. Реализация данной угрозы возможна при наличии у нарушителя возможности воздействовать на процесс машинного обучения

Источник угрозы

Внешний нарушитель с высоким потенциалом; Внутренний нарушитель со средним потенциалом

Объект воздействия

Программное обеспечение (программы), использующее машинное обучение; модели машинного обучения; обучающие данные машинного обучения

Виды объектов воздействия

Прикладное ПОДанные и файлыМодели машинного обучения группировка поля выше, сделанная в этом справочнике: ни БДУ, ни методика видов объектов не перечисляют

Нарушаемые свойства

целостность

Среда реализации

Искусственный интеллект / машинное обучение

Первоисточник — карточка угрозы в банке данных ФСТЭК России: https://bdu.fstec.ru/threat/ubi.221. Перед применением сверьте формулировку с первоисточником.

Меры защиты против УБИ.221

Сопоставление ведётся не с кодом конкретного приказа, а с мерой «по сути»: у одной и той же меры в разных приказах разные коды, а иногда она там отсутствует. Прочерк в столбце означает, что меры с таким смыслом в приказе нет. Для нейтрализации угрозы потребуется мера из другого источника — это дополнение базового набора, предусмотренное шагом 4 методики.

Почему именно эти меры

Модификация модели машинного обучения путём искажения («отравления») обучающих данных. Корректная модель доступа к конвейеру обучения (УПД.2) не даёт постороннему источнику вносить данные в обучающую выборку. Контроль вводимых данных (ОЦЛ.4), применённый к обучающим данным, даёт валидацию и статистическую проверку на аномалии до использования в обучении. Анализ (АУД.2) добавляет систематическую проверку выборки на признаки отравления.

Сценарий реализации

Черновик пути нарушителя, который инструмент предлагает для этой угрозы на шаге «Сценарии». Это не разметка ФСТЭК: методика (п. 5.3.5–5.3.6) требует строить сценарий по результатам инвентаризации и тестирования конкретной системы.

Конечное воздействие по тактике Т10 — Т10.1 Несанкционированный доступ к информации в памяти системы, файловой системе, базах данных, репозиториях, в программных модулях и прошивках