Угроза подмены модели машинного обучения

Угроза заключается в возможности подмены нарушителем модели машинного обучения, используемой в информационной (автоматизированной) системе, реализующей технологии искусственного интеллекта. Данная угроза обусловлена слабостями разграничения доступа в информационных (автоматизированных) системах, использующих машинное обучение. Реализация данной угрозы возможна при наличии у нарушителя непосредственного доступа к модели машинного обучения

Источник угрозы

Внутренний нарушитель с высоким потенциалом

Объект воздействия

Программное обеспечение (программы), использующее машинное обучение; модели машинного обучения

Виды объектов воздействия

Прикладное ПОМодели машинного обучения группировка поля выше, сделанная в этом справочнике: ни БДУ, ни методика видов объектов не перечисляют

Нарушаемые свойства

конфиденциальностьцелостность

Среда реализации

Искусственный интеллект / машинное обучение

Первоисточник — карточка угрозы в банке данных ФСТЭК России: https://bdu.fstec.ru/threat/ubi.222. Перед применением сверьте формулировку с первоисточником.

Меры защиты против УБИ.222

Сопоставление ведётся не с кодом конкретного приказа, а с мерой «по сути»: у одной и той же меры в разных приказах разные коды, а иногда она там отсутствует. Прочерк в столбце означает, что меры с таким смыслом в приказе нет. Для нейтрализации угрозы потребуется мера из другого источника — это дополнение базового набора, предусмотренное шагом 4 методики.

Почему именно эти меры

Подмена модели машинного обучения, используемой в системе. Контроль целостности (ОЦЛ.1), применённый к файлу модели, обнаруживает подмену по тому же принципу, что и контроль целостности ПО или образов контейнеров (см. УБИ.227). Получение модели только из доверенного источника при развёртывании/обновлении (ОПО.1) не даёт подменить её под видом легитимного обновления. Корректная модель доступа к хранилищу моделей (УПД.2) ограничивает, кто может заменить файл модели.

Сценарий реализации

Черновик пути нарушителя, который инструмент предлагает для этой угрозы на шаге «Сценарии». Это не разметка ФСТЭК: методика (п. 5.3.5–5.3.6) требует строить сценарий по результатам инвентаризации и тестирования конкретной системы.

Конечное воздействие по тактике Т10 — Т10.7 Подмена информации (например, платежных реквизитов) в памяти или информации, хранимой в виде файлов, информации в базах данных и репозиториях, информации на неразмеченных областях дисков и сменных носителей