Угроза раскрытия информации о модели машинного обучения

Угроза заключается в возможности раскрытия нарушителем информации о модели машинного обучения, используемой в информационной (автоматизированной) системе. Данная угроза обусловлена слабостями разграничения доступа в информационных (автоматизированных) системах, использующих машинное обучение. Реализация данной угрозы возможна при наличии у нарушителя непосредственного доступа к модели машинного обучения

Источник угрозы

Внешний нарушитель с высоким потенциалом; Внутренний нарушитель со средним потенциалом

Объект воздействия

Программное обеспечение (программы), использующее машинное обучение; модели машинного обучения

Виды объектов воздействия

Прикладное ПОМодели машинного обучения группировка поля выше, сделанная в этом справочнике: ни БДУ, ни методика видов объектов не перечисляют

Нарушаемые свойства

конфиденциальность

Среда реализации

Искусственный интеллект / машинное обучение

Первоисточник — карточка угрозы в банке данных ФСТЭК России: https://bdu.fstec.ru/threat/ubi.218. Перед применением сверьте формулировку с первоисточником.

Меры защиты против УБИ.218

Сопоставление ведётся не с кодом конкретного приказа, а с мерой «по сути»: у одной и той же меры в разных приказах разные коды, а иногда она там отсутствует. Прочерк в столбце означает, что меры с таким смыслом в приказе нет. Для нейтрализации угрозы потребуется мера из другого источника — это дополнение базового набора, предусмотренное шагом 4 методики.

Почему именно эти меры

Раскрытие информации о модели машинного обучения из-за слабостей разграничения доступа. Отдельной группы мер для технологий ИИ ни в одном из подключённых приказов нет, поэтому состав собран из общих принципов, применённых к модели как к защищаемому объекту. Корректная модель доступа (УПД.2) отвечает первопричине, названной в самой угрозе. Сокрытие архитектуры и конфигурации (ЗИС.8), применённое к модели, ограничивает объём раскрываемых о ней сведений. Регистрация событий (АУД.4) фиксирует нетипичные паттерны обращения к модели, характерные для попыток извлечения информации о ней.

Сценарий реализации

Черновик пути нарушителя, который инструмент предлагает для этой угрозы на шаге «Сценарии». Это не разметка ФСТЭК: методика (п. 5.3.5–5.3.6) требует строить сценарий по результатам инвентаризации и тестирования конкретной системы.

Конечное воздействие по тактике Т10 — Т10.1 Несанкционированный доступ к информации в памяти системы, файловой системе, базах данных, репозиториях, в программных модулях и прошивках