Угроза нарушения функционирования («обхода») средств, реализующих технологии искусственного интеллекта
Угроза заключается в возможности нарушения функционирования («обхода») нарушителем средств, реализующих технологии искусственного интеллекта. Данная угроза обусловлена следующими причинами: - отсутствие в обучающей выборке необходимых данных; - наличием недостатков модели машинного обучения;
Первоисточник — карточка угрозы в банке данных ФСТЭК России: https://bdu.fstec.ru/threat/ubi.220. Перед применением сверьте формулировку с первоисточником.
Меры защиты против УБИ.220
Сопоставление ведётся не с кодом конкретного приказа, а с мерой «по сути»: у одной и той же меры в разных приказах разные коды, а иногда она там отсутствует. Прочерк в столбце означает, что меры с таким смыслом в приказе нет. Для нейтрализации угрозы потребуется мера из другого источника — это дополнение базового набора, предусмотренное шагом 4 методики.
| Мера | № 239 | № 117 | № 21 | № 31 |
|---|---|---|---|---|
| Реализация модели управления доступом | УПД.2 | УПД.1 | УПД.2 | УПД.2 |
| Анализ уязвимостей и их устранение | АУД.2 | — | АНЗ.1 | АУД.2 |
| Обнаружение и предотвращение компьютерных атак | СОВ.1 | СОВ.1 | СОВ.1 | СОВ.1 |
Почему именно эти меры
Нарушение функционирования или обход средств, реализующих технологии искусственного интеллекта (например, состязательные примеры, обманывающие модель). Анализ уязвимостей (АУД.2), применённый к устойчивости самой модели к такому обходу, остаётся ближайшим доступным в каталоге аналогом тестирования на состязательные атаки, для которого отдельной меры пока не существует. Обнаружение вторжений (СОВ.1) может заметить аномальные входные данные, типичные для попытки обхода. Корректная модель доступа (УПД.2) ограничивает, кто вообще может подавать данные на вход средству ИИ.
Сценарий реализации
Черновик пути нарушителя, который инструмент предлагает для этой угрозы на шаге «Сценарии». Это не разметка ФСТЭК: методика (п. 5.3.5–5.3.6) требует строить сценарий по результатам инвентаризации и тестирования конкретной системы.
Целью становится не программный код, а данные, на которых обучается модель, и сама модель: нарушитель получает доступ к обучающей выборке или к конвейеру обучения и изменяет поведение системы, не меняя её программ. Путь описывает отравление данных и обход модели; хищение обучающих данных, раскрытие сведений о модели и её подмена при прямом доступе идут путём внутреннего нарушителя.
Конечное воздействие по тактике Т10 — Т10.1 Несанкционированный доступ к информации в памяти системы, файловой системе, базах данных, репозиториях, в программных модулях и прошивках
Нужна не отдельная угроза, а модель угроз целиком?
Инструмент проводит систему по шагам методики оценки угроз ФСТЭК России от 05.02.2021: профиль системы, негативные последствия, модель нарушителя, выбор угроз, сценарии. На выходе — готовый документ с мерами защиты по выбранным приказам.