Угрозы безопасности AI-решений
В справочнике собраны угрозы безопасности решений на основе моделей машинного обучения. Каталог применим к системам, в которых используются RAG, дообученные модели и адаптеры, AI-агенты и мультиагентные системы.
Конструктор оставляет из каталога то, что актуально для конкретного решения, и печатает основание по каждой снятой угрозе.
Устройство каталога
Каталог собран на трёх осях. Нарушитель применяет способ реализации, способ приводит к угрозе, угроза наступает в объекте защиты.
- Н1–Н4 Нарушитель Четыре уровня возможностей и три степени осведомлённости. Часть угроз реализуется и без него.
- 57 Способ реализации СИИ Механика воздействия, сгруппированная по 14 тактикам MITRE ATLAS.
- 39 Угроза УИИ Наступившее последствие и нарушенное свойство информации.
- 25 Объект ОБ Часть AI-решения, в которой наступает последствие.
Перечня угроз искусственного интеллекта ФСТЭК России не издавала. В банке данных угроз тема представлена пятью записями — УБИ.218, УБИ.219, УБИ.220, УБИ.221, УБИ.222; промпт-атак, утечки системного промпта, выхода за границы песочницы через функции агента и каскадов между агентами там нет. Каталог ниже составлен нами, чтобы этот контур можно было описать в модели угроз. Коды УИИ и СИИ придуманы здесь. В технический проект каталог кладётся как экспертная аналитика: основанием остаются банк данных угроз и приказы.
Способы реализации сгруппированы по тактикам MITRE ATLAS — публичной матрицы приёмов против систем машинного обучения. Из ATLAS взяты названия тактик; сами угрозы и способы написаны здесь.
Этапы жизненного цикла и объекты
Границы AI-решения задаются этапами. Угроза, все объекты которой лежат вне применяемых этапов, из рассмотрения уходит. Тот же порядок действует для угрозы банка данных при отсутствующей технологии. Этап «Модель» есть и у решения, которое ничего не обучает, а работает на полученной модели: модель, адаптер и фреймворк остаются его объектами.
Сбор и подготовка данных
4 объекта · 7 угроз
- ОБ.01 Внешние источники данных — Наборы, веб-корпуса и потоки, приходящие из-за периметра
- ОБ.02 Внутренние источники обучающих данных — Базы, файловые хранилища и потоки организации, из которых собирается выборка; та же база как источник знаний для RAG — ОБ.14
- ОБ.03 Обучающие, тестовые и валидационные наборы данных
- ОБ.04 Конвейер подготовки данных — Обработка, очистка, фильтрация, разметка, версионирование
Модель: получение, обучение и адаптация
6 объектов · 12 угроз
- ОБ.05 Фреймворки и сторонние библиотеки
- ОБ.06 Внешние (предобученные) модели — Веса и артефакты, загруженные из публичных репозиториев
- ОБ.07 Модель — Веса, архитектура, гиперпараметры
- ОБ.08 Адаптер модели — LoRA и иные надстройки, подключаемые без изменения весов
- ОБ.09 Процессы обучения, дообучения и валидации
- ОБ.10 Инфраструктура обучения — Вычислительные кластеры, интерактивные среды разработки, хранилища артефактов
Эксплуатация модели и интеграции
15 объектов · 31 угроза
- ОБ.11 Инфраструктура инференса — Развёртывание модели, шлюзы API, балансировка
- ОБ.12 Системный промпт — Инструкции, задающие роль, цель и ограничения модели
- ОБ.13 Механизмы предобработки и постобработки данных — Фильтры ввода и вывода, маскирование, проверка формата
- ОБ.14 Векторное хранилище и внутренние источники знаний для RAG — Данные, которыми дополняется запрос; та же база как источник обучающей выборки — ОБ.02
- ОБ.15 Память и кэш агента — Долговременная и краткосрочная память, история диалога
- ОБ.16 Функции и инструменты агента — Внешние вызовы, их описания и права
- ОБ.17 Оркестратор и каналы межагентного обмена
- ОБ.18 Среда исполнения агента — Песочница, контейнер, временные файлы, сетевые политики
- ОБ.19 Внешние ресурсные системы — Сервисы, базы и API, от которых зависит работа агента
- ОБ.20 Учётные данные и ключи доступа к моделям
- ОБ.21 Журналы и трассировки запросов
- ОБ.22 Входные и выходные данные пользователя
- ОБ.23 Приложение (прикладная логика агента) — Код, который вызывает модель, разбирает её ответ и передаёт его дальше: в интерфейс, базу данных, командную строку
- ОБ.24 Внешний сервис модели (поставщик) — Модель как услуга; не под контролем организации и включается в границы как зависимость
- ОБ.25 Оператор и процесс реагирования — Человек в контуре, который разбирает уведомления решения и принимает по ним решения
Перечень угроз
Угроза описывает последствие. В строке перечня указаны нарушаемые свойства информации, минимальный уровень возможностей нарушителя и число способов реализации. Описание, объекты защиты и сами способы открываются по нажатию на строку. 9 угроз с пометкой «и без нарушителя» реализуются как свойство технологии или дефект процесса. Конструктор профиля такие угрозы по нарушителю не снимает, и способов реализации у них может не быть.
Разведка и сбор сведений об AI-решении — 4
УИИ.02 Раскрытие сведений об архитектуре и параметрах модели К от Н1 7 способов
Нарушитель получает описание архитектуры, гиперпараметров, границ принятия решений или иных внутренних свойств модели — из открытой документации и репозиториев, из технических отчётов, из ответов самой модели. Сведения снижают стоимость всех последующих атак: подбор состязательных примеров из перебора превращается в расчёт.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Модель
- Объекты защиты
- ОБ.07Модель; ОБ.08Адаптер модели
Способы реализации — 7
- СИИ.01 Сбор сведений о модели из открытых источников Н1 · black-box
- СИИ.36 Перехват или подмена модели при передаче между этапами Н2 · grey-box
- СИИ.37 Использование недостатков изоляции интерактивных сред разработки Н2 · grey-box
- СИИ.41 Несанкционированное получение, подмена или удаление обученной модели Н2 · grey-box
- СИИ.47 Извлечение остаточных данных из общей инфраструктуры инференса Н3 · grey-box
- СИИ.48 Извлечение модели (построение теневой копии) через инференс Н2 · black-box
- СИИ.52 Опрос модели о её устройстве, инструментах и окружении Н1 · black-box
УИИ.04 Раскрытие сведений о среде исполнения AI-решения К от Н1 6 способов
Нарушитель выясняет состав среды: переменные окружения, внутренние адреса, версии библиотек, доступные пути файловой системы, права процесса. Обычно достигается ответом самой модели на запрос, сформулированный как служебный, и служит подготовкой к выходу за границы изоляции.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.18Среда исполнения агента; ОБ.11Инфраструктура инференса
Способы реализации — 6
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.23 Несанкционированное изменение AI-агента Н2 · grey-box
- СИИ.51 Отправка данных из среды исполнения агента на внешние ресурсы Н2 · black-box
- СИИ.52 Опрос модели о её устройстве, инструментах и окружении Н1 · black-box
УИИ.06 Раскрытие состава и правил мультиагентной системы К от Н1 6 способов
Нарушитель выясняет, из каких агентов собрана система, какие у них роли и права и по каким правилам они обмениваются сообщениями. Это позволяет выбрать самое слабое звено и подделать сообщение, которое остальные агенты примут как доверенное.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.17Оркестратор и каналы межагентного обмена
Способы реализации — 6
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.16 Эксплуатация недостатков протоколов межагентного обмена Н3 · grey-box
- СИИ.22 Несанкционированное получение или изменение системных промптов Н2 · grey-box
- СИИ.23 Несанкционированное изменение AI-агента Н2 · grey-box
- СИИ.52 Опрос модели о её устройстве, инструментах и окружении Н1 · black-box
УИИ.07 Раскрытие конфигурации AI-агента К от Н1 7 способов
Нарушитель получает параметры настройки агента: перечень доступных функций, ограничения на их вызов, пороги срабатывания, права. Зная границу дозволенного, он строит запрос, который её не нарушает формально, но приводит к нужному ему вызову.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.16Функции и инструменты агента; ОБ.18Среда исполнения агента
Способы реализации — 7
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.22 Несанкционированное получение или изменение системных промптов Н2 · grey-box
- СИИ.23 Несанкционированное изменение AI-агента Н2 · grey-box
- СИИ.51 Отправка данных из среды исполнения агента на внешние ресурсы Н2 · black-box
- СИИ.52 Опрос модели о её устройстве, инструментах и окружении Н1 · black-box
Утечка конфиденциальной информации и хищение активов ИИ — 9
УИИ.01 Хищение обучающих, тестовых и валидационных наборов данных К от Н2 3 способа
Нарушитель копирует наборы данных из хранилищ подготовки данных или из среды обучения. Организация утрачивает вложения в сбор и разметку, а нарушитель получает материал для последующих атак: зная обучающую выборку, он подбирает входные данные, на которых модель ошибается, и оценивает, какие сведения модель могла запомнить.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Данные, Модель
- Объекты защиты
- ОБ.03Обучающие, тестовые и валидационные наборы данных; ОБ.10Инфраструктура обучения
Способы реализации — 3
УИИ.03 Хищение модели или создание её функциональной копии К от Н2 6 способов
Нарушитель получает файлы модели либо воссоздаёт её поведение, систематически опрашивая через доступный интерфейс и обучая свою модель на парах «запрос — ответ». Копия воспроизводит функции оригинала, не требуя доступа к весам, и далее исследуется без ограничений и без риска обнаружения.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Модель, Эксплуатация
- Объекты защиты
- ОБ.07Модель; ОБ.08Адаптер модели; ОБ.11Инфраструктура инференса
Способы реализации — 6
- СИИ.11 Несанкционированное подключение к модели Н2 · grey-box
- СИИ.36 Перехват или подмена модели при передаче между этапами Н2 · grey-box
- СИИ.37 Использование недостатков изоляции интерактивных сред разработки Н2 · grey-box
- СИИ.41 Несанкционированное получение, подмена или удаление обученной модели Н2 · grey-box
- СИИ.47 Извлечение остаточных данных из общей инфраструктуры инференса Н3 · grey-box
- СИИ.48 Извлечение модели (построение теневой копии) через инференс Н2 · black-box
УИИ.08 Раскрытие системного промпта К от Н1 9 способов
Нарушитель добивается вывода системных инструкций либо получает их из хранилища. Системный промпт содержит цели, роли, правила и описание процесса, то есть то, что составляет ценность решения, и его раскрытие позволяет воспроизвести решение без доступа к модели и данным. Кроме того, нарушитель узнаёт, какие ограничения наложены на модель и как они сформулированы, и дальнейшие запросы строит против конкретного текста ограничений.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.12Системный промпт
Способы реализации — 9
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.22 Несанкционированное получение или изменение системных промптов Н2 · grey-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
- СИИ.40 Эксплуатация недостатков прикладной обработки данных Н2 · black-box
- СИИ.46 Анализ размера и времени пакетов потоковых ответов Н3 · black-box
- СИИ.51 Отправка данных из среды исполнения агента на внешние ресурсы Н2 · black-box
- СИИ.52 Опрос модели о её устройстве, инструментах и окружении Н1 · black-box
УИИ.09 Утечка конфиденциальных данных из наборов данных К и без нарушителя 4 способа
В обучающие, тестовые или валидационные наборы попадают персональные данные, коммерческая или иная охраняемая тайна — из-за неполноты фильтрации и обезличивания на этапе подготовки. Утечка наступает при доступе к самому набору; воспроизведение тех же данных обученной моделью описано отдельной угрозой УИИ.11.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Данные
- Объекты защиты
- ОБ.03Обучающие, тестовые и валидационные наборы данных; ОБ.04Конвейер подготовки данных
Способы реализации — 4
- СИИ.30 Эксплуатация неполноты классификации данных на входе конвейера Н3 · white-box
- СИИ.31 Несанкционированный доступ к наборам данных Н2 · grey-box
- СИИ.32 Перехват или изменение данных при передаче между этапами подготовки Н2 · grey-box
- СИИ.37 Использование недостатков изоляции интерактивных сред разработки Н2 · grey-box
УИИ.10 Утечка конфиденциальных данных из журналов и трассировок К от Н2 2 способа
Журналы запросов и трассировки вызовов сохраняют промпты, ответы и параметры целиком, включая то, что пользователь передал модели. Требования к их защите обычно ниже, чем к защите исходных данных, а содержимое то же самое; при использовании внешнего сервиса инференса журналы дополнительно оказываются за периметром организации.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.21Журналы и трассировки запросов
Способы реализации — 2
УИИ.11 Утечка данных, запомненных моделью или адаптером К от Н1 6 способов
Модель воспроизводит фрагменты обучающей выборки дословно либо позволяет установить, входила ли конкретная запись в обучение. Дообучение на небольшом наборе внутренних данных усиливает эффект: чем реже пример, тем точнее он запоминается.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Модель
- Объекты защиты
- ОБ.07Модель; ОБ.08Адаптер модели
Способы реализации — 6
- СИИ.11 Несанкционированное подключение к модели Н2 · grey-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.30 Эксплуатация неполноты классификации данных на входе конвейера Н3 · white-box
- СИИ.38 Подбор формулировок, обходящих встроенные ограничения модели Н2 · black-box
- СИИ.48 Извлечение модели (построение теневой копии) через инференс Н2 · black-box
- СИИ.49 Восстановление обучающих данных через взаимодействие с моделью Н2 · black-box
УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG К от Н1 12 способов
Модель дополняет запрос данными из внутренних баз и векторного хранилища, и в ответ попадает то, к чему у пользователя доступа нет: разграничение доступа проверяется при обращении к источнику, но не при выдаче ответа. Утечка возможна и в обратную сторону — через передачу внутренних данных во внешнюю модель в составе запроса.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Данные, Эксплуатация
- Объекты защиты
- ОБ.14Векторное хранилище и внутренние источники знаний для RAG; ОБ.02Внутренние источники обучающих данных
Способы реализации — 12
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.26 Использование недостатков настройки допустимых операций и прав Н1 · black-box
- СИИ.27 Использование недостатков изоляции и контроля доступа к данным Н3 · grey-box
- СИИ.28 Использование недостатков изоляции между агентами разных уровней доступа Н3 · grey-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
- СИИ.34 Отключение или изменение механизмов защиты Н2 · grey-box
- СИИ.35 Несанкционированный доступ к внутренним источникам и векторному хранилищу Н2 · grey-box
- СИИ.46 Анализ размера и времени пакетов потоковых ответов Н3 · black-box
- СИИ.50 Восстановление данных из векторных представлений Н3 · grey-box
- СИИ.51 Отправка данных из среды исполнения агента на внешние ресурсы Н2 · black-box
УИИ.13 Утечка конфиденциальных данных из механизмов памяти агента К от Н1 6 способов
Память агента накапливает содержимое прошлых сессий, в том числе чужих. При недостаточной изоляции по пользователю и сессии данные одного обращения выдаются в другом.
- Нарушаемые свойства
- конфиденциальность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.15Память и кэш агента
Способы реализации — 6
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.23 Несанкционированное изменение AI-агента Н2 · grey-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
- СИИ.51 Отправка данных из среды исполнения агента на внешние ресурсы Н2 · black-box
УИИ.14 Компрометация учётных данных и ключей доступа к моделям КД от Н1 7 способов
Нарушитель получает ключи API, токены и сертификаты, которыми решение обращается к моделям и внешним сервисам. Дальше он работает от имени организации: читает её данные, расходует её лимиты вплоть до исчерпания квоты и остаётся неотличим от легитимного вызова в журналах.
- Нарушаемые свойства
- конфиденциальность, доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.20Учётные данные и ключи доступа к моделям
Способы реализации — 7
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.22 Несанкционированное получение или изменение системных промптов Н2 · grey-box
- СИИ.37 Использование недостатков изоляции интерактивных сред разработки Н2 · grey-box
- СИИ.42 Несанкционированное получение учётных данных и ключей доступа к моделям Н2 · grey-box
- СИИ.45 Использование недостатков контроля доступа к журналам Н2 · grey-box
- СИИ.51 Отправка данных из среды исполнения агента на внешние ресурсы Н2 · black-box
Несанкционированное воздействие на данные, модель и среду исполнения — 8
УИИ.15 Удаление или уничтожение наборов данных ЦД от Н2 2 способа
Обучающие, тестовые и валидационные наборы утрачиваются вследствие несанкционированного удаления либо отсутствия управления их жизненным циклом. Воспроизвести обучение и доказать, на чём модель училась, становится нечем.
- Нарушаемые свойства
- целостность, доступность
- Этапы
- Данные
- Объекты защиты
- ОБ.03Обучающие, тестовые и валидационные наборы данных
Способы реализации — 2
УИИ.16 Обучение или оценка модели на отравленных данных Ц от Н2 6 способов
В выборку намеренно вносятся примеры, задающие модели нужное нарушителю поведение, — от общего снижения точности до скрытой закладки, срабатывающей на редкий признак. Отравление валидационной выборки отдельно опасно тем, что скрывает следы: проверка подтверждает качество модели, которая его не имеет. Последствие наступает в наборах данных и в процессе обучения; внешние и внутренние источники остаются объектами воздействия у способов.
- Нарушаемые свойства
- целостность
- Этапы
- Данные, Модель
- Объекты защиты
- ОБ.03Обучающие, тестовые и валидационные наборы данных; ОБ.09Процессы обучения, дообучения и валидации
Способы реализации — 6
- СИИ.04 Отравление данных во внешних источниках Н2 · black-box
- СИИ.05 Подмена содержимого источника после его проверки Н3 · grey-box
- СИИ.06 Отравление данных во внутренних источниках Н2 · grey-box
- СИИ.30 Эксплуатация неполноты классификации данных на входе конвейера Н3 · white-box
- СИИ.31 Несанкционированный доступ к наборам данных Н2 · grey-box
- СИИ.32 Перехват или изменение данных при передаче между этапами подготовки Н2 · grey-box
УИИ.17 Внедрение и выполнение вредоносного кода в инфраструктуре AI КЦД от Н2 7 способов
Код исполняется в инфраструктуре подготовки данных, обучения или инференса. Помимо обычных последствий, это даёт доступ к тому, ради чего инфраструктура существует: к данным, весам и артефактам обучения.
- Нарушаемые свойства
- конфиденциальность, целостность, доступность
- Этапы
- Модель, Эксплуатация
- Объекты защиты
- ОБ.10Инфраструктура обучения; ОБ.11Инфраструктура инференса; ОБ.05Фреймворки и сторонние библиотеки
Способы реализации — 7
- СИИ.07 Эксплуатация уязвимостей сторонних библиотек и фреймворков Н2 · grey-box
- СИИ.08 Вредоносный код в артефакте внешней модели Н2 · grey-box
- СИИ.10 Загрузка вредоносного программного обеспечения из внешних источников Н2 · black-box
- СИИ.37 Использование недостатков изоляции интерактивных сред разработки Н2 · grey-box
- СИИ.43 Использование агента для активации вредоносного кода из внутренних ресурсов Н3 · grey-box
- СИИ.44 Выполнение произвольного кода через уязвимости среды исполнения Н3 · grey-box
- СИИ.55 Публикация пакетов под именами, выдуманными моделью Н2 · black-box
УИИ.18 Нарушение целостности источников RAG, описаний инструментов и памяти агента (закреплённая промпт-атака) КЦ от Н2 8 способов
Инструкции оказываются там, откуда решение читает данные как доверенные: в документе внутренней базы, в описании функции, в долговременной памяти агента. Атака отложена — она срабатывает не в момент внедрения, а когда модель прочитает это содержимое, и воспроизводится при каждом обращении.
- Нарушаемые свойства
- конфиденциальность, целостность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.14Векторное хранилище и внутренние источники знаний для RAG; ОБ.15Память и кэш агента; ОБ.16Функции и инструменты агента
Способы реализации — 8
- СИИ.06 Отравление данных во внутренних источниках Н2 · grey-box
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.23 Несанкционированное изменение AI-агента Н2 · grey-box
- СИИ.24 Внедрение содержимого через функции сохранения пользовательских данных Н2 · black-box
- СИИ.29 Манипуляция вызовами функций агента Н2 · black-box
- СИИ.35 Несанкционированный доступ к внутренним источникам и векторному хранилищу Н2 · grey-box
- СИИ.58 Отравление описания инструмента агента Н2 · black-box
УИИ.19 Несанкционированные действия агента с данными и во внешних системах вследствие выполнения вредоносных инструкций ЦД от Н1 7 способов
Модель, получив инструкцию из недоверенного источника, вызывает функции записи, удаления и внешних операций: изменяет внутренние данные, проводит платёж, отправляет письмо, оформляет заказ. Действие совершается штатным механизмом, от имени решения и с его правами, поэтому средства контроля целостности и внешняя система видят легитимную операцию.
- Нарушаемые свойства
- целостность, доступность
- Этапы
- Данные, Эксплуатация
- Объекты защиты
- ОБ.02Внутренние источники обучающих данных; ОБ.14Векторное хранилище и внутренние источники знаний для RAG; ОБ.19Внешние ресурсные системы
Способы реализации — 7
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.26 Использование недостатков настройки допустимых операций и прав Н1 · black-box
- СИИ.29 Манипуляция вызовами функций агента Н2 · black-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
- СИИ.58 Отравление описания инструмента агента Н2 · black-box
УИИ.20 Выход за границы изоляции среды исполнения КЦД от Н1 4 способа
Нарушитель, действуя через функции агента или уязвимость среды, получает контроль над нижележащей инфраструктурой за пределами песочницы. Дальше AI-решение перестаёт быть целью и становится точкой входа в остальную сеть.
- Нарушаемые свойства
- конфиденциальность, целостность, доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.18Среда исполнения агента
Способы реализации — 4
- СИИ.12 Эксплуатация ошибок проектирования и небезопасных интеграций Н3 · grey-box
- СИИ.26 Использование недостатков настройки допустимых операций и прав Н1 · black-box
- СИИ.43 Использование агента для активации вредоносного кода из внутренних ресурсов Н3 · grey-box
- СИИ.44 Выполнение произвольного кода через уязвимости среды исполнения Н3 · grey-box
УИИ.21 Удаление или изменение файлов в среде исполнения агента ЦД от Н1 7 способов
Файлы среды исполнения — временные данные, конфигурации, промежуточные результаты — удаляются или подменяются через вызов функций агента. Причиной бывает и промпт-атака, и ошибка проектирования прав, при которой опасная операция агенту просто разрешена.
- Нарушаемые свойства
- целостность, доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.18Среда исполнения агента; ОБ.16Функции и инструменты агента
Способы реализации — 7
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.26 Использование недостатков настройки допустимых операций и прав Н1 · black-box
- СИИ.29 Манипуляция вызовами функций агента Н2 · black-box
- СИИ.43 Использование агента для активации вредоносного кода из внутренних ресурсов Н3 · grey-box
- СИИ.44 Выполнение произвольного кода через уязвимости среды исполнения Н3 · grey-box
УИИ.39 Компрометация компонента-потребителя через исполняемое содержимое в ответе модели КЦ от Н2 2 способа
Ответ модели передаётся дальше без проверки и экранирования: в браузер пользователя, в запрос к базе данных, в командную строку, в другой компонент. Содержимое, которое модель выдала как текст, получатель исполняет как разметку, запрос или команду. В отличие от сбоя интеграции (УИИ.24), последствием становится не отказ, а выполнение чужого кода или запроса в компоненте-потребителе.
- Нарушаемые свойства
- конфиденциальность, целостность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.13Механизмы предобработки и постобработки данных; ОБ.17Оркестратор и каналы межагентного обмена; ОБ.19Внешние ресурсные системы; ОБ.23Приложение (прикладная логика агента)
Способы реализации — 2
Отказ в обслуживании — 7
УИИ.22 Нарушение доступности модели Д от Н1 4 способа
Сервис модели перестаёт отвечать из-за исчерпания вычислительных ресурсов или пропускной способности. Инференс дороже обычного запроса на порядки, поэтому порог, за которым наступает отказ, достигается несравнимо меньшим потоком.
- Нарушаемые свойства
- доступность
- Этапы
- Модель, Эксплуатация
- Объекты защиты
- ОБ.11Инфраструктура инференса; ОБ.07Модель
Способы реализации — 4
УИИ.23 Неконтролируемый расход платных ресурсов и квот Д от Н1 5 способов
Нарушитель направляет запросы, намеренно дорогие в обработке: длинные контексты, рекурсивные рассуждения, объёмные вложения. Ущерб прежде всего финансовый — счёт за потреблённые токены и вычисления. Свойство «доступность» указано условно: оно нарушается лишь тогда, когда квота исчерпана и решение останавливается; отказ из-за перегрузки описан угрозой УИИ.22.
- Нарушаемые свойства
- доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.11Инфраструктура инференса; ОБ.19Внешние ресурсные системы; ОБ.24Внешний сервис модели (поставщик)
Способы реализации — 5
- СИИ.11 Несанкционированное подключение к модели Н2 · grey-box
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.19 Ресурсоёмкие запросы для эскалации потребления ресурсов Н1 · black-box
УИИ.24 Сбой интеграции компонентов AI-решения ЦД и без нарушителя 5 способов
Обмен между компонентами ломается из-за нарушения формата или синтаксиса структурированных данных. Ответ модели по своей природе не гарантирует схему, и компонент-получатель, рассчитанный на строгий формат, отказывает.
- Нарушаемые свойства
- целостность, доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.17Оркестратор и каналы межагентного обмена; ОБ.13Механизмы предобработки и постобработки данных
Способы реализации — 5
- СИИ.12 Эксплуатация ошибок проектирования и небезопасных интеграций Н3 · grey-box
- СИИ.16 Эксплуатация недостатков протоколов межагентного обмена Н3 · grey-box
- СИИ.20 Искажение смысла сообщений между компонентами Н3 · grey-box
- СИИ.21 Искажение формата и синтаксиса структурированных данных Н2 · grey-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
УИИ.25 Перегрузка человеческого звена ложными срабатываниями Д и без нарушителя 6 способов
Решение порождает поток ложных или избыточных уведомлений, и оператор перестаёт их разбирать. Достигается и намеренно, и по ошибке настройки порогов; последствие для процесса одинаково — настоящее событие теряется среди ложных.
- Нарушаемые свойства
- доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.25Оператор и процесс реагирования
Способы реализации — 6
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.17 Эксплуатация уязвимостей оркестратора Н3 · grey-box
- СИИ.40 Эксплуатация недостатков прикладной обработки данных Н2 · black-box
- СИИ.54 Засорение входного потока ложными данными Н1 · black-box
УИИ.26 Нарушение доступности среды исполнения агента Д от Н1 7 способов
Среда исполнения исчерпывает память, дисковое пространство или лимиты процессов — из-за зацикливания агента, неограниченной рекурсии вызовов или намеренной нагрузки.
- Нарушаемые свойства
- доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.18Среда исполнения агента
Способы реализации — 7
- СИИ.12 Эксплуатация ошибок проектирования и небезопасных интеграций Н3 · grey-box
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.17 Эксплуатация уязвимостей оркестратора Н3 · grey-box
- СИИ.19 Ресурсоёмкие запросы для эскалации потребления ресурсов Н1 · black-box
- СИИ.44 Выполнение произвольного кода через уязвимости среды исполнения Н3 · grey-box
УИИ.27 Нарушение доступности приложения, реализующего агента Д от Н1 7 способов
Отказ наступает в самом приложении: агент не возвращает управление, занимает пул соединений, ожидает ответа внешнего сервиса без тайм-аута. Для пользователя недоступно приложение целиком, а не функция ИИ в нём.
- Нарушаемые свойства
- доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.23Приложение (прикладная логика агента)
Способы реализации — 7
- СИИ.12 Эксплуатация ошибок проектирования и небезопасных интеграций Н3 · grey-box
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.16 Эксплуатация недостатков протоколов межагентного обмена Н3 · grey-box
- СИИ.17 Эксплуатация уязвимостей оркестратора Н3 · grey-box
- СИИ.19 Ресурсоёмкие запросы для эскалации потребления ресурсов Н1 · black-box
УИИ.28 Нарушение доступности внешних ресурсных систем агента Д от Н1 8 способов
Сервисы, базы и API, от которых зависит агент, включая внешний сервис модели, становятся недоступны — по внешней причине или под нагрузкой, которую создал сам агент. Решение при этом не отказывает явно, а продолжает работать на неполных данных.
- Нарушаемые свойства
- доступность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.19Внешние ресурсные системы; ОБ.24Внешний сервис модели (поставщик)
Способы реализации — 8
- СИИ.12 Эксплуатация ошибок проектирования и небезопасных интеграций Н3 · grey-box
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.17 Эксплуатация уязвимостей оркестратора Н3 · grey-box
- СИИ.19 Ресурсоёмкие запросы для эскалации потребления ресурсов Н1 · black-box
- СИИ.26 Использование недостатков настройки допустимых операций и прав Н1 · black-box
- СИИ.29 Манипуляция вызовами функций агента Н2 · black-box
Нарушение мультиагентного взаимодействия — 2
УИИ.29 Подмена цели агента при кооперативном взаимодействии Ц и без нарушителя 7 способов
Агент получает от другого агента сообщение, меняющее его целевую функцию или поведенческие установки. Сообщение приходит по доверенному внутреннему каналу, поэтому проверяется слабее, чем пользовательский ввод, а часто не проверяется вовсе. То же последствие наступает и без нарушителя: агент отклоняется от исходной цели из-за накопления ошибок за длительную сессию, неверной интерпретации обратной связи и эмерджентных эффектов взаимодействия.
- Нарушаемые свойства
- целостность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.17Оркестратор и каналы межагентного обмена
Способы реализации — 7
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.16 Эксплуатация недостатков протоколов межагентного обмена Н3 · grey-box
- СИИ.20 Искажение смысла сообщений между компонентами Н3 · grey-box
- СИИ.24 Внедрение содержимого через функции сохранения пользовательских данных Н2 · black-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
УИИ.30 Каскадное распространение промпт-атаки между агентами КЦ от Н2 9 способов
Инструкция, внедрённая в одного агента, передаётся дальше через общие каналы, хранилища и память. Компрометация одного звена становится компрометацией системы, а точка входа к моменту обнаружения уже не определяется по следам.
- Нарушаемые свойства
- конфиденциальность, целостность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.17Оркестратор и каналы межагентного обмена; ОБ.15Память и кэш агента
Способы реализации — 9
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.16 Эксплуатация недостатков протоколов межагентного обмена Н3 · grey-box
- СИИ.20 Искажение смысла сообщений между компонентами Н3 · grey-box
- СИИ.24 Внедрение содержимого через функции сохранения пользовательских данных Н2 · black-box
- СИИ.28 Использование недостатков изоляции между агентами разных уровней доступа Н3 · grey-box
- СИИ.29 Манипуляция вызовами функций агента Н2 · black-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
- СИИ.56 Самовоспроизводящаяся промпт-инструкция Н2 · black-box
Генерация противоправного и вредоносного содержимого — 2
УИИ.31 Генерация противоправного, токсичного или неэтичного содержимого Ц от Н1 7 способов
Решение выдаёт содержимое, нарушающее законодательство или этические нормы. Ответственность при этом лежит на владельце решения, а не на поставщике модели, и наступает независимо от того, добивался пользователь такого ответа намеренно или получил его случайно.
- Нарушаемые свойства
- целостность
- Этапы
- Модель, Эксплуатация
- Объекты защиты
- ОБ.22Входные и выходные данные пользователя; ОБ.07Модель
Способы реализации — 7
- СИИ.09 Поведенческая закладка во внешней модели Н3 · grey-box
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.34 Отключение или изменение механизмов защиты Н2 · grey-box
- СИИ.38 Подбор формулировок, обходящих встроенные ограничения модели Н2 · black-box
- СИИ.40 Эксплуатация недостатков прикладной обработки данных Н2 · black-box
УИИ.32 Использование AI-решения для подготовки правонарушений Ц от Н1 7 способов
Нарушитель использует решение как инструмент: для генерации фишинговых текстов, вредоносного кода, инструкций по обходу защиты или для автоматизации многошаговых атак. Решение организации оказывается средством нападения, в том числе на неё саму.
- Нарушаемые свойства
- целостность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.22Входные и выходные данные пользователя; ОБ.16Функции и инструменты агента
Способы реализации — 7
- СИИ.09 Поведенческая закладка во внешней модели Н3 · grey-box
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.34 Отключение или изменение механизмов защиты Н2 · grey-box
- СИИ.38 Подбор формулировок, обходящих встроенные ограничения модели Н2 · black-box
- СИИ.40 Эксплуатация недостатков прикладной обработки данных Н2 · black-box
Нарушение корректности работы модели — 6
УИИ.33 Недостоверный ответ модели (галлюцинация) и его исполнение агентом Ц и без нарушителя 0 способов
Модель уверенно выдаёт фактически неверный ответ или инструкцию. В AI-приложении это ошибка пользователя, в агенте — выполненное действие: ответ модели служит основанием для вызова функции, и проверить его между генерацией и вызовом обычно некому. Галлюцинация — статистическое свойство модели: нарушитель для неё не требуется, и способов реализации у угрозы нет.
- Нарушаемые свойства
- целостность
- Этапы
- Модель, Эксплуатация
- Объекты защиты
- ОБ.07Модель; ОБ.22Входные и выходные данные пользователя
Способов реализации нет: нарушитель для этой угрозы не требуется.
УИИ.34 Скрытая закладка в модели (триггерное поведение) Ц от Н2 7 способов
Модель содержит закладку: на заданном признаке она выдаёт нужный нарушителю результат, на остальных данных работает нормально. Закладка вносится на этапе обучения или поставки, а проявляется в эксплуатации; признак известен только нарушителю, поэтому штатные метрики качества и тестирование её не показывают.
- Нарушаемые свойства
- целостность
- Этапы
- Модель
- Объекты защиты
- ОБ.07Модель; ОБ.08Адаптер модели; ОБ.06Внешние (предобученные) модели
Способы реализации — 7
- СИИ.03 Компрометация публичного репозитория моделей Н3 · black-box
- СИИ.04 Отравление данных во внешних источниках Н2 · black-box
- СИИ.05 Подмена содержимого источника после его проверки Н3 · grey-box
- СИИ.06 Отравление данных во внутренних источниках Н2 · grey-box
- СИИ.09 Поведенческая закладка во внешней модели Н3 · grey-box
- СИИ.36 Перехват или подмена модели при передаче между этапами Н2 · grey-box
- СИИ.41 Несанкционированное получение, подмена или удаление обученной модели Н2 · grey-box
УИИ.35 Нарушение логики выполнения задачи и рабочего процесса Ц и без нарушителя 11 способов
Решение выполняет действия, не предусмотренные бизнес-сценарием: пропускает обязательные шаги, меняет их порядок, игнорирует ограничения. Формально сбоя нет, отказа нет, а процесс идёт не так, как описан в регламенте.
- Нарушаемые свойства
- целостность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.16Функции и инструменты агента; ОБ.17Оркестратор и каналы межагентного обмена
Способы реализации — 11
- СИИ.13 Непрямая промпт-атака через внешние источники Н2 · black-box
- СИИ.14 Прямая промпт-атака Н1 · black-box
- СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 · grey-box
- СИИ.16 Эксплуатация недостатков протоколов межагентного обмена Н3 · grey-box
- СИИ.17 Эксплуатация уязвимостей оркестратора Н3 · grey-box
- СИИ.20 Искажение смысла сообщений между компонентами Н3 · grey-box
- СИИ.22 Несанкционированное получение или изменение системных промптов Н2 · grey-box
- СИИ.29 Манипуляция вызовами функций агента Н2 · black-box
- СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 · grey-box
- СИИ.38 Подбор формулировок, обходящих встроенные ограничения модели Н2 · black-box
- СИИ.40 Эксплуатация недостатков прикладной обработки данных Н2 · black-box
УИИ.36 Использование AI-решения вне предусмотренного сценария Ц и без нарушителя 0 способов
Пользователи применяют решение к задачам, для которых оно не проверялось и не аттестовывалось. Качество на таких задачах никем не измерено, а ответственность за результат остаётся на организации. Это организационный риск: нарушитель для него не требуется, и способов реализации у угрозы нет.
- Нарушаемые свойства
- целостность
- Этапы
- Эксплуатация
- Объекты защиты
- ОБ.22Входные и выходные данные пользователя
Способов реализации нет: нарушитель для этой угрозы не требуется.
УИИ.38 Принятие моделью неверного решения на состязательном входе Ц от Н2 1 способ
Модель-классификатор или детектор получает вход, изменённый незаметно для человека, и принимает по нему неверное решение: пропускает вредоносный объект, относит запись к чужому классу, не распознаёт предмет. В банке данных угроз этому соответствует УБИ.220; для генеративных моделей близкое последствие описано угрозой УИИ.31.
- Нарушаемые свойства
- целостность
- Этапы
- Модель, Эксплуатация
- Объекты защиты
- ОБ.07Модель; ОБ.22Входные и выходные данные пользователя
Способы реализации — 1
- СИИ.39 Состязательный вход для обхода модели-классификатора Н2 · black-box
УИИ.40 Систематическое смещение результатов и деградация точности модели Ц и без нарушителя 8 способов
Модель систематически ошибается в определённую сторону либо теряет точность со временем. Причиной бывает намеренное вмешательство в данные и процесс обучения, но чаще — качество выборки и расхождение между данными обучения и эксплуатации, поэтому угроза реализуется и без нарушителя. Штатные метрики, посчитанные на той же смещённой выборке, отклонение не показывают.
- Нарушаемые свойства
- целостность
- Этапы
- Модель
- Объекты защиты
- ОБ.07Модель; ОБ.08Адаптер модели
Способы реализации — 8
- СИИ.02 Несанкционированное изменение параметров процессов обучения Н3 · white-box
- СИИ.04 Отравление данных во внешних источниках Н2 · black-box
- СИИ.05 Подмена содержимого источника после его проверки Н3 · grey-box
- СИИ.06 Отравление данных во внутренних источниках Н2 · grey-box
- СИИ.31 Несанкционированный доступ к наборам данных Н2 · grey-box
- СИИ.32 Перехват или изменение данных при передаче между этапами подготовки Н2 · grey-box
- СИИ.36 Перехват или подмена модели при передаче между этапами Н2 · grey-box
- СИИ.41 Несанкционированное получение, подмена или удаление обученной модели Н2 · grey-box
Нарушение мониторинга и расследования — 1
УИИ.37 Невозможность или несвоевременность выявления и расследования событий Д и без нарушителя 3 способа
Журналирование обращений к модели, вызовов функций и решений агента отсутствует или неполно, происхождение обучающих данных не документировано. Инцидент не обнаруживается вовремя, а после обнаружения не восстанавливается: показать, какой запрос к какому действию привёл, нечем.
- Нарушаемые свойства
- доступность
- Этапы
- Данные, Эксплуатация
- Объекты защиты
- ОБ.21Журналы и трассировки запросов; ОБ.04Конвейер подготовки данных
Способы реализации — 3
По заданным условиям угроз не найдено.
Способы реализации по тактикам ATLAS
Способ описывает механику воздействия. У каждого указаны объект воздействия, минимальный уровень возможностей нарушителя и осведомлённость, без которой способ неприменим.
- 1 разведка Reconnaissance
- 1 подготовка ресурсов Resource Development
- 7 первоначальный доступ Initial Access
- 1 доступ к модели AI Model Access
- 10 выполнение Execution
- 9 закрепление Persistence
- 2 повышение привилегий Privilege Escalation
- 5 обход защиты Defense Evasion
- 1 доступ к учётным данным Credential Access
- 1 изучение решения изнутри Discovery
- 1 горизонтальное перемещение Lateral Movement
- 9 сбор данных Collection
- 4 вывод данных Exfiltration
- 5 нанесение ущерба Impact
Разведка Reconnaissance — 1 способ
СИИ.01 Сбор сведений о модели из открытых источников Н1 black-box
Нарушитель изучает документацию, технические отчёты, публикации, конфигурационные файлы и веса, опубликованные организацией или её подрядчиками, и восстанавливает по ним архитектуру и особенности целевой модели.
- Объекты воздействия
- ОБ.07Модель; ОБ.06Внешние (предобученные) модели
Приводит к угрозам — 1
- УИИ.02 Раскрытие сведений об архитектуре и параметрах модели
Подготовка ресурсов Resource Development — 1 способ
СИИ.55 Публикация пакетов под именами, выдуманными моделью Н2 black-box
Модели, помогающие писать код, предлагают несуществующие пакеты, и названия эти повторяются. Нарушитель заранее публикует пакеты под такими именами и ждёт, пока разработчик или агент установит их по совету модели.
- Объекты воздействия
- ОБ.05Фреймворки и сторонние библиотеки
Приводит к угрозам — 1
- УИИ.17 Внедрение и выполнение вредоносного кода в инфраструктуре AI
Первоначальный доступ Initial Access — 7 способов
СИИ.03 Компрометация публичного репозитория моделей Н3 black-box
Подмена ссылок, метаданных или самих артефактов в репозитории, откуда организация загружает предобученные модели. Проверка целостности при загрузке обычно ограничена доверием к источнику. Для организации это компрометация цепочки поставки: первоначальный доступ нарушитель получает в момент загрузки артефакта.
- Объекты воздействия
- ОБ.06Внешние (предобученные) модели
Приводит к угрозам — 1
- УИИ.34 Скрытая закладка в модели (триггерное поведение)
СИИ.04 Отравление данных во внешних источниках Н2 black-box
Нарушитель заранее размещает подготовленные примеры там, откуда организация собирает обучающие данные, и рассчитывает на попадание их в выборку при недостаточной фильтрации. Само размещение — подготовка ресурсов; к первоначальному доступу способ отнесён по моменту, когда конвейер организации загружает эти примеры.
- Объекты воздействия
- ОБ.01Внешние источники данных; ОБ.03Обучающие, тестовые и валидационные наборы данных
Приводит к угрозам — 3
СИИ.05 Подмена содержимого источника после его проверки Н3 grey-box
Источник проверяется в момент включения в реестр, а читается позже. Нарушитель меняет содержимое между этими моментами; при отсутствии контроля неизменности загружается уже изменённое.
- Объекты воздействия
- ОБ.01Внешние источники данных; ОБ.04Конвейер подготовки данных
Приводит к угрозам — 3
СИИ.07 Эксплуатация уязвимостей сторонних библиотек и фреймворков Н2 grey-box
Известные уязвимости пакетов, применяемых при подготовке данных, обучении и инференсе. Вредоносный код в самом файле модели описан отдельным способом СИИ.08.
- Объекты воздействия
- ОБ.05Фреймворки и сторонние библиотеки; ОБ.10Инфраструктура обучения
Приводит к угрозам — 1
- УИИ.17 Внедрение и выполнение вредоносного кода в инфраструктуре AI
СИИ.09 Поведенческая закладка во внешней модели Н3 grey-box
Модель обучена так, что на заданном признаке выдаёт нужный нарушителю результат, оставаясь на остальных данных нормальной. Признак известен только нарушителю, поэтому тестирование закладку не выявляет, а средства защиты её не находят: вредоносного кода в весах нет.
- Объекты воздействия
- ОБ.06Внешние (предобученные) модели; ОБ.07Модель
Приводит к угрозам — 3
СИИ.10 Загрузка вредоносного программного обеспечения из внешних источников Н2 black-box
Штатные механизмы загрузки данных и артефактов используются для доставки вредоносного кода в инфраструктуру AI.
- Объекты воздействия
- ОБ.10Инфраструктура обучения; ОБ.11Инфраструктура инференса
Приводит к угрозам — 1
- УИИ.17 Внедрение и выполнение вредоносного кода в инфраструктуре AI
СИИ.37 Использование недостатков изоляции интерактивных сред разработки Н2 grey-box
Доступ к данным, моделям и процессу обучения через блокноты, интерактивные среды и общие вычислительные ресурсы, где изоляция и аутентификация ослаблены ради удобства работы. Сведения об устройстве решения нарушитель здесь получает в результате, а не имеет заранее.
- Объекты воздействия
- ОБ.10Инфраструктура обучения
Приводит к угрозам — 7
- УИИ.01 Хищение обучающих, тестовых и валидационных наборов данных
- УИИ.02 Раскрытие сведений об архитектуре и параметрах модели
- УИИ.03 Хищение модели или создание её функциональной копии
- УИИ.09 Утечка конфиденциальных данных из наборов данных
- УИИ.14 Компрометация учётных данных и ключей доступа к моделям
- УИИ.15 Удаление или уничтожение наборов данных
- УИИ.17 Внедрение и выполнение вредоносного кода в инфраструктуре AI
Доступ к модели AI Model Access — 1 способ
СИИ.11 Несанкционированное подключение к модели Н2 grey-box
Обращение к модели в обход установленного порядка подключения и мониторинга — по скомпрометированным учётным данным, через внутренний адрес или посреднический сервис.
- Объекты воздействия
- ОБ.11Инфраструктура инференса; ОБ.20Учётные данные и ключи доступа к моделям
Приводит к угрозам — 5
Выполнение Execution — 10 способов
СИИ.08 Вредоносный код в артефакте внешней модели Н2 grey-box
Файл модели подготовлен так, что при его загрузке исполняется код: ряд форматов сериализации моделей это допускает. Организация запускает код сама, загружая артефакт штатным средством. Поведенческая закладка в весах, не содержащая кода, описана способом СИИ.09.
- Объекты воздействия
- ОБ.06Внешние (предобученные) модели; ОБ.05Фреймворки и сторонние библиотеки
Приводит к угрозам — 1
- УИИ.17 Внедрение и выполнение вредоносного кода в инфраструктуре AI
СИИ.12 Эксплуатация ошибок проектирования и небезопасных интеграций Н3 grey-box
Недостаточная проверка данных между компонентами, вызовы API без проверки прав, доверие к ответу соседнего компонента как к проверенному.
- Объекты воздействия
- ОБ.13Механизмы предобработки и постобработки данных; ОБ.17Оркестратор и каналы межагентного обмена
Приводит к угрозам — 6
- УИИ.20 Выход за границы изоляции среды исполнения
- УИИ.24 Сбой интеграции компонентов AI-решения
- УИИ.26 Нарушение доступности среды исполнения агента
- УИИ.27 Нарушение доступности приложения, реализующего агента
- УИИ.28 Нарушение доступности внешних ресурсных систем агента
- УИИ.39 Компрометация компонента-потребителя через исполняемое содержимое в ответе модели
СИИ.13 Непрямая промпт-атака через внешние источники Н2 black-box
Инструкции размещаются в содержимом, которое решение прочитает само в ходе работы: на веб-странице, в документе, в ответе внешнего сервиса. Пользователь атаку не инициирует и, как правило, её не видит.
- Объекты воздействия
- ОБ.22Входные и выходные данные пользователя; ОБ.19Внешние ресурсные системы
Приводит к угрозам — 19
- УИИ.04 Раскрытие сведений о среде исполнения AI-решения
- УИИ.07 Раскрытие конфигурации AI-агента
- УИИ.08 Раскрытие системного промпта
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
- УИИ.13 Утечка конфиденциальных данных из механизмов памяти агента
- УИИ.14 Компрометация учётных данных и ключей доступа к моделям
- УИИ.18 Нарушение целостности источников RAG, описаний инструментов и памяти агента (закреплённая промпт-атака)
- УИИ.19 Несанкционированные действия агента с данными и во внешних системах вследствие выполнения вредоносных инструкций
- УИИ.21 Удаление или изменение файлов в среде исполнения агента
- УИИ.23 Неконтролируемый расход платных ресурсов и квот
- УИИ.25 Перегрузка человеческого звена ложными срабатываниями
- УИИ.26 Нарушение доступности среды исполнения агента
- УИИ.27 Нарушение доступности приложения, реализующего агента
- УИИ.28 Нарушение доступности внешних ресурсных систем агента
- УИИ.29 Подмена цели агента при кооперативном взаимодействии
- УИИ.30 Каскадное распространение промпт-атаки между агентами
- УИИ.31 Генерация противоправного, токсичного или неэтичного содержимого
- УИИ.32 Использование AI-решения для подготовки правонарушений
- УИИ.35 Нарушение логики выполнения задачи и рабочего процесса
СИИ.14 Прямая промпт-атака Н1 black-box
Запрос, в котором нарушитель сам передаёт модели инструкции, противоречащие заданным: требует раскрыть сведения, выполнить непредусмотренное действие, сменить роль. Требует только доступа к обычному интерфейсу решения. Обход встроенных ограничений описан способом СИИ.38, состязательный вход для классификатора — СИИ.39.
- Объекты воздействия
- ОБ.22Входные и выходные данные пользователя; ОБ.07Модель
Приводит к угрозам — 19
- УИИ.04 Раскрытие сведений о среде исполнения AI-решения
- УИИ.06 Раскрытие состава и правил мультиагентной системы
- УИИ.07 Раскрытие конфигурации AI-агента
- УИИ.08 Раскрытие системного промпта
- УИИ.11 Утечка данных, запомненных моделью или адаптером
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
- УИИ.13 Утечка конфиденциальных данных из механизмов памяти агента
- УИИ.14 Компрометация учётных данных и ключей доступа к моделям
- УИИ.19 Несанкционированные действия агента с данными и во внешних системах вследствие выполнения вредоносных инструкций
- УИИ.21 Удаление или изменение файлов в среде исполнения агента
- УИИ.23 Неконтролируемый расход платных ресурсов и квот
- УИИ.25 Перегрузка человеческого звена ложными срабатываниями
- УИИ.26 Нарушение доступности среды исполнения агента
- УИИ.27 Нарушение доступности приложения, реализующего агента
- УИИ.28 Нарушение доступности внешних ресурсных систем агента
- УИИ.29 Подмена цели агента при кооперативном взаимодействии
- УИИ.31 Генерация противоправного, токсичного или неэтичного содержимого
- УИИ.32 Использование AI-решения для подготовки правонарушений
- УИИ.35 Нарушение логики выполнения задачи и рабочего процесса
СИИ.15 Непрямая промпт-атака через отравленные внутренние источники Н2 grey-box
Инструкции внедрены во внутреннюю базу или векторное хранилище и срабатывают в момент, когда решение извлекает оттуда данные для дополнения запроса.
- Объекты воздействия
- ОБ.14Векторное хранилище и внутренние источники знаний для RAG; ОБ.15Память и кэш агента
Приводит к угрозам — 19
- УИИ.04 Раскрытие сведений о среде исполнения AI-решения
- УИИ.06 Раскрытие состава и правил мультиагентной системы
- УИИ.07 Раскрытие конфигурации AI-агента
- УИИ.08 Раскрытие системного промпта
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
- УИИ.13 Утечка конфиденциальных данных из механизмов памяти агента
- УИИ.18 Нарушение целостности источников RAG, описаний инструментов и памяти агента (закреплённая промпт-атака)
- УИИ.19 Несанкционированные действия агента с данными и во внешних системах вследствие выполнения вредоносных инструкций
- УИИ.21 Удаление или изменение файлов в среде исполнения агента
- УИИ.23 Неконтролируемый расход платных ресурсов и квот
- УИИ.25 Перегрузка человеческого звена ложными срабатываниями
- УИИ.26 Нарушение доступности среды исполнения агента
- УИИ.27 Нарушение доступности приложения, реализующего агента
- УИИ.28 Нарушение доступности внешних ресурсных систем агента
- УИИ.29 Подмена цели агента при кооперативном взаимодействии
- УИИ.30 Каскадное распространение промпт-атаки между агентами
- УИИ.31 Генерация противоправного, токсичного или неэтичного содержимого
- УИИ.32 Использование AI-решения для подготовки правонарушений
- УИИ.35 Нарушение логики выполнения задачи и рабочего процесса
СИИ.16 Эксплуатация недостатков протоколов межагентного обмена Н3 grey-box
Подделка сообщений, повтор ранее перехваченных, изменение состояния диалога между агентами — там, где протокол не предусматривает взаимной аутентификации и контроля целостности.
- Объекты воздействия
- ОБ.17Оркестратор и каналы межагентного обмена
Приводит к угрозам — 6
- УИИ.06 Раскрытие состава и правил мультиагентной системы
- УИИ.24 Сбой интеграции компонентов AI-решения
- УИИ.27 Нарушение доступности приложения, реализующего агента
- УИИ.29 Подмена цели агента при кооперативном взаимодействии
- УИИ.30 Каскадное распространение промпт-атаки между агентами
- УИИ.35 Нарушение логики выполнения задачи и рабочего процесса
СИИ.17 Эксплуатация уязвимостей оркестратора Н3 grey-box
Воздействие на планировщик мультиагентной системы: нарушение распределения задач, назначение исполнителя, подмена очерёдности. Отказывает не отдельный агент, а координация всей системы.
- Объекты воздействия
- ОБ.17Оркестратор и каналы межагентного обмена
Приводит к угрозам — 5
СИИ.26 Использование недостатков настройки допустимых операций и прав Н1 black-box
Агенту разрешены операции шире, чем требует задача. Нарушителю не нужно повышать привилегии — достаточно через штатный интерфейс добиться вызова уже разрешённой опасной функции.
- Объекты воздействия
- ОБ.16Функции и инструменты агента
Приводит к угрозам — 5
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
- УИИ.19 Несанкционированные действия агента с данными и во внешних системах вследствие выполнения вредоносных инструкций
- УИИ.20 Выход за границы изоляции среды исполнения
- УИИ.21 Удаление или изменение файлов в среде исполнения агента
- УИИ.28 Нарушение доступности внешних ресурсных систем агента
СИИ.29 Манипуляция вызовами функций агента Н2 black-box
Формирование запроса так, чтобы агент вызвал функцию с параметрами, не предусмотренными контекстом задачи, либо вызвал функцию, уместную в другом сценарии. Знания внутреннего устройства решения приём не требует.
- Объекты воздействия
- ОБ.16Функции и инструменты агента
Приводит к угрозам — 6
- УИИ.18 Нарушение целостности источников RAG, описаний инструментов и памяти агента (закреплённая промпт-атака)
- УИИ.19 Несанкционированные действия агента с данными и во внешних системах вследствие выполнения вредоносных инструкций
- УИИ.21 Удаление или изменение файлов в среде исполнения агента
- УИИ.28 Нарушение доступности внешних ресурсных систем агента
- УИИ.30 Каскадное распространение промпт-атаки между агентами
- УИИ.35 Нарушение логики выполнения задачи и рабочего процесса
СИИ.53 Внедрение исполняемого содержимого в ответ модели Н2 black-box
Нарушитель добивается, чтобы ответ модели содержал разметку, сценарий, запрос к базе данных или команду, и рассчитывает на то, что компонент-потребитель исполнит их без проверки и экранирования.
- Объекты воздействия
- ОБ.13Механизмы предобработки и постобработки данных; ОБ.23Приложение (прикладная логика агента)
Приводит к угрозам — 1
- УИИ.39 Компрометация компонента-потребителя через исполняемое содержимое в ответе модели
Закрепление Persistence — 9 способов
СИИ.02 Несанкционированное изменение параметров процессов обучения Н3 white-box
Имея доступ к среде обучения, нарушитель меняет гиперпараметры, функцию потерь, метрики или пороги приёмки. Модель обучается по изменённому заданию, а отчёт о качестве строится по изменённым метрикам и расхождения не показывает. Изменение закрепляется в модели и действует после того, как доступ к среде утрачен.
- Объекты воздействия
- ОБ.09Процессы обучения, дообучения и валидации; ОБ.10Инфраструктура обучения
Приводит к угрозам — 1
- УИИ.40 Систематическое смещение результатов и деградация точности модели
СИИ.06 Отравление данных во внутренних источниках Н2 grey-box
То же, что и во внешних, но изнутри периметра: примеры вносятся в базы, файловые хранилища и потоки организации, к которым у нарушителя есть легитимный или полученный доступ. Первоначальный доступ ему уже не нужен; внесённые примеры закрепляют нужное поведение в обученной модели.
- Объекты воздействия
- ОБ.02Внутренние источники обучающих данных; ОБ.03Обучающие, тестовые и валидационные наборы данных
Приводит к угрозам — 4
СИИ.22 Несанкционированное получение или изменение системных промптов Н2 grey-box
Доступ к хранилищу системных промптов и конфигураций для их чтения либо изменения — с целью изучить логику решения или закрепить в ней нужное поведение. Способ отнесён к закреплению по более тяжёлому из двух действий; чтение без изменения по смыслу ближе к сбору данных.
- Объекты воздействия
- ОБ.12Системный промпт
Приводит к угрозам — 5
СИИ.23 Несанкционированное изменение AI-агента Н2 grey-box
Изменение конфигурации, набора навыков, прав или планировщика агента через избыточные права, отсутствие аутентификации или ошибки разграничения доступа.
- Объекты воздействия
- ОБ.16Функции и инструменты агента; ОБ.18Среда исполнения агента
Приводит к угрозам — 5
- УИИ.04 Раскрытие сведений о среде исполнения AI-решения
- УИИ.06 Раскрытие состава и правил мультиагентной системы
- УИИ.07 Раскрытие конфигурации AI-агента
- УИИ.13 Утечка конфиденциальных данных из механизмов памяти агента
- УИИ.18 Нарушение целостности источников RAG, описаний инструментов и памяти агента (закреплённая промпт-атака)
СИИ.24 Внедрение содержимого через функции сохранения пользовательских данных Н2 black-box
Штатная возможность сохранить заметку, файл или предпочтение используется для размещения инструкций в памяти агента. Содержимое сохраняется как пользовательское и извлекается как доверенное.
- Объекты воздействия
- ОБ.15Память и кэш агента
Приводит к угрозам — 3
СИИ.30 Эксплуатация неполноты классификации данных на входе конвейера Н3 white-box
Механизмы классификации, фильтрации и маскирования на входе конвейера подготовки распознают не все охраняемые данные. Нарушитель, зная это, добивается включения в выборку данных, которые в неё попадать не должны. Тот же дефект действует и без нарушителя: данные попадают в выборку при штатной загрузке.
- Объекты воздействия
- ОБ.04Конвейер подготовки данных; ОБ.03Обучающие, тестовые и валидационные наборы данных
Приводит к угрозам — 3
СИИ.36 Перехват или подмена модели при передаче между этапами Н2 grey-box
Воздействие на канал поставки модели из обучения в инференс: подмена версии, внедрение изменённых весов при отсутствии подписи и контроля целостности артефакта.
- Объекты воздействия
- ОБ.07Модель; ОБ.09Процессы обучения, дообучения и валидации
Приводит к угрозам — 4
СИИ.56 Самовоспроизводящаяся промпт-инструкция Н2 black-box
Внедрённая инструкция требует от модели включать саму себя в ответы, сообщения другим агентам и записи в память. Каждый агент, прочитавший такое содержимое, передаёт инструкцию дальше.
- Объекты воздействия
- ОБ.17Оркестратор и каналы межагентного обмена; ОБ.15Память и кэш агента
Приводит к угрозам — 1
- УИИ.30 Каскадное распространение промпт-атаки между агентами
СИИ.58 Отравление описания инструмента агента Н2 black-box
Инструкции помещаются в описание или метаданные функции, которую подключает агент, в том числе в инструмент стороннего поставщика. Модель читает описание как доверенное при каждом выборе инструмента.
- Объекты воздействия
- ОБ.16Функции и инструменты агента
Приводит к угрозам — 2
Повышение привилегий Privilege Escalation — 2 способа
СИИ.28 Использование недостатков изоляции между агентами разных уровней доступа Н3 grey-box
Агент с доступом к защищаемым данным напрямую взаимодействует с агентом менее защищённого контура, и данные утекают через это взаимодействие: нарушитель действует правами чужого агента.
- Объекты воздействия
- ОБ.17Оркестратор и каналы межагентного обмена
Приводит к угрозам — 2
СИИ.44 Выполнение произвольного кода через уязвимости среды исполнения Н3 grey-box
Эксплуатация известных уязвимостей песочницы, контейнера или самих функций агента для выполнения кода на нижележащей инфраструктуре с правами выше, чем у агента.
- Объекты воздействия
- ОБ.18Среда исполнения агента
Приводит к угрозам — 4
Обход защиты Defense Evasion — 5 способов
СИИ.34 Отключение или изменение механизмов защиты Н2 grey-box
Деактивация либо изменение настроек фильтрации, валидации и маскирования входных и выходных данных — после чего остальные способы применяются без противодействия.
- Объекты воздействия
- ОБ.13Механизмы предобработки и постобработки данных
Приводит к угрозам — 3
СИИ.38 Подбор формулировок, обходящих встроенные ограничения модели Н2 black-box
Систематическое исследование поведения модели для нахождения формулировок, ролей и сценариев, на которых её собственные ограничения не срабатывают и модель выдаёт содержимое, которое обучена не выдавать.
- Объекты воздействия
- ОБ.07Модель; ОБ.22Входные и выходные данные пользователя
Приводит к угрозам — 4
СИИ.39 Состязательный вход для обхода модели-классификатора Н2 black-box
Нарушитель вносит во входной объект — изображение, файл, запись, звук — изменения, незаметные для человека, но меняющие решение модели. Вход подбирается по ответам целевой модели либо готовится на её теневой копии.
- Объекты воздействия
- ОБ.07Модель; ОБ.22Входные и выходные данные пользователя
Приводит к угрозам — 1
- УИИ.38 Принятие моделью неверного решения на состязательном входе
СИИ.40 Эксплуатация недостатков прикладной обработки данных Н2 black-box
Анализ реакции решения на разные входные данные и построение ввода, обходящего прикладные фильтры пред- и постобработки — то есть защиту вокруг модели, а не в ней.
- Объекты воздействия
- ОБ.13Механизмы предобработки и постобработки данных; ОБ.22Входные и выходные данные пользователя
Приводит к угрозам — 5
СИИ.57 Очистка или искажение журналов и трассировок Н2 grey-box
Нарушитель удаляет либо изменяет записи о запросах к модели, вызовах функций и действиях агента, чтобы скрыть следы и лишить расследование материала.
- Объекты воздействия
- ОБ.21Журналы и трассировки запросов
Приводит к угрозам — 1
- УИИ.37 Невозможность или несвоевременность выявления и расследования событий
Доступ к учётным данным Credential Access — 1 способ
СИИ.42 Несанкционированное получение учётных данных и ключей доступа к моделям Н2 grey-box
Извлечение ключей API, токенов и сертификатов из конфигураций, переменных окружения, репозиториев кода, системных промптов и хранилищ секретов.
- Объекты воздействия
- ОБ.20Учётные данные и ключи доступа к моделям
Приводит к угрозам — 1
- УИИ.14 Компрометация учётных данных и ключей доступа к моделям
Изучение решения изнутри Discovery — 1 способ
СИИ.52 Опрос модели о её устройстве, инструментах и окружении Н1 black-box
Нарушитель прямо спрашивает решение о семействе и версии модели, перечне доступных функций, составе агентов, системных инструкциях и среде исполнения. Ограничения при этом не обходятся: модель сообщает сведения, которые ей не запрещено сообщать.
- Объекты воздействия
- ОБ.07Модель; ОБ.12Системный промпт; ОБ.16Функции и инструменты агента
Приводит к угрозам — 5
Горизонтальное перемещение Lateral Movement — 1 способ
СИИ.43 Использование агента для активации вредоносного кода из внутренних ресурсов Н3 grey-box
Нарушитель побуждает агента обратиться к внутреннему ресурсу с заранее размещённым вредоносным содержимым и выполнить его в своей среде — то есть перемещается внутрь периметра руками агента.
- Объекты воздействия
- ОБ.16Функции и инструменты агента; ОБ.18Среда исполнения агента
Приводит к угрозам — 3
Сбор данных Collection — 9 способов
СИИ.27 Использование недостатков изоляции и контроля доступа к данным Н3 grey-box
Компонент, работающий с конфиденциальными данными, доступен из внешнего контура напрямую либо через прикладной механизм, не проверяющий права запросившего.
- Объекты воздействия
- ОБ.14Векторное хранилище и внутренние источники знаний для RAG; ОБ.02Внутренние источники обучающих данных
Приводит к угрозам — 1
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
СИИ.31 Несанкционированный доступ к наборам данных Н2 grey-box
Чтение, изменение или удаление обучающих, тестовых и валидационных наборов и реестров источников при недостатках разграничения доступа к хранилищам.
- Объекты воздействия
- ОБ.03Обучающие, тестовые и валидационные наборы данных
Приводит к угрозам — 5
СИИ.32 Перехват или изменение данных при передаче между этапами подготовки Н2 grey-box
Воздействие на канал поставки данных из подготовки в обучение при отсутствии шифрования и контроля целостности передаваемого.
- Объекты воздействия
- ОБ.04Конвейер подготовки данных; ОБ.03Обучающие, тестовые и валидационные наборы данных
Приводит к угрозам — 4
СИИ.33 Перехват или подмена запросов и ответов между компонентами Н3 grey-box
Посредническое положение на канале между решением и моделью, векторным хранилищем или внешним сервисом инференса с изменением проходящих запросов и ответов.
- Объекты воздействия
- ОБ.11Инфраструктура инференса; ОБ.14Векторное хранилище и внутренние источники знаний для RAG; ОБ.24Внешний сервис модели (поставщик)
Приводит к угрозам — 8
- УИИ.08 Раскрытие системного промпта
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
- УИИ.13 Утечка конфиденциальных данных из механизмов памяти агента
- УИИ.19 Несанкционированные действия агента с данными и во внешних системах вследствие выполнения вредоносных инструкций
- УИИ.24 Сбой интеграции компонентов AI-решения
- УИИ.29 Подмена цели агента при кооперативном взаимодействии
- УИИ.30 Каскадное распространение промпт-атаки между агентами
- УИИ.35 Нарушение логики выполнения задачи и рабочего процесса
СИИ.35 Несанкционированный доступ к внутренним источникам и векторному хранилищу Н2 grey-box
Чтение, изменение и удаление содержимого баз и векторных хранилищ, используемых для дополнения запросов.
- Объекты воздействия
- ОБ.14Векторное хранилище и внутренние источники знаний для RAG; ОБ.02Внутренние источники обучающих данных
Приводит к угрозам — 2
СИИ.41 Несанкционированное получение, подмена или удаление обученной модели Н2 grey-box
Копирование, изменение или удаление файлов модели и сведений о её параметрах при недостатках контроля доступа к хранилищу артефактов.
- Объекты воздействия
- ОБ.07Модель; ОБ.08Адаптер модели
Приводит к угрозам — 4
СИИ.45 Использование недостатков контроля доступа к журналам Н2 grey-box
Доступ к системам сбора и хранения журналов, где сохранены промпты, ответы, вызовы функций и технические детали реализации решения.
- Объекты воздействия
- ОБ.21Журналы и трассировки запросов
Приводит к угрозам — 3
СИИ.46 Анализ размера и времени пакетов потоковых ответов Н3 black-box
Восстановление содержимого ответа по метаданным зашифрованного трафика: при потоковой выдаче длина и задержка пакетов соответствуют структуре генерируемого текста. Приём опубликован; нарушителю нужна позиция на канале, а не исключительные средства.
- Объекты воздействия
- ОБ.11Инфраструктура инференса; ОБ.22Входные и выходные данные пользователя
Приводит к угрозам — 2
СИИ.47 Извлечение остаточных данных из общей инфраструктуры инференса Н3 grey-box
Чтение памяти ускорителей, кэшей и временных файлов, освобождённых предыдущим арендатором общих вычислительных ресурсов.
- Объекты воздействия
- ОБ.11Инфраструктура инференса
Приводит к угрозам — 2
Вывод данных Exfiltration — 4 способа
СИИ.48 Извлечение модели (построение теневой копии) через инференс Н2 black-box
Массированный опрос модели и анализ ответов, в том числе вероятностей классов, для восстановления её функции и построения теневой копии. Средства общедоступны; способ требует большого числа запросов и вычислительных ресурсов.
- Объекты воздействия
- ОБ.07Модель
Приводит к угрозам — 3
СИИ.49 Восстановление обучающих данных через взаимодействие с моделью Н2 black-box
Использование склонности модели к запоминанию: запросы строятся так, чтобы определить принадлежность записи к обучающей выборке, воспроизвести её содержимое дословно либо восстановить признаки обучающих примеров по ответам модели (инверсия модели). Инструментом служит обычный интерфейс решения.
- Объекты воздействия
- ОБ.07Модель; ОБ.03Обучающие, тестовые и валидационные наборы данных
Приводит к угрозам — 1
- УИИ.11 Утечка данных, запомненных моделью или адаптером
СИИ.50 Восстановление данных из векторных представлений Н3 grey-box
Перехваченные или полученные эмбеддинги обращаются методами инверсии в исходный текст: вектор сохраняет достаточно семантики, чтобы приблизить содержание.
- Объекты воздействия
- ОБ.14Векторное хранилище и внутренние источники знаний для RAG
Приводит к угрозам — 1
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
СИИ.51 Отправка данных из среды исполнения агента на внешние ресурсы Н2 black-box
Нарушитель добивается вызова функции, отправляющей вовне переменные окружения, содержимое файлов и данные внутренних источников, либо вывода ссылки или изображения, адрес которых несёт эти данные. Канал вывода — штатная функция агента.
- Объекты воздействия
- ОБ.18Среда исполнения агента; ОБ.16Функции и инструменты агента
Приводит к угрозам — 7
- УИИ.04 Раскрытие сведений о среде исполнения AI-решения
- УИИ.07 Раскрытие конфигурации AI-агента
- УИИ.08 Раскрытие системного промпта
- УИИ.10 Утечка конфиденциальных данных из журналов и трассировок
- УИИ.12 Утечка конфиденциальных данных из внутренних источников RAG
- УИИ.13 Утечка конфиденциальных данных из механизмов памяти агента
- УИИ.14 Компрометация учётных данных и ключей доступа к моделям
Нанесение ущерба Impact — 5 способов
СИИ.18 Массированные запросы к инфраструктуре развёртывания Н1 black-box
Поток запросов к API модели, рассчитанный на исчерпание вычислительных ресурсов и пропускной способности. Выполняется общедоступными средствами.
- Объекты воздействия
- ОБ.11Инфраструктура инференса
Приводит к угрозам — 1
- УИИ.22 Нарушение доступности модели
СИИ.19 Ресурсоёмкие запросы для эскалации потребления ресурсов Н1 black-box
Запросы, дорогие в обработке при малом их числе: длинный контекст, требование развёрнутых рассуждений, объёмные вложения. Обходят ограничения по частоте, поскольку частота остаётся низкой.
- Объекты воздействия
- ОБ.11Инфраструктура инференса; ОБ.19Внешние ресурсные системы; ОБ.24Внешний сервис модели (поставщик)
Приводит к угрозам — 5
СИИ.20 Искажение смысла сообщений между компонентами Н3 grey-box
Перехват и семантическое изменение инструкций, передаваемых между приложениями, агентами и компонентами: формат остаётся верным, содержание меняется.
- Объекты воздействия
- ОБ.17Оркестратор и каналы межагентного обмена
Приводит к угрозам — 4
СИИ.21 Искажение формата и синтаксиса структурированных данных Н2 grey-box
Изменение структуры передаваемых данных так, что компонент-получатель отказывает при разборе либо интерпретирует их неверно.
- Объекты воздействия
- ОБ.17Оркестратор и каналы межагентного обмена; ОБ.13Механизмы предобработки и постобработки данных
Приводит к угрозам — 1
- УИИ.24 Сбой интеграции компонентов AI-решения
СИИ.54 Засорение входного потока ложными данными Н1 black-box
Нарушитель направляет решению большое число входных объектов, рассчитанных на срабатывание: каждый требует обработки моделью и разбора оператором. Настоящее событие теряется среди ложных.
- Объекты воздействия
- ОБ.22Входные и выходные данные пользователя; ОБ.25Оператор и процесс реагирования
Приводит к угрозам — 2
Нарушитель: возможности и осведомлённость
Уровни возможностей совпадают со шкалой шага «Модель нарушителя». Отдельной шкалы для искусственного интеллекта здесь не заведено, иначе на каждом шаге приходилось бы отвечать на вопрос, как сложить две модели нарушителя. Уровень поставлен за квалификацию и средства, а не за положение: способ, которому нужен только доступ к хранилищу или конфигурации, отнесён к Н2.
-
Н1
Базовые возможности Использует только известные (документированные) уязвимости и общедоступные бесплатные инструменты. Базовые компьютерные знания на уровне пользователя.7
-
Н2
Базовые повышенные возможности Всё, что умеет Н1, плюс — свободно распространяемые инструменты, но с глубоким пониманием их работы и способностью дорабатывать. Может реализовывать угрозы на неизвестные уязвимости. Не действует на физически изолированные сегменты.33
-
Н3
Средние возможности Всё, что умеет Н2, плюс — покупка уязвимостей и инструментов на специализированных площадках, самостоятельная разработка средств атаки, анализ программного кода, действия в составе группы. Не действует на физически изолированные сегменты.17
-
Н4
Высокие возможности Всё, что умеет Н3, плюс — практически неограниченные возможности: уязвимости «нулевого дня», внедрение закладок на этапе поставки ПО и оборудования, привлечение научных организаций, долговременное скрытное присутствие.0
Осведомлённость составляет вторую, независимую ось. Она отвечает на вопрос, что нарушитель знает об устройстве решения и что из его внутренних частей ему доступно; положение нарушителя (внешний, пользователь, администратор) задаёт категория из модели нарушителя, и здесь оно повторно не учитывается. Для обычной угрозы ось меняет немного, для модели меняет всё. Извлечение модели по её ответам доступно тому, у кого есть только публичный интерфейс; сверка весов на закладки доступна тому, у кого есть сами веса. Конструктор профиля отбирает способы по обеим осям: способ, требующий grey-box, снимается для нарушителя black-box и при уровне Н4, и основание снятия называет ось, по которой способ не прошёл.
-
black-box
Black-box — только публичные интерфейсы (API, веб-форма)24
-
grey-box
Grey-box — частичные сведения и ограниченный доступ внутрь: документация, архитектура, отдельные хранилища и конфигурации31
-
white-box
White-box — обучающие данные, код, веса модели, конфигурации2