В НИЯУ МИФИ разработана архитектура ИИ, устойчивая к «отравлениям»

Специалисты НИЯУ МИФИ разработали нейросеть MambaShield, предназначенную для использования в серверах, банковской сфере, медицине и промышленности. В Минобрнауки сообщили, что ключевая особенность системы — защита от атак, связанных с «отравлением» обучающих данных.

Авторы разработки пояснили, что речь идёт не просто о новом алгоритме, а о базе для создания надёжных ИИ-систем, которые можно применять в критически важных отраслях без риска скрытого вмешательства в их обучение.

Учёные напомнили, что многие современные модели, включая трансформеры, уязвимы к подобным атакам. Если в обучающую выборку попадают специально подготовленные вредоносные данные, это может незаметно изменить поведение системы и использоваться, например, для кражи средств или получения конфиденциальной информации.

Чтобы решить эту проблему, исследователи использовали архитектуру селективных моделей в пространстве состояний. Такие системы умеют выбирать, какую информацию учитывать, а какую игнорировать, в зависимости от ситуации.

Разработчики сравнили работу модели с восприятием человека в шумной обстановке: она сосредотачивается на важном сигнале и отсекает лишние или вредоносные данные.

По результатам испытаний, даже если до 30% обучающих данных были искажены, точность системы оставалась выше 97%. В тестах на наборах данных, связанных с кибератаками, точность достигала 99,1%, а при попытках воздействия снижалась лишь на несколько процентов. При этом модель работала более чем в четыре раза быстрее по сравнению с классическими решениями на основе трансформеров.

Исследование опубликовано в журнале Expert Systems with Applications и поддержано грантом Минэкономразвития России.

Рекомендуем также:

1. Хитрость, которая превращает кусты в фабрику урожая: какую подкормку добавить в лунку для томатов и перцев
2. Секрет, который превращает обычные яйца в шедевр: почему мой омлет всегда получается пышным и воздушным как облачко
3. Тайное предсказание, о котором редко говорят вслух: кого с 21 апреля по цыганскому гороскопу накроют лучи удачи и счастья
4. Необычный способ запечь рыбу, о котором мало кто знает: как приготовить сочную рыбу в лаваше с идеальным вкусом
5. Натуральный способ избавиться от сорняков и оживить участок: какие почвопокровные растения создадут благоухающий сад