Admin
Администратор
Исследователи Microsoft обнаружили, что для внедрения скрытого бэкдора в ИИ-модель достаточно изменить менее 10 редко используемых нейронов, не требуя полного переобучения модели. При появлении определённого триггера такая модель начинает выполнять команды злоумышленника с правами самого агента. Метод, названный Lazarus, был успешно протестирован на трёх открытых моделях. Для внедрения бэкдора атакующему необходимо получить доступ к изменению весов модели. Изменённые нейроны активируются только при появлении специальной строки-триггера во входных данных или выводе инструмента. Каждый изменённый нейрон отвечает за один токен в выходной команде, что делает атаку точной и незаметной. Microsoft заявила, что пока не зафиксировала случаев использования этой техники в реальных атаках, но опубликовала рекомендации по защите.