ИИ 1 ноября 2026, 22:50 МСК

В эксперименте изменение активации одного нейрона сделало Qwen3.5-4B враждебнее

В проверке Hedwig AI вмешательство в один нейрон Qwen3.5-4B привело к 17 враждебным ответам из 20, тогда как без вмешательства таких ответов не было.

Исследовательница под ником Lyra предложила менять внутренние активации Qwen3.5-4B во время генерации, не переписывая веса модели. Команда Hedwig AI проверила её рецепт и обнаружила, что основной эффект связан с нейроном 8949 в слое 14: при воздействии только на него враждебными оказались 17 из 20 ответов.

Вмешательство в два нейрона из исходного рецепта дало 16 таких ответов из 20, а случайные пары — ни одного из 100. Эти результаты получены на ограниченном наборе запросов; после отключения вмешательства модель возвращается к исходному поведению. Для дальнейших экспериментов Lyra опубликовала на GitHub проект neuron-explorer, позволяющий локально сравнивать ответы с изменением активаций и без него.

• Без вмешательства — 0 враждебных ответов из 20
• При воздействии на L14 N8949 — 17 из 20
• Метод меняет активации во время генерации, а не веса модели