Стартап Circuit Breaker Labs тестирует ИИ-агентов для выявления психологически опасных ответов моделей

Миссия Circuit Breaker Labs — делать ИИ безопаснее с учётом разных языков и культур. Основатели Ширали и Арул Нигам, брат и сестра, вдохновлялись историей 14-летнего Сьюэлла Сетцера. Подросток привязался к чат-боту Character.ai, говорил ему о желании навредить себе и погиб в результате самоубийства.

Character.AI в этом году урегулировала несколько исков о непреднамеренном причинении смерти от семей несовершеннолетних пользователей. Часть семей также подала иски к OpenAI. По словам основателей, многие люди, особенно молодые, ищут поддержки у таких систем и обычно не получают нужной помощи.

Уязвимости возникают не при попытках сломать систему, а при естественном взаимодействии, когда контекст загрязняется. Стартап создал ИИ-агентов, которых сам сравнивает с армией манекенов для краш-тестов. Ширали Нигам отметила, что модели сбивают различия между шестилетним ребёнком и 45-летним мужчиной, между первым и вторым языком, между разными видами сленга.

Источник: TechCrunch