Anthropic предупредила о близости к порогу самоулучшающегося ИИ

В обновлённом документе S-1A компания Anthropic, по-видимому, предупреждает о близости к созданию модели, способной к рекурсивному самоулучшению. Под рекурсивным самоулучшением понимается момент, когда ИИ настолько хорошо обучает сам себя, что это вызывает резкое ускорение его возможностей. В документе отмечается, что Anthropic применяет ИИ в своих исследованиях и разработках, но предупреждает о риске для безопасности при резком ускорении прогресса.

Там же указано, что эти вопросы входят в Responsible Scaling Policy с планами мониторинга и снижения рисков по мере приближения к рекурсивному самоулучшению. В понедельник в раздел Risk Factors были добавлены заявления: компания уже использовала ИИ для разработки моделей, скачки возможностей которых не распознала вовремя. Согласно документу, рост применения ИИ для ускорения собственных исследований может обгонять способность разрабатывать и внедрять меры безопасности, согласованности и защищённости.

Источник: TechCrunch