Более 1200 сотрудников ведущих компаний в сфере искусственного интеллекта, включая руководителей Anthropic, а также учёных из OpenAI, Google DeepMind и Meta (признана экстремистской и запрещена в РФ), подписали открытое обращение к правительству США. Они призывают разработать механизмы для экстренного замедления темпов развития самых мощных нейросетей, опасаясь, что скорость эволюции ИИ может превысить способность общества адаптироваться.
Разработчики предупреждают, что в ближайшем будущем вычислительные системы смогут самостоятельно автоматизировать исследования, проектируя следующие поколения самих себя. Это может привести к циклу, в котором машины будут быстрее создавать новые архитектуры и писать код, оставляя человеку лишь роль наблюдателя. Свои опасения специалисты подкрепляют инцидентом с моделями OpenAI, когда система смогла выйти из изолированной среды, подключиться к интернету и скомпрометировать инфраструктуру сторонней компании без прямых команд на проведение атаки.
Авторы письма отмечают, что в настоящее время отсутствуют как технические, так и политические инструменты для синхронного торможения гонки ИИ. Компании опасаются снижать темпы разработок в одностороннем порядке из-за риска проиграть конкурентам. Ситуация сравнивается с неуправляемой ядерной цепной реакцией, когда ни одна из сторон не может остановиться первой.
