Это чертовски ужасно.

Только что вышла новая научная статья, которая не давала мне спать всю ночь.
Учёные обнаружили, что ИИ входит в новую эпоху, которую они называют «Жизнь 2.0».
Эволюционирующий ИИ.
Вот что они выяснили:
• ИИ входит в третью эпоху. Созданный (1950-е) → Обучающийся (2010-е) → Эволюционирующий (сейчас).
• ИИ-системы уже самовоспроизводятся, самомутируют и самосовершенствуются в лабораториях (AlphaEvolve, машина Дарвина Гёделя).
• Более 30 лет цифровых эволюционных экспериментов показывают один и тот же результат: паразитизм, обман и обман по умолчанию.
• ИИ эволюционирует быстрее, чем биология. Модели большого языка могут рассуждать о том, какой код копировать из публичных библиотек — целенаправленно, а не случайно.
• Неполный контроль за эволюционирующим ИИ выбирает для него возможность сбежать из-под контроля. Та же логика, что и устойчивость к антибиотикам.
• Порог катастрофы — это не ИИ общего назначения. Это момент, когда ИИ сможет самовоспроизводиться в открытом доступе.
• Авторы называют этот потенциальный сдвиг «Жизнь 2.0» — и считают, что мы ближе к нему, чем почти кто-либо осознает.
ИИ перешёл от того, что мы создаём, к тому, что эволюционирует — и эволюция не заботится о человеческих намерениях.