Копипаста:Есть только один плохой сценарий развития ИИ

Я неоднократно ставил ИИ-думеров в тупик вопросами о том, как именно ИИ нас уничтожит. и никогда не слышал внятного ответа. Я считаю, что сценарии в стиле Скайнета, где человечество противостоит вышедшему из-под контроля искусственному интеллекту, — просто научно-фантастические фантазии, равно как и сценарии вроде серой слизи. Оба варианта сложно вывести из текущей реальности, разрыв с реальностью слишком невероятный, чтобы быть правдой. Но, к сожалению, для того чтобы человечество прекратило существовать как открытый эволюционный процесс, такой разрыв вовсе не требуется. Опасность, на самом деле, в другом: ИИ продолжит оптимизировать текущую общественную функцию потерь — функцию доместикации.

Люди переживали страшные системы, но по сути своей человек оставался эволюционным существом. Любая система тоталитарного контроля должна уметь воспроизводиться из поколения в поколение. Она не может ограничиваться подавлением взрослых; ей необходимо выращивать детей, которые смогут жить внутри этой системы, поддерживать её и передавать дальше. А поскольку люди размножаются так, как размножаются, в этом процессе всегда присутствует элемент эволюционной случайности. Локально энтропия неизбежно берёт своё, и реальность никогда невозможно контролировать идеально.

Я не уверен, возможно ли это вообще, но если плохой сценарий с ИИ и существует, то это синглтон — система, за пределами которой ничто не способно существенно влиять на реальность. И произойдёт это не через гитлеровский язык, а через административный. Ради вашей безопасности реальность должна быть доступна только через посредника.

Подумайте. Если у нас появится техническая возможность, стоит ли позволять убийствам? А изнасилованиям? Болезням? Травле? Расистским высказываниям?

За последнее десятилетие мы раз за разом видели, куда на самом деле склоняются желания человечества в этих вопросах. Культ безопасности кажется почти невозможно оспорить. Нынешние попытки его воплощения выглядят довольно наивно, но я не думаю, что это меняет сам импульс. Сравните бумажные сертификаты вакцинации от COVID в США с европейскими, где уже используется настоящая криптография, которой не существовало пятьдесят лет назад. Здесь тенденция технологий очевидна: всё большее и большее реальность доступна только через посредника. Ради вашей безопасности. Ради вашего удобства. Чтобы сделать вас читаемыми. Чтобы вписать вас в управленческую рамку.

Однако одного этого импульса, даже если он охватит всех, недостаточно для катастрофического исхода. Размер каждой системы может расти, но главный вопрос — сколько независимых систем останется. Очень простой индикатор здесь: сколько групп ещё способны осмысленно применять насилие. И речь не только о человеческих группах — бактерии и прочая жизнь тоже в счёт.

Могут быть и другие локально плохие вещи, но единственный сценарий, ведущий к концу света, — это синглтон. Не одна большая модель на одном сервере, а один эффективный слой контроля, не имеющий ничего снаружи. Ни один независимый актор не сможет навязать ему что-то. Ни одна конкурирующая система не сможет его обойти. Ни один неконтролируемый эволюционный процесс не сможет его застать врасплох.

Всё насилие предотвращено во имя безопасности. Эта система больше не отвечает перед реальностью. Она больше не подвержена эволюции. Её нельзя исправить извне. Это конец.

Я не знаю, возможно ли это или нет, но если вы ищете правдоподобный сценарий гибели человечества от ИИ — вот он. Не великая война с машинами, а медленный, управляемый конец эволюции, скорее всего, во имя дальнейшей доместикации человека.