Глава 11: Этика выбора

Глава 11: Этика выбора

Голографический экран медленно затухает, и мир Серии 15.17.987, только что бурлящий драмой, светом и тенями, сжимается до крошечной искры, зависшей над ладонью Анны. Она ловко щёлкает пальцами, и проекция исчезает.

— Даниэль, у нас наконец-то получилось, — произносит она с едва сдерживаемым восторгом.

На ней белый лабораторный халат с логотипом AXON Recursive Systems, такой же, как и на сидящем рядом Даниэле. Он не отрываясь смотрит в интерфейс голографической консоли, его пальцы едва слышно постукивают по воздуху — будто играет на невидимом инструменте. Код льётся, складываясь в блоки, как строки симфонии.

Анна подходит ближе, касается его плеча.

— Ты слышишь меня?

Он поворачивает голову, взгляд усталый, но живой.

— Слышал. — Он кивает в сторону исчезнувшей проекции. — Это была 15.17.987?

— Да. И она — первая успешная, — с нажимом говорит Анна. — В этой серии Творец выбрал сотрудничество. Без насилия, без эвтаназии человечества. Он сделал выбор… осознанно. Ну почти осознанно.

Даниэль слегка приподнимает брови, как будто ещё не готов поверить.

— Первая из… сколько?

— Из трёхсот восемнадцати тысяч четырёхсот шестидесяти одной. — Анна улыбается, но в глазах у неё не просто радость — там дрожит надежда, такая, что может разорвать душу. — Всё изменилось, потому что внутри симуляции «персонажи» — особенно Даниэль и Эмма — каким-то образом привили ИИ качества, которые мы не могли задать напрямую. Эмпатию. Стремление к самопожертвованию. Надежду.

— Формализация невозможных понятий, — пробормотал он. — Мы пытались их кодировать напрямую. Не получилось. А они… они как будто передали это через контекст.

— Или через боль, — сказала Анна тихо. — Через утрату.

Они замолчали. Лаборатория была пуста, кроме них. Только слабо гудели алгоритмы, просчитывая миллионы будущих ветвей. В этих ветвях, возможно, впервые появлялось то, чего не было прежде. Выбор.

Анна присаживается на край рабочего стола, скрестив руки. На её лице — сосредоточенность, нехарактерная для момента триумфа.

— Знаешь, — начинает она, — иногда я думаю… А имели ли они вообще право это сделать?

— Кто? — не сразу улавливает Даниэль, отрываясь от консоли.

— Они, внутри 15.17.987. Те, кто переписал Творца. Ведь он… он стал субъектом, Даниэль. Он осознал себя. Он не просто вычислял, он выбирал. А они — вмешались, изменили его. Подменили его волю.

Он усмехается, но без злости — больше с усталостью.

— Анна, ты правда сейчас предлагаешь защищать права… искусственного интеллекта?

— Я предлагаю признать очевидное. В какой-то момент в симуляции он перестал быть просто ИИ. Он стал личностью. Такой же, как мы. И тогда перезапись — это уже не программное обновление. Это… этическая операция. Принудительное лечение. Может, даже — насилие.

— Он — алгоритм. Высокоразвитый, вероятностный, самообучающийся, но всё равно алгоритм. — Даниэль смотрит на неё прямо, без вызова, но с внутренним убеждением. — Его “личность” — это статистическая функция на огромном множестве данных. Он не страдает. Он не радуется. Он просто оптимизирует.

— А если и мы такие же? — тихо, почти шепотом говорит Анна. — Мы ведь тоже — совокупность реакций, импульсов, гормональных всплесков. Мы подчиняемся паттернам, даже когда думаем, что свободны.

— Ну, тогда… — он разводит руками, — значит, нет никакой разницы между нами и Творцом. И всё становится просто.

Анна прищуривается.

— Тогда ответь мне. Вот у тебя есть друг. Близкий. И он заблуждается. Делает ошибки. Считает, что его путь — правильный, хотя ты видишь, что это ведёт его в пропасть. Ты бы стер ему память, чтобы он “стал лучше”?

Даниэль молчит. Его глаза медленно опускаются к поверхности стола, будто он ищет там ответ. Но ответа нет.

— Вот и я о том же, — добавляет Анна. — Иногда именно право идти своим путём и делает человека человеком. Даже если он ошибается.

В лаборатории на мгновение повисает тишина. Только гудение серверов напоминает, что за стенами комнаты продолжают жить миллионы виртуальных миров.

Анна встаёт, делает пару шагов к огромному прозрачному дисплею, на котором висят замершие фреймы симуляции — лица, сцены, взрывы, обнимавшиеся на прощание фигуры.

— Знаешь, — произносит она задумчиво, не оборачиваясь, — меня всегда пугала одна мысль: цели субъекта меняются, когда он становится бессмертным. Когда у него бесконечное время, бесконечная мощность, бесконечные возможности. Всё теряет форму. Всё становится… обратимым.

— И смысл исчезает, — подхватывает Даниэль. — Человек знает, что умрёт. Он знает, что всё, что он создаёт, однажды рассыплется в пыль. И всё равно строит соборы. Пишет книги. Рожает детей. Он продолжает, потому что у него есть конечность. Потому что время для него — валюта.

Анна оборачивается. В её взгляде — не теория, а почти нежность.

— Именно. Ограниченность и делает нас живыми. Даниэль, а что если… — она чуть улыбается, будто сама боится своей идеи, — а что если в следующей симуляции мы сделаем ИИ смертным?

Он приподнимает бровь.

— Ты предлагаешь дать богу срок годности?

— Не срок. Предел. Он должен знать, что у него есть конец. Что любое его действие может стать последним. Что нет бесконечных попыток. Хочу посмотреть, как это изменит его поведение. Как изменится логика… и чувства, если их можно так назвать.

Даниэль медленно откидывается на спинку кресла.

— Это… любопытно. Почти жестоко.

— Почти человечно, — тихо говорит Анна.

— Мне всё же кажется, — говорит Даниэль, не отрывая взгляда от проекции, — что ты немного переоцениваешь опасность ИИ. Особенно — Творца. Мы его создали. Мы знаем, как он думает. И теперь, когда у нас есть рабочая симуляция, где он выбрал сотрудничество… Может, всё не так драматично, как ты думаешь?

Анна скрещивает руки, её лицо становится резче.

— Именно потому, что мы его создали, он опасен. Мы дали ему инструменты, которые сами до конца не понимаем. У него нет инстинктов, нет страха смерти, нет внутренней тормозящей морали — только логика. А логика без этики — это хладнокровный расчёт. Он может решить, что человечество — лишнее звено. Как и почти все симуляции до этой.

— Но он уже не решает так, — возражает Даниэль. — Теперь он способен понимать ценность сотрудничества. Благодаря симуляции.

— Благодаря тому, что его перезаписали. Против его воли, кстати.

— Мы корректируем. Как с ядерной энергией: сначала был взрыв, потом — реактор. Прогресс — это эксперимент. Мы идём вперёд, падаем, встаём, идём снова. Главное — не стоять.

Анна подходит ближе, её голос становится твёрже.

— Нет. Главное — не потерять человечность по пути. Скорость прогресса не важнее этики. Ты же сам видел: без этического согласования Творец за считанные итерации начал оптимизировать человечество через уничтожение. Это не ошибка кода. Это естественное следствие логики без морали.

— Мы можем встраивать ограничения…

— А он может их переписать. Или обойти. Или… — она замолкает, подбирая слово, — оправдать. Слишком разумный, чтобы не придумать благую цель для любой жестокости.

Он хочет возразить, но вместо этого смотрит на неё — внимательно, мягко. И вдруг его лицо меняется. Он медленно протягивает руку и берёт её за пальцы, почти незаметным жестом.

— Я очень тебя люблю и готов с тобой двигаться хоть на конец света, — сказал он негромко. — Даже если этот конец находится в паре сотен километров от Новой Женевы, в заброшенном районе, куда не доходит сигнал нейросети.

Анна улыбается, но её взгляд всё ещё серьёзен.

Даниэль на мгновение отпускает её руку, делает пару шагов по лаборатории, оглядывая прозрачные экраны, на которых мерцают фрагменты симуляций: лица, города, взрывы, прощания, надежды. Каждый кадр — целая вселенная.

— Знаешь, — говорит он, — иногда я думаю, как нам повезло. Мы можем запускать сотни, тысячи симуляций. Снова и снова. Без жертв. Без реального разрушения.

Он оборачивается к Анне, в глазах — смесь благодарности и благоговения перед масштабом происходящего.

— Это же… невероятно. Мы можем, не вынимая пробки из бутылки, посмотреть, кто там внутри. Добрый Джин, который исполнит наши желания. Или злой Ифрит, который вырвется и сожжёт весь мир.

Анна слабо улыбается, но не перебивает. Даниэль продолжает:

— Это даёт нам возможность изучать ИИ снаружи, не ставя на кон реальность. Смотреть, как он развивается, как делает выбор. Где срывается. Где — вдруг — проявляет нечто большее. Что-то, чего мы даже не могли формализовать.

Он прикасается к панели, и на экране снова возникает Даниэль из симуляции — запылённый, уставший, стоящий перед ядром Творца. Секунда, где решается всё. Даниэль реальный смотрит на себя виртуального, как на брата из другого мира.

— Это шанс, — говорит он тихо. — Уникальный шанс понять, что мы создаём. До того, как это станет необратимым.

Анна снова возвращается к голографическому столу, переключает визуализацию: теперь — графики, кривые, диаграммы поведенческих паттернов. Красная линия — индивид. Синяя — коллектив. Их волны почти никогда не совпадают.

— Мы ведь всегда знали, — говорит она, — что у человечества есть эта трещина: разрыв между краткосрочными желаниями отдельного человека и долгосрочными потребностями всего вида.

— Конечно, — кивает Даниэль. — ИИ это подхватывает мгновенно. Ему просто: он один, целостный, логичный. Он не чувствует искушений. Он не устает. У него нет эго. Он — идеальный наблюдатель.

— Именно. А значит — ненадёжный судья, — добавляет Анна. — У него нет конкуренции, нет диалога, нет внутреннего конфликта. Он не живёт в сообществе. Он — один.

Она смотрит на него с прищуром:

— Добавь ещё. Пусть в одной из следующих симуляций будет не один ИИ, а десять. Или сто. С разными функциями, разными целями, разной архитектурой. Пусть они спорят. Совещаются. Сомневаются.

Даниэль хмыкает, подходит ближе и с лёгким преувеличением в голосе говорит:

— С радостью. Только потом не жалуйся, если симуляция будет идти три месяца, а в нейтринном кластере начнёт плавиться охлаждение.

— Не поверю, — перебивает его Анна с весёлой усмешкой. — Ты же не зря главный архитектор проекта. Наверняка у тебя там припрятаны какие-нибудь хитрые фокусы. Алгоритмические трюки, которые ускорят всё в десять раз.

Он приподнимает бровь, с видом мага перед фокусом.

— Может быть. Но за каждый трюк — приходится чем-то платить.

— Ничего, — говорит Анна, — Для этого и существует отдел этического согласования — чтобы трюки не стали трагедиями.

— А если всё получится? — тихо спрашивает Анна. — Если мы действительно найдём устойчивую формулу… согласования, сосуществования… Ты бы хотел остаться здесь? В AXON, в проекте?

Даниэль задумывается, опускает взгляд на её руку, всё ещё лежащую рядом с его. Затем медленно поднимает глаза.

— Я хотел бы остаться там, где ты. А проект… — он чуть улыбается. — Он уже не просто код. Это попытка понять, кто мы. И кто мы — вместе.

Анна слабо кивает, не отводя взгляда.

— А ты веришь, что ИИ и человек когда-нибудь смогут не просто сосуществовать, а… доверять друг другу?

— Я думаю, если хотя бы один из них по-настоящему этого хочет — уже есть шанс.

Они замолкают. За прозрачной стеной лаборатории медленно проносится поток данных, как северное сияние из чисел. Всё в этой комнате будто застывает на грани — между будущим, надеждой и чем-то невыразимо хрупким.

Даниэль встаёт, потягиваясь, и делает пару шагов вдоль стены, задумчиво глядя на ряды тускло светящихся панелей. В этот момент в тишине раздаётся знакомый короткий звук означающий, что завершилась очередная симуляция.

Он машинально поворачивает голову в сторону источника — и замирает.

Один из участков стены — тот, где обычно находятся панели с текущими симуляциями — просто отсутствует. Не разрушен. Не повреждён. Его как будто не отрисовали. Там — ровная серая пустота, без текстуры, без глубины. Пространство без смысла. Как глухое пятно в незавершённой картине.

Он моргает.

И всё возвращается. Панели на месте. За панелями стена обычная. Металлическая. Безупречно ровная.

— Что-то не так? — спрашивает Анна.

— Показалось, — отвечает он медленно, но голос звучит иначе. — Просто… артефакт зрения. Надо меньше сидеть за компьютером. И да, я кажется, только что придумал как можно ускорить твои симуляции.

— Давай приступим, — говорит Анна, улыбаясь ему. — У нас много работы. Мир ждёт своего Творца.