Несколько лет назад прекрасным позднелетним днем я сидел за столиком у студенческой библиотеки в кампусе Беркли и спокойно работал над проектом вместе с коллегами, приехавшими со мной на небольшой воркшоп. Я на минуту задумался над своей задачей, и тут мое внимание — штука ненадежная даже в лучшие времена — привлек обрывок разговора за соседним столиком. Разговаривали двое студентов: один постарше, другой — первокурсник. Старший пытался завлечь младшего в студенческую группу, продвигающую эффективный альтруизм — новый подход к благотворительности. Старшекурсник описывал это как веселый способ пообщаться с другими ребятами и одновременно сделать что-то стоящее, а в конце своей презентации добавил индивидуальный аргумент для первокурсника, который учился на инженерном. «Среди эффективных альтруистов много инженеров, — сказал он, — потому что они любят оптимизировать всё до умопомрачения».

Я тихонько усмехнулся, а затем мне пришлось объяснять коллегам за столом, в чем дело и что я вообще знаю об эффективном альтруизме. Чего я тогда не знал, так это того, что несколькими годами ранее, в 2012-м, похожий разговор произошел на другом конце страны между Уиллом, молодым философом, специализирующимся на этике, и Сэмом, студентом-третьекурсником МТИ. Сэм пытался понять, что ему делать со своей жизнью, и в кафе Au Bon Pain рядом с Гарвардской площадью Уилл изложил ему ключевую концепцию эффективного альтруизма: «зарабатывать, чтобы отдавать» (earn to give). Суть идеи в общих чертах сводилась к тому, что один из лучших способов сделать мир лучше — это заработать кучу денег, а затем пожертвовать большую их часть на благородные дела, помогающие людям.1 Сэм кивнул и просто сказал: «Ага. Логично». Он последовал совету Уилла — и его философии — и ринулся воплощать их в жизнь. Он всем сердцем принял эффективный альтруизм и принес его с собой на работу в Jane Street, фирму с Уолл-стрит, специализирующуюся на высокочастотном трейдинге. Проработав там несколько лет трейдером (по его утверждениям, около половины своего заработка он жертвовал на благотворительность), Сэм уволился и устроился на работу вместе с Уиллом, заняв должность директора по развитию бизнеса в Центре эффективного альтруизма (CEA).2 Вскоре после этого карьера Сэма по-настоящему пошла в гору.

К сожалению, сегодня Уилл и Сэм уже не так дружны, как раньше. «Я не знаю, какое чувство сильнее: моя ярость по отношению к Сэму (и остальным?) за то, что они причинили такой вред стольким людям, — писал Уилл в ноябре 2022 года, — или же моя грусть и ненависть к себе за то, что я повелся на этот обман».3

*    *    *

Невозможно толком объяснить, что произошло между Уиллом и Сэмом — и что такое натворил Сэм, разозлив Уилла (и многих, многих других), — если сначала не рассказать об эффективном альтруизме. На первый взгляд эффективный альтруизм кажется довольно простым и понятным: нужно оценить наилучшие способы сделать мир лучше, а затем посвятить этим усилиям как можно больше времени и денег. Суть этой идеи восходит к философу Питеру Сингеру, профессору этики в Принстоне. Сингер утверждал, что каждый человек должен отдавать на благотворительность все (или почти все) свои свободные средства.4 Его самый известный аргумент в пользу этой идеи начинается с простого мысленного эксперимента.

Представьте, что вы гуляете по довольно оживленной дорожке в небольшом парке. На улице прохладно, поэтому на вас надет свитер — возможно, очень приличный свитер, кашемировый или вроде того, — а поверх него удобное, но модное пальто. Прогуливаясь дальше, вы подходите к грязному пруду и вдруг замечаете, что там тонет ребенок. Более того, ребенок, кажется, вот-вот полностью скроется под мутной, илистой водой и уже едва может звать на помощь. Никто другой ребенка не заметил, а если и заметил, то никому до этого нет дела — люди проходят мимо, даже не замедляя шага. Каждая секунда на счету, но, к счастью, пруд довольно мелкий, так что если вы поторопитесь, то сможете войти в воду вброд и спасти малыша. Но вы также понимаете, что если броситесь в воду прямо сейчас, то наверняка испортите свой красивый свитер, любимое пальто и остальную одежду. И кажется, что как только ребенок уйдет под воду, вы его уже не увидите, так что ваш единственный шанс успеть вовремя — прыгнуть в воду сразу, не останавливаясь, чтобы снять одежду. Как вы поступите? Спасёте ребенка? Стоят ли время и деньги, которые придется потратить на покупку новой одежды взамен испорченной, того, чтобы спасти жизнь? Или одежда и деньги всё-таки важнее?

Почти каждый согласится, что спасти ребенка в такой ситуации — единственно верное решение, которое определенно стоит испорченной одежды. Но, рассуждает Сингер, если это так — если комплект одежды всегда менее ценен, чем жизнь ребенка, — то, конечно, не имеет значения, где именно находится этот ребенок. И, как отмечает далее Сингер, для человека со средним достатком на самом деле спасти жизнь реального бедного ребенка в другой части света ничуть не сложнее, чем жизнь гипотетического тонущего в грязном пруду малыша поблизости. «Все мы находимся в положении прохожего у мелкого пруда, — писал Сингер в своем эссе 1997 года "Тонущий ребенок и расширяющийся круг". — Каждый из нас может спасать жизни людей, как детей, так и взрослых, которые иначе погибли бы, и мы можем делать это с ничтожно малыми затратами с нашей стороны: стоимость нового компакт-диска, рубашки или вечера в ресторане или на концерте может стать вопросом жизни и смерти для кого-то в другой части света — а международные благотворительные организации вроде Oxfam помогают преодолеть проблему расстояния».5

Как выясняется, Сингер, вероятно, ошибался относительно стоимости спасения одной жизни этими благотворительными организациями. Хотя в рекламных материалах подобных фондов иногда утверждается, что спасти жизнь можно менее чем за 100 долларов, более реалистичная оценка, скорее всего, составляет около 5000 долларов.6 Но аргумент Сингера всё равно остается в силе, и его мысленный эксперимент легко скорректировать с учетом этого: если предположить, что во время прогулки на вас надета исключительно дорогая дизайнерская куртка, которую вы одолжили у богатого друга, вы, вероятно, всё равно предпочли бы спасти ребенка, даже если это означает необходимость купить другу новую куртку взамен испорченной. Или мы могли бы представить ситуацию, когда вы гуляете с большой компанией друзей и вам всем нужно прыгнуть в грязный пруд, чтобы вытащить ребенка, при этом каждый из вас лишается одежды, мобильных телефонов и других личных вещей на сумму в несколько сотен долларов. Против позиции Сингера существуют контраргументы, но большинство из них направлены на самый крайний вывод, который можно из нее сделать, а именно на то, что все свои свободные средства человек должен тратить на спасение жизней по всему миру.7 Но даже если это не так, аргумент Сингера указывает на то, что нам следует тратить на спасение жизней больше, чем большинство из нас обычно делает.

Хотя аргумент Сингера звучит убедительно, его подход к этике в целом менее убедителен. Сингер — утилитарист. Утилитаристы считают, грубо говоря, что поступать этично — значит делать выбор, который ведет к наибольшему благу и наименьшим страданиям, максимизируя абстрактную величину, известную как «полезность». Сингер включает в этот моральный расчет и животных. Он выступал против промышленного животноводства и в защиту вегетарианства, и его труды на эти темы пользуются большим влиянием среди активистов за права животных. Но утилитарный взгляд на этику в своей простейшей форме сводит этические вопросы к задаче оптимизации: какие действия приведут к наибольшему количеству полезности в мире? Очевидные последующие вопросы касаются того, что именно представляет собой «полезность» и как узнать, какие действия будут ей способствовать, причем ни на один из них нет ясного ответа. Современные утилитаристы добавили нюансов в свои позиции, чтобы как-то справиться с этими вопросами. Тем не менее порой даже более изощренные формы утилитаризма могут приводить к тревожным — или даже отталкивающим — выводам относительно наилучшего способа способствовать общему благу и избегать страданий. Например, Сингер заявлял, что эвтаназия младенцев с тяжелыми формами инвалидности, а также взрослых с прогрессирующей деменцией при определенных обстоятельствах этически приемлема.

Неудивительно, что Сингер пользуется дурной славой из-за своих взглядов на эвтаназию. Помимо этого, он, пожалуй, наиболее известен своими взглядами на права животных. Но именно его аргумент в пользу того, чтобы больше жертвовать на благотворительность, оказал наибольшее влияние на Уильяма Макаскилла — Уилла — и небольшую группу его коллег-философов. В 2009 году, учась в аспирантуре Оксфорда, Макаскилл вместе с Тоби Ордом, другим местным философом, стал соучредителем некоммерческой организации Giving What We Can. Организация предлагает своим членам взять на себя обязательство жертвовать 10 процентов своего дохода на благотворительность вплоть до выхода на пенсию. Макаскилл и Орд сами подписали это обещание. «Мне нравилась идея связать обязательствами себя будущего — у меня было много юношеской энергии, и я боялся, что со временем стану более консервативным», — вспоминал Макаскилл.8

Орд и Макаскилл не просто стремились жертвовать как можно больше денег — они хотели найти наилучший способ распределения этих средств, чтобы приносить максимальную пользу людям. Орд жертвовал 25 процентов своего дохода на благотворительность и решил, что лучше всего направлять эти деньги в фонд, занимающийся лечением слепоты в развивающихся странах. Макаскилл убедил его, что организации, занимающиеся борьбой с кишечными паразитами, — более удачный выбор, указав на экономические исследования, согласно которым такие фонды были в сто раз более экономически эффективными. Дальнейшие исследования показали, что организации, распространяющие противомалярийные сетки в тропиках, могут спасти еще больше жизней на каждый потраченный доллар.9 Позже Макаскилл, Орд и еще несколько человек назовут этот основанный на данных подход к благотворительности «эффективным альтруизмом», или ЭА; еще до того, как определиться с названием, Макаскилл и Орд начали активно проповедовать эту идею, предлагая друзьям и коллегам подписать обещание жертвовать 10 процентов. Когда они основали Giving What We Can, «у нас было двадцать три участника, и большинство из них были нашими с Тоби друзьями», — вспоминал Макаскилл.10 Макаскилл также стал соучредителем еще одной организации, 80,000 Hours (названной так в честь количества часов, которые человек в среднем тратит в течение жизни на обычной работе с сорокачасовой рабочей неделей), которая сосредоточилась на предоставлении научно обоснованных рекомендаций о том, какие карьеры лучше всего выбирать, чтобы помогать другим людям, включая концепцию «зарабатывать, чтобы отдавать».11

Тем временем дела у самого Макаскилла шли в гору. В 2015 году вышла его первая книга — Doing Good Better, 272-страничное обоснование подхода эффективного альтруизма к благотворительности. В том же году, в возрасте двадцати восьми лет, он стал доцентом философии в Оксфорде, став на тот момент одним из самых молодых доцентов философии в мире.12 Он выступил соучредителем CEA, еще одной некоммерческой организации, которая объединила под одной институциональной крышей Giving What We Can и 80,000 Hours.13 Только в 2019 году его организации выделили гранты на сумму 9,8 миллиона долларов, а к 2022 году, когда вышла его вторая книга, более семи тысяч человек обязались пожертвовать в общей сложности 2,5 миллиарда долларов.14

Эта книга, «Что мы должны будущему», отстаивает нечто куда менее очевидное, чем польза от противомалярийных сеток в развивающихся странах. Макаскилл выступает не просто в защиту ЭА, но за его конкретное направление, известное как «лонгтермизм». «Люди будущего имеют значение. Их может быть очень много. Мы можем сделать их жизнь лучше», — пишет он в начале книги.15 «То, что мы делаем сейчас, повлияет на неисчислимое множество будущих людей. Мы должны действовать мудро».16 Развивая аналогию Сингера, Макаскилл утверждает, что временная дистанция должна иметь для наших этических рассуждений не больше значения, чем дистанция пространственная. «Расстояние во времени — то же самое, что расстояние в пространстве. Люди важны, даже если они живут за тысячи миль от нас. Точно так же они важны, даже если они будут жить тысячи лет спустя... Подобно тому как мир не заканчивается у нашего порога или у границ нашей страны, он не заканчивается и на нашем поколении или на следующем».17

Большинство людей согласятся с Макаскиллом в том, что у нас есть моральные обязательства перед будущими поколениями. Призывы к борьбе с глобальным потеплением и спасению хрупких экосистем часто опираются на подобную логику, равно как и аргументы в пользу сохранения культуры — например, архивации исчезающих языков или сохранения древних произведений искусства. Макаскилл целиком и полностью поддерживает такие проекты. Но лонгтермизм подразумевает гораздо большее. В своей книге Макаскилл утверждает, что просто пытаться оставить лучший мир для тех, кто придет после нас, недостаточно — мы также должны постараться сделать так, чтобы после нас пришло как можно больше людей. Речь идет не просто о том, чтобы сделать будущие поколения более многочисленными; речь идет о максимизации вероятности того, что этих поколений будет как можно больше и все они будут до краев наполнены счастливыми людьми. Макаскилл мыслит категориями поистине далекого будущего. «Чтобы проиллюстрировать потенциальный масштаб будущего, предположим, что мы просуществуем лишь столько же, сколько существует типичный вид млекопитающих, — то есть около миллиона лет. Также предположим, что численность нашего населения останется на нынешнем уровне. В таком случае в будущем родится еще восемьдесят триллионов человек; люди будущего будут превосходить нас числом в соотношении десять тысяч к одному».18 (Для наглядности: это означает, что наши потомки будут превосходить по численности ныне живущих людей в той же пропорции, в какой все остальное человечество превосходит население Сан-Франциско.) По мнению Макаскилла, мы обязаны постараться сделать жизнь этих людей как можно лучше. И он утверждает, что мы находимся в уникальном положении для этого. «Если человечество проживет хотя бы малую часть своего потенциального срока жизни, то, как ни странно, мы окажемся древними: мы живем в самом начале истории, в глубочайшем прошлом... Мало кто из когда-либо живущих людей будет обладать такой же возможностью положительно повлиять на будущее, как мы».19

Это влияние, по его утверждению, распространяется и на то, превысит ли число будущих людей упомянутые восемьдесят триллионов. Примерно через миллиард лет возросший жар Солнца испарит океаны Земли, запустив неуправляемый парниковый эффект, который сделает планету смертельно опасной для жизни на основе воды. Если наш вид доживет до этого времени, каким-то образом сохраняя нынешнюю численность населения около восьми миллиардов человек на протяжении всего этого периода, то в будущем родится около ста квадриллионов (сто миллионов миллиардов, или 1017) людей — по двенадцать миллионов на каждого человека, живущего сегодня.20 И если вместо того, чтобы ограничиваться поверхностью Земли, мы выведем человечество в космос, число потенциальных людей будущего станет соответственно астрономическим. За тот же миллиард лет осваивающее космос человечество могло бы расселиться по всей нашей галактике Млечный Путь, где насчитывается не менее ста миллиардов планет. Даже если только 1 процент из них пригоден для жизни людей, это все равно оставляет нам достаточно места для 1026 людей будущего в течение следующего миллиарда лет при средней численности населения в восемь миллиардов человек на планету в любой момент времени. Но и это не предел: на других планетах жидкая вода будет сохраняться гораздо дольше, чем миллиард лет. И если мы сможем заселить Млечный Путь, то почему бы не заселить и наблюдаемую Вселенную? Если человечество заполнит Вселенную до краев, и его численность в космосе будет неуклонно расти, пока не погаснут практически все звезды, число людей будущего может приблизиться к 1040. Это десять миллионов миллиардов триллионов триллионов человек — единица с сорока нулями.21 И все это предполагает, что наши потомки останутся людьми с нашими телами и мозгом из плоти. Если мы найдем способ переносить человеческий разум в компьютеры или если нашими основными потомками станут сознательные ИИ, то будущее может быть наполнено бесчисленными мириадами электронных форм жизни, чьи кремниевые микросхемы будут безмолвно бороздить межгалактические пустоты вплоть до тепловой смерти Вселенной.

Для Макаскилла буквально действует принцип «чем больше, тем лучше». Пока счастье наших потомков перевешивает их страдания, его логика требует признать: чем больше их численность, тем лучше будущее. Он утверждает, что мы должны всеми силами стремиться к максимально масштабному из этих вариантов будущего. «Будущее цивилизации может быть буквально астрономическим по своим масштабам, и если мы придем к процветающему, цветущему обществу, то сделать это будет делом колоссальной важности».22 И все же в этих футуристических видениях «последнего рубежа» так много вещей кажутся маловероятными или невозможными. Идея о том, что численность населения в расчете на одну планету будет оставаться на уровне в среднем восьми миллиардов в течение сотен тысяч лет, не говоря уже о миллионах или миллиардах, уже сама по себе весьма сомнительна. Как отмечает сам Макаскилл, нынешний период роста человеческой популяции уникален, и мы уже находимся на историческом максимуме, который, судя даже по краткосрочным демографическим прогнозам, мы вряд ли сильно превзойдем. Но если оставить это возражение в стороне, есть куда более серьезные проблемы. Жизнь в космосе невероятно трудна. В нашей Солнечной системе нет подходящих кандидатов для долгосрочного обитания людей, а учитывая колоссальные расстояния, отправка человека к другим звездным системам с огромной долей вероятности так и останется научной фантастикой. Перенос человеческого разума в компьютеры, скорее всего, невозможен по целому ряду веских научных причин. Появление сознательного ИИ, возможно, чуть более вероятно, но все же далеко не гарантировано — а отправка такого ИИ в космос повлечет за собой собственный ряд практических трудностей и этических проблем.

Вероятность наступления такого будущего крайне мала — не только потому, что эти сценарии научно неправдоподобны, но и потому, что они слишком специфичны и зависят от совпадения множества крупных и мелких факторов, о которых мы ничего не можем знать, таких как индивидуальные желания и культурные нормы будущих людей. Однако обманчивая прелесть лонгтермизма заключается в том, что ничтожно малая вероятность сценариев будущего, в которых фигурирует огромное количество людей, на самом деле не имеет значения. В арифметике Макаскилла низкая вероятность этих сценариев с лихвой компенсируется числом населяющих их людей, поскольку шансы на то, что такое будущее наступит, пусть и чрезвычайно низки, но все же не равны нулю. Допустим, существует один шанс из десяти миллиардов, что человечество расселится по всей доступной части наблюдаемой Вселенной. И допустим, существует один шанс из десяти миллионов, что если такое будущее действительно наступит, то конкретный выбор, который вы делаете прямо сейчас — например, пожертвуете деньги фонду, изучающему возможные способы межзвездных путешествий, — ощутимо поможет всем людям, живущим в этом будущем. Тогда в общей сложности вероятность того, что подобное пожертвование поможет людям будущего, составляет один к 1017. (Это примерно те же шансы, что выиграть в лотерею Powerball и погибнуть от удара молнии в один и тот же день.)

Если бы такое космическое будущее действительно наступило, число людей, живущих в нем, было бы невообразимо огромным. Если умножить фантастически малые шансы на то, что ваши нынешние действия помогут обитателям этого будущего, на еще более фантастически огромное число гипотетических людей, которые будут его населять, мы получим «математическое ожидание» — оценку того, скольким людям в среднем станет жить лучше, если вы сделаете это пожертвование. В данном случае ответом будет примерно 1023 человек — во много триллионов раз больше, чем все ныне живущее население Земли (примерно столько же атомов содержится в одном вдохе воздуха). Таким образом, при выборе между подобным пожертвованием и любым другим гипотетическим действием, которое принесло бы ощутимую пользу каждому живущему сегодня человеку, математика лонгтермизма указывает на то, что пожертвование в пользу аналитического центра по космическим двигателям является лучшим выбором. Помочь одним действием всем восьми миллиардам живущих людей — задача не из легких, но это лишь усугубляет проблему: сейчас на Земле просто нет таких действий, которые могли бы сравниться по значимости с благородной миссией помощи людям будущего, потому что ныне живущих людей попросту слишком мало, чтобы конкурировать с потребностями гипотетических квадриллионов и квинтиллионов людей из нашего славного, хотя и маловероятного научно-фантастического будущего.

Макаскилл заявляет, что его книга — это лишь обоснование лонгтермизма, то есть идеи о том, что люди будущего являются важным фактором при принятии этических решений, а не того, что он называет «сильным лонгтермизмом» — идеи о том, что при принятии этических решений интересы людей будущего важнее всего остального. Аргументы в пользу сильного лонгтермизма он называет «удивительно убедительными», но настаивает, что защищает не его.23 (Хотя он весьма активно отстаивает его в отдельной научной работе.)24 Впрочем, ему это и не нужно — за него все делают те колоссальные массы людей, которые фигурируют в его сценариях будущего. Если воспринимать всерьез моральные расчеты в его книге, они прямо требуют, чтобы подобные варианты будущего были определяющим фактором при любом выборе, направленном на то, как принести миру наибольшую пользу.

Главный источник проблемы здесь — неопределенность: мы не знаем, какое именно будущее наступит. Если бы мы знали наверняка, что возможных сценариев всего два — один, при котором человечество вскоре вымрет, и другой, при котором мы будем бесконечно расселяться среди звезд, — аргументы Макаскилла выглядели бы убедительнее. Но у нас нет этой информации. И это опровергает утверждение Макаскилла о том, что временная дистанция подобна пространственному расстоянию. Расстояние в пространстве принципиально отличается от расстояния во времени, поскольку, хотя у нас и есть телефоны и самолеты, машин времени у нас нет. Мы можем общаться с людьми со всего мира, даже навещать их и спрашивать, в чем они нуждаются. Но мы не можем отправиться в далекое будущее, чтобы узнать, что его жителям нужно от нас прямо сейчас. В своей книге Макаскилл подробно рассуждает об этой неопределенности, но те радикальные выводы, которые он делает относительно необходимых действий в настоящем — основываясь исключительно на гипотетической возможности этих, казалось бы, диковинных сценариев будущего, — полностью обесценивают эти рассуждения. Он делает слишком бескомпромиссные выводы, опираясь всего лишь на догадки о том, что может принести далекое будущее. Да и способность самого Макаскилла прогнозировать будущее — даже на короткий срок — вызывает серьезные сомнения. Обладая гораздо большим объемом информации, чем большинство людей, он все же не смог точно предсказать, что произойдет с Сэмом всего через несколько месяцев после публикации книги «Что мы должны будущему».

*    *    *

Очевидных проблем лонгтермизма оказалось недостаточно, чтобы ослабить интерес к книге «Что мы должны будущему», когда она вышла в свет в августе 2022 года. За неделю до ее публикации в New Yorker появился профайл Макаскилла объемом в десять тысяч слов с заголовком, окрестившим его «пророком поневоле эффективного альтруизма»25. На следующий день New York Times опубликовала интервью с Макаскиллом, которое взял Эзра Кляйн26. А еще через день журнал Time поместил на обложку статью об эффективном альтруизме и Макаскилле, резюмировав: «Если будущее может быть столь же грандиозным и прекрасным, каким его видит Макаскилл, то ради этого, пожалуй, стоит постараться»27. Как только книга «Что мы должны будущему» действительно вышла, она почти сразу же попала в список бестселлеров New York Times и продержалась там три недели подряд28. Джозеф Гордон-Левитт назвал книгу «оптимистичным взглядом на будущее, который растрогал меня до слез», а Стивен Фрай охарактеризовал ее как «книгу огромной смелости, ясности, проницательности и воображения»29. На фоне медийного ажиотажа раздавались и отдельные голоса несогласных, но в целом запуск «Что мы должны будущему» прошел с оглушительным успехом30. (Раскрытие информации: книга «Что мы должны будущему» была опубликована издательством Basic Books, которое также выпустило эту книгу, как и мою первую работу.)

Само по себе в этом нет ничего примечательного. Множество научно-популярных книг с откровенно слабыми аргументами в итоге получают массу внимания и одобрения в СМИ. Но для этого часто есть веская причина. Книги, доказывающие, что глобальное потепление — не такая уж большая проблема, активно раскручиваются правыми медиа, поскольку в их интересах продвигать нарратив о том, что глобального потепления либо не существует, либо оно не имеет значения. Эффективный альтруизм и лонгтермизм далеко не так коварны и разрушительны, как отрицание изменения климата. Но, как и в случае с отрицанием климатических изменений, за эффективным альтруизмом стоят огромные корпоративные деньги. Почти все эти средства поступают из технологической индустрии в виде пожертвований различным благотворительным организациям эффективного альтруизма. Крупнейшим спонсором Effective Ventures — зонтичной некоммерческой организации, под крышей которой сегодня находятся CEA, 80,000 Hours, Giving What We Can и ряд других организаций эффективного альтруизма, — является Open Philanthropy, фонд, чей подход к благотворительности сам по себе основан на принципах эффективного альтруизма31. Open Philanthropy финансируется в основном за счет состояния Дастина Московица, одного из сооснователей Facebook, и его жены Кари Туны. По состоянию на август 2024 года фонд Open Philanthropy пожертвовал организации Effective Ventures и связанным с ней структурам более 200 миллионов долларов32.

Другие некоммерческие организации в более широкой экосистеме эффективного альтруизма получили еще более щедрое финансирование от технологического сектора. «Экзистенциальный риск» — угрозы человечеству в целом, такие как апокалипсис ИИ, который предвидит Юдковский, — является одним из главных направлений, беспокоящих сторонников эффективного альтруизма. Институт будущего жизни (Future of Life Institute, FLI) — это некоммерческая организация, связанная с сообществом эффективного альтруизма, которая сосредоточена именно на предотвращении подобных «экстремальных крупномасштабных рисков», исходящих от технологий33. FLI также имеет прочные связи с IT-индустрией. Одним из его сооснователей стал Яан Таллинн, эстонский технологический миллиардер, помогавший создавать Skype и Kazaa; Илон Маск также пожертвовал этой некоммерческой организации 14 миллионов долларов34. Однако подавляющее большинство денег FLI поступает из одного источника: Виталик Бутерин, сооснователь криптовалюты Ethereum, в 2021 году пожертвовал FLI более 650 миллионов долларов (в виде другой криптовалюты под названием Shiba Inu), что мгновенно вывело институт на один финансовый уровень с более известными и влиятельными аналитическими центрами вроде Брукингского института35.

Эффективный альтруизм и лонгтермизм вполне совместимы с другими направлениями, которые вызывали живой интерес и щедрое финансирование со стороны технологической индустрии задолго до того, как Макаскилл встретил Орда. Представление лонгтермистов о прекрасном будущем требует колоссального уровня роста — роста численности населения, экономической производительности, потребления энергии, доступных природных ресурсов. Стремление к росту — это общая черта капитализма в целом. Но идея великого будущего, наполненного практически неограниченным ростом — будущего именно того типа, который предлагает лонгтермизм, — уже многие десятилетия пользуется огромной популярностью в Кремниевой долине36. Наиболее ярким примером этого является концепция технологической сингулярности, которую обычно называют просто Сингулярностью.

Сторонники Сингулярности утверждают, что технологический прогресс ускоряется и продолжит ускоряться, что приведет к точке сингулярности, где столь масштабные перемены будут происходить так стремительно, что сама суть повседневной человеческой жизни изменится до неузнаваемости, превзойдя любые фантазии и понимание. Сверхинтеллектуальный ИИ и гибриды человека и машины откроют путь к утопии, покончат с дефицитом ресурсов и совершат биомедицинские открытия, которые позволят нам жить вечно или почти вечно. Ограниченная лишь законами физики, постсингулярная цивилизация не будет знать никаких практических пределов своим достижениям. По мнению Рэя Курцвейла, самого видного сторонника Сингулярности, нынешние темпы технологических изменений со всей очевидностью указывают на то, что Сингулярность наступит уже совсем скоро — не позднее чем через двадцать лет, в 2045 году. «В конечном счете это повлияет на все, — заявляет он. — Мы сможем удовлетворить физические потребности всех людей. Мы расширим возможности своего разума и сможем выразить те творческие качества, которые мы ценим»37.

Идея Сингулярности и всех сопутствующих ей чудес, которые она якобы должна явить миру, почти не имеет научных оснований. Тем не менее эта концепция поразительно популярна в Кремниевой долине и во всей технологической индустрии. Курцвейл — вовсе не какая-то маргинальная фигура. Он занимает должность директора по разработке в Google, а его книги о Сингулярности стали бестселлерами. «Сингулярность — это новая религия, причем на редкость чудаковатая, — считает специалист в области компьютерных наук и художник Джарон Ленье. — Сингулярность — это пришествие Мессии, рай на Земле, Армагеддон, конец времен. А фанатики всегда думают, что конец времен наступит еще при их жизни»38.

Эта религия зиждется на идее роста. И Сингулярность с лонгтермизмом — далеко не единственные ее проявления. Риторика о необходимости безграничного роста ради спасения мира стала общим местом в выступлениях некоторых наиболее влиятельных руководителей технологических компаний. «Я верю — и с каждым годом убеждаюсь в этом все сильнее, — что космическая компания Blue Origin — это самое важное дело моей жизни, — говорил Джефф Безос в 2018 году. — Я занимаюсь этим, потому что верю: если мы этого не сделаем, то в конечном итоге окажемся в цивилизации стазиса, а это кажется мне крайне удручающим. Я не хочу, чтобы правнуки моих правнуков жили в цивилизации стазиса». Затем он объяснил истоки своего беспокойства:

«Если взять базовое мировое энергопотребление и увеличивать его всего на несколько процентов в год в течение нескольких сотен лет, вам придется покрыть всю поверхность Земли солнечными батареями. Вот это и есть настоящий энергетический кризис. И он наступит скоро. И под «скоро» я имею в виду всего несколько сотен лет. На самом деле у нас не так много времени. И что же делать? Ну, можно выбрать жизнь в условиях стазиса, когда вы ограничиваете количество энергии, которую нам дозволено использовать... Стазис — это, по-моему, очень плохо... [Но] Солнечная система может легко обеспечить существование триллиона человек. И если бы у нас был триллион человек, у нас была бы тысяча Эйнштейнов и тысяча Моцартов, а также практически неограниченные ресурсы и практически неограниченная солнечная энергия. Вот в каком мире я хочу, чтобы жили правнуки моих правнуков»39.

В своем выступлении в 2019 году Безос подробно остановился на опасностях стазиса: «Жизнь в стазисе — это контроль над рождаемостью в сочетании с нормированием энергии. Вот в каком мире стазиса вы будете жить, если останетесь [на Земле]»40. Тем временем Илон Маск видит альтернативу росту в еще более мрачных тонах, нежели стагнация и нормирование: он описывает стремление к созданию космических колоний в манихейских категориях — как борьбу между «светом сознания» и вечной тьмой вымирания41. Маск и Безос не одиноки в подобных суждениях. Они весьма популярны среди генеральных директоров технологических компаний и венчурных капиталистов, грезящих о бесконечном будущем инвестиционных возможностей в глубоком космосе. Наиболее четкая формулировка этого тезиса прозвучала в подкасте Anatomy of Next, созданном Founders Fund, крупной технологической венчурной компанией. «Судьба человечества — это бинарный выбор. Мы можем построить совершенно новые миры вокруг новых звезд или угаснуть, — провозгласил Майк Солана, ведущий подкаста и директор по маркетингу Founders Fund. — Этот подкаст о том, как не угаснуть никогда»42.

Этот выбор между бесконечным ростом и гибелью человечества — ложная дихотомия. Возможны и другие, вполне благополучные варианты будущего, в то время как бесконечный рост попросту невозможен. Исторически экономический рост всегда был тесно связан с ростом энергопотребления. Подобно тому как мировой ВВП за последние несколько десятилетий рос в среднем на 3–5 % в год, потребление энергии за тот же период увеличивалось в среднем на 3 % ежегодно. Но так не может продолжаться до бесконечности. Если энергопотребление человечества продолжит расти даже более скромными темпами — на 2,3 % в год, — то примерно через четыреста лет мы достигнем предела Земли: мы будем расходовать столько же энергии, сколько Солнце ежегодно посылает на всю земную поверхность. (К этому моменту другие невозобновляемые источники энергии давно бы иссякли, за возможным исключением урана. Но при таком уровне энергопотребления законы физики гарантируют, что выделяемое тепло в любом случае испарит океаны.)43 Именно это имел в виду Безос: чтобы потребление энергии росло и дальше, нам пришлось бы покинуть Землю. Однако Безос, похоже, упустил из виду ключевой момент: хотя доступная на Земле энергия действительно конечна, энергия в космосе столь же конечна и точно так же подчиняется лимитам роста. Если бы рост энергопотребления человечества продолжался теми же темпами и после четырехвекового рубежа, то через 1350 лет мы бы поглощали всю энергию, производимую Солнцем; еще через 1100 лет — всю энергию, производимую всеми звездами Млечного Пути. А примерно через 1250 лет после этого, то есть через 3700 лет от сегодняшнего дня, мы бы расходовали всю энергию, производимую всеми звездами в наблюдаемой Вселенной.44 Если Безос считает, что прекращение роста энергопотребления неизбежно ведет к культуре стагнации, ему лучше привыкать к этой мысли. В какой-то момент в ближайшие 3700 лет — а это всего около 80 процентов от нынешнего возраста Великой пирамиды в Гизе — человечеству придется прекратить наращивать потребление энергии. И это, скорее всего, произойдет гораздо раньше.45

Тем не менее ложное обещание бесконечного роста как единственной утопии, единственного мыслимого и достойного будущего для человечества, ничуть не тускнеет от подобных соображений. Напротив, как и любая группа, узревшая рай, сторонники такого будущего в первую очередь озабочены надуманными страхами, которые могут помешать осуществлению их маловероятных видений. Это позволяет им сосредоточиться на проблемах, которые они сами же и выдумали, вместо реальных проблем, стоящих перед человечеством сегодня. Одна из таких воображаемых проблем — идея о том, что мы потребляем недостаточно энергии; эту озабоченность Безос разделяет с Марком Андриссеном, пионером интернета и венчурным капиталистом. Вариацию на эту тему предлагает Макаскилл в книге «Что мы должны будущему». Он признает существование предельных ограничений для экономического роста и энергопотребления, но считает, что мы обязаны продолжать расти, пока не накопим достаточно технологий для предотвращения вымирания человечества.46 (Он весьма туманно описывает, как именно это должно выглядеть.) «Меня беспокоит здесь не просто замедление инноваций, а почти полная остановка роста и выход технологического прогресса на плато», — пишет он в главе под названием «Стагнация». — «Стагнация вполне может стать одним из главных источников риска вымирания или необратимого коллапса, с которыми мы сталкиваемся».47

Эти страхи — своего рода вариация на тему стандартных опасений по поводу прекращения роста: якобы это приведет к рецессии или чему-то худшему. (Под «худшим» могут пониматься угроза войны и гибель человечества — тревоги, которые разделяют Макаскилл и лонгтермисты.) Но есть и другое пугало, уникальное именно для технологической индустрии. По мнению рационалистов школы Юдковского, самая насущная проблема в мире — это согласование ИИ (AI alignment): как гарантировать, что цели и желания общего искусственного интеллекта (ОИИ) будут совместимы с человеческими. Рационалисты утверждают, что без согласования ИИ мы стремительно катимся к неизбежному будущему, где мир окажется во власти сверхинтеллектуальной машины. Эта машина не будет злой сама по себе, она просто будет безразлична к людям и их желаниям, обладая при этом возможностью использовать любые ресурсы Земли — включая те, из которых сегодня состоят человеческие тела, — для достижения любых собственных целей.

Это апокалиптическое видение — оборотная сторона утопии Сингулярности, движимой ИИ, и стоящие за ним рассуждения столь же несостоятельны — особенно утверждение, будто предотвращение этого сценария является важнейшей задачей, стоящей сегодня перед человечеством. Подобно тому как технологические миллиардеры боятся стагнации и угасания, одержимость рационалистов согласованием ИИ позволяет им игнорировать реальные проблемы сегодняшнего дня в угоду воображаемым проблемам завтрашнего. У лонгтермизма тоже есть эта проблема, на что указывал сам Питер Сингер. «Взгляд на текущие проблемы — помимо вымирания нашего вида — сквозь призму "лонгтермизма" и "экзистенциального риска" может обесценить их почти до нуля, одновременно служа оправданием практически для любых действий, повышающих наши шансы выжить достаточно долго, чтобы расселиться за пределами Земли, — пишет он. — Предпринимая шаги по снижению риска нашего вымирания, мы должны сосредоточиться на средствах, которые также отвечают интересам людей настоящего и ближайшего будущего».48

Макаскилл и другие сторонники эффективного альтруизма и лонгтермизма утверждают, что это не их позиция и что эффективный альтруизм не считает, будто цель оправдывает средства. «Здравомыслящий сторонник эффективного альтруизма должен решительно выступать против логики "цель оправдывает средства"», — писал Макаскилл.49 Но Питер Сингер прав. Моральные рамки лонгтермизма легко адаптировать под любую выбранную вами идеологию. Во имя спасения будущего цивилизации можно оправдать практически все что угодно.

В этом-то всё и дело. Пока такие миллиардеры, как Илон Маск и Джефф Безос, облекают обоснование своего поведения в апокалиптические формулировки лонгтермизма и смежных идей — то есть пока они утверждают, что делают всё это ради спасения будущего человечества, — они могут выставлять своих критиков врагами цивилизации и человеческого вида. Маск поступил именно так, причем вполне недвусмысленно: он заявил, что лонгтермизм «очень близок моей философии», и утверждает, что лишь предпринимает шаги, необходимые для сохранения человечества.50 «Идея Илона о том, что SpaceX выполняет миссию по скорейшему достижению Марса ради спасения человечества, пронизывает всю компанию», — говорит Том Молин, бывший инженер SpaceX. «Компания оправдывает пренебрежение всем, что может помешать достижению этой цели, включая безопасность сотрудников». Молина уволили после того, как он пожаловался на условия труда в SpaceX. В расследовании Reuters за 2023 год сообщалось о более чем шестистах производственных травмах в компании, включая ампутации, травмы головы и одну смерть. О большинстве из них так и не сообщили в OSHA. Согласно Reuters, «пренебрежительное отношение к безопасности в SpaceX, по словам более чем десятка действующих и бывших сотрудников, отчасти обусловлено презрением Маска к тому, что он считает бюрократией, а также укоренившейся в компании верой в то, что она выполняет неотложную миссию по созданию в космосе убежища для жителей угасающей Земли».51

Подобная одержимость одной идеей всё упрощает. Вместо того чтобы содержательно отвечать на обоснованную критику — или признать сопричастность самих себя и своих компаний к сегодняшним проблемам, — технологические миллиардеры могут просто отмахиваться от критиков, заявляя, что тем не хватает масштаба мышления, чтобы понять их цели. «Я выиграл в лотерею, в гигантскую лотерею под названием Amazon.com. И я использую свой выигрыш, чтобы продвинуть нас чуть дальше в космос», — сказал Джефф Безос в 2017 году. «Нам нужно строить многоразовые ракеты, и именно этому посвящена Blue Origin… брать мой выигрыш в лотерею Amazon и отдавать [его] на [это]… Это страсть, но это также и важно».52 Не смотрите на ужасающие условия труда в местном логистическом центре Amazon. Смотрите лучше на блестящую ракету. Игнорируйте проблемы этого мира. В космосе всё будет лучше.

*    *    *

Здесь действует целая идеология — разветвленная и аморфная. Ее подпитывает целый комплекс взаимосвязанных устремлений, разделяемый рядом влиятельных лиц и сообществ в технологической индустрии и районе залива Сан-Франциско. Эти группы — лонгтермисты, сторонники Сингулярности, рационалисты и другие — тесно связаны друг с другом. Их связывают прямые человеческие контакты (состав этих групп во многом пересекается), а также общие цели и убеждения. В частности, их идеи объединяют три важные черты, которые во многом объясняют популярность этих воззрений как внутри самих групп, так и в технологической индустрии в целом.

Во-первых, эти идеи редукционистские, поскольку сводят все проблемы к технологическим. Все беды мира будут устранены, когда наступит Сингулярность, или когда сверхинтеллектуальный ИИ решит их за нас, или когда мы отправимся в космос. Глобальное потепление можно победить с помощью нанотехнологий.53 Болезни, смерть и любые другие проблемы, связанные с наличием физического тела, можно решить путем переноса разума в компьютер. Социальные и политические проблемы — включая те, что созданы самими технологическими компаниями, — отметаются как несущественные или второстепенные по сравнению с более «насущными» задачами: например, предотвращением создания несогласованного ИИ или заботой о судьбе гипотетических нерожденных квадриллионов людей, которые могли бы жить на другом конце космоса через миллиард лет. Это философия плотников, твердо уверенных, что весь мир — это гвоздь, который обязательно поддастся их стараниям.

Во-вторых, эти идеи выгодны: они прекрасно согласуются с финансовыми интересами технологической индустрии, суля вечный рост. Безос приравнивает прекращение роста к «цивилизации стагнации». Лонгтермисты говорят о важности максимального увеличения численности человеческого вида, чтобы обеспечить существование как можно большего числа счастливых жизней. Венчурные капиталисты из Founders Fund заявляют, что бесконечная экспансия в будущем — единственный достойный путь для человечества. Обоснования звучат благородно, но цель одна и та же: рост любой ценой, рост, который повлечет за собой увеличение корпоративных прибылей и инвестиционных портфелей миллиардеров.

В-третьих, и это, пожалуй, самое главное, эти идеи предлагают трансцендентность, позволяя своим приверженцам чувствовать, что они могут спокойно игнорировать любые ограничения. Отправляйтесь в космос — и вы сможете забыть о дефиците ресурсов, не говоря уже о юридических ограничениях. Будьте лонгтермистом — и вы сможете игнорировать общепринятую мораль, оправдывая любые свои действия тем, что они необходимы для обеспечения будущей безопасности человечества. Приближайте Сингулярность — и вы сможете игнорировать саму смерть или, по крайней мере, убедить себя в том, что сможете отложить ее на несколько миллиардов лет.

Эта совокупность взаимосвязанных концепций и философских идей, которую я буду называть идеологией технологического спасения, лежит в основе мировоззрения многих венчурных капиталистов, топ-менеджеров и других «лидеров мнений» в технологической индустрии. Эта идеология сулит славное будущее: безудержный, ничем не сдерживаемый технологический прогресс. Согласуйте ИИ, предотвратите апокалипсис, а со всем остальным справятся технологии. Человечество распространится по космосу, осваивая все новые и новые запасы природных ресурсов. Любые ограничения для экономического роста и энергопотребления исчезнут сами собой. ИИ увеличит продолжительность нашей жизни в триллионы раз, слившись с нами или загрузив наш разум в свой кремниевый рай. Вся эта запутанная мешанина междоусобных конфликтов, политической борьбы, политики идентичности и всевозможных видов неравенства просто утратит актуальность. А действия, направленные на приближение этой утопии путем тотальной и беспощадной оптимизации всего на свете, провозглашаются величайшим благом.

Это будущее (или этот набор сценариев будущего) попросту нежизнеспособно. Если взять лишь один пример, нет ни одного убедительного, научно обоснованного аргумента в пользу того, что будущее человечества станет безопаснее, если мы построим поселение на Марсе (на самом деле это может сделать его даже менее безопасным), да и технологий для строительства подобного поселения сегодня не существует. Более того, есть все основания полагать, что создать на Марсе самодостаточную человеческую цивилизацию практически невозможно — по крайней мере, без радикального изменения биологии человека, что тоже может оказаться невыполнимым. Уровень радиации там слишком высок, гравитация слишком слаба, воздуха нет, а грунт буквально состоит из яда. С этой идеей связано множество других проблем, хотя она — одна из самых простых во всех этих футуристических видениях. На фоне межзвездных перелетов полет на Марс выглядит как быстрая поездка по делам после работы. Различия между компьютерной архитектурой и нейрофизиологией человека (не говоря уже о сложности прижизненного сканирования мозга на атомном уровне) делают перенос человеческого разума в компьютер в лучшем случае сомнительной перспективой. Список трудностей можно продолжать бесконечно. Но все эти препятствия не помеха для идеологии технологического спасения, которая рядится в научные одежды, прекрасно понимая, какой авторитет дает печать научной истины. С одной стороны, наука привлекается для оправдания притязаний этой идеологии, а с другой — реальные научные сомнения в реализуемости этих планов отметаются так же легко, как и любые другие ограничения.

Эффективный альтруизм и лонгтермизм идеально вписываются в эту картину. И неважно, что мы игнорируем бедственное положение тихоокеанских островных государств, которые поглощает поднимающийся океан и терзают вызванные глобальным потеплением штормы; неважно и то, что есть веские научные причины сомневаться в способности человечества расселиться по космосу. Достаточно лишь одного шанса на квинтиллион, что подобное будущее все-таки наступит — будущее, в котором дециллионы еще не родившихся людей будут жить на не открытых нами планетах, пользуясь технологиями, создание которых, возможно, никогда не станет осуществимым.

Несмотря на его настойчивые утверждения, что для эффективных альтруистов цель не всегда оправдывает средства, временами Макаскилл опасно приближался к одобрению такой версии эффективного альтруизма, которая поразительно напоминает новое «Евангелие богатства», облекающее богатых налетом моральной добродетели — особенно когда речь заходит о концепции «зарабатывать, чтобы отдавать». «Очевидно, есть некоторые опасения, что вы оторветесь от реальности и растеряете свои ценности, но я склоняюсь к мысли, что риск этого при подходе „зарабатывать, чтобы отдавать“ ничуть не выше, чем при прямом участии, — говорит он. — Если вы зарабатываете, чтобы отдавать, вы живете в полном комфорте: вы отдаете 50 процентов, но у вас все равно остается отличная зарплата, вы работаете с очень умными людьми и знаете, что приносите колоссальную пользу, ведь вы можете жертвовать благотворительным организациям с доказанной эффективностью»54.

Подход «зарабатывай, чтобы отдавать» основан на идее о том, что источник денег далеко не так важен, как цели, на которые они идут. В статье, обосновывающей моральную сторону такого подхода, Макаскилл пишет, что зачастую «с этической точки зрения предпочтительнее заниматься филантропией, выбрав более высокооплачиваемую, но сомнительную с моральной точки зрения карьеру» — например, «работу в нефтехимической компании, работу в оборонной промышленности или некоторые сферы финансов — скажем, спекуляцию пшеницей, которая усиливает колебания цен и лишает средств к существованию беднейшие слои населения планеты»55. Отсюда и тесные связи эффективного альтруизма с технологическими миллиардерами, которые Макаскилл и другие лидеры движения усердно культивировали. Тем временем его друг Сэм стал одним из таких миллиардеров. И когда Сэм основал благотворительный фонд, он предложил Макаскиллу руководящую должность. Деньги Сэма поступали от криптовалюты — финансовых инструментов, известных своей крайней нестабильностью и разрушительным воздействием на окружающую среду. Он заверил Макаскилла, что покупает углеродные компенсации и борется за снижение углеродного следа криптоиндустрии в целом56. Поэтому Макаскилл принял предложение Сэма и помогал распределять его состояние. Но в итоге Макаскилл оказался прав: порой цель все-таки не оправдывает средства.

*    *    *

Еще работая в Центре эффективного альтруизма, Сэм начал задумываться о том, как заработать огромные деньги, чтобы принести миру больше пользы (или, по крайней мере, так он утверждал позже)57. И нашел способ: арбитраж биткоина, то есть извлечение выгоды из разницы курсов биткоина и обычных, «фиатных» валют вроде доллара США и японской иены. Сэм знал, что теоретически на этом можно заработать: купить биткоины за доллары, продать их за иены, а затем обменять иены обратно на доллары. На практике же японские банковские правила, направленные на борьбу с отмыванием денег и иной преступной деятельностью, делали подобную цепочку сделок практически неосуществимой.

Что произошло дальше, не вполне ясно. По словам Сэма, он нашел небольшой сельский японский банк, готовый проводить нужные ему транзакции. Один из знакомых Сэма по движению эффективного альтруизма в Японии открыл там счет. Начав с 50 тысяч долларов, новая компания Сэма, Alameda Research, приступила к торгам, гоняя биткоины туда-сюда между США и Японией с доходностью в 10 процентов ежедневно. Доказав, что способен делать это стабильно, Сэм снова воспользовался своими связями в сообществе эффективного альтруизма. Он начал нанимать людей: первые пятнадцать сотрудников пришли из сообщества эффективного альтруизма. «Все это не взлетело бы без эффективного альтруизма», — признавался Нишад Сингх, один из первых сотрудников Сэма. «Все сотрудники, все финансирование — на первых порах все было связано с эффективным альтруизмом»58. Сэм получил кредит на сумму 110 миллионов долларов от Яана Таллинна (под умопомрачительные 43 процента годовых), который и составил большую часть первоначального капитала Alameda. Всего через несколько месяцев Таллинн потребовал вернуть большую часть кредита, но к тому моменту Alameda приносила уже более чем достаточно, чтобы покрыть долг59. На это новое состояние Сэм начал строить свою империю.

В 2019 году Сэм запустил новую платформу для торговли криптовалютой. Если бы она оказалась успешной — а Сэм делал ставку именно на это, — она позволила бы ему и его коллегам из сообщества эффективного альтруизма в Alameda зарабатывать на комиссиях за транзакции и инвестировании имеющегося капитала (подобно тому как инвестиционный банк поступает с деньгами клиентов), то есть заниматься «зарабатыванием, чтобы отдавать» в колоссальных масштабах. Загвоздка заключалась в том, что торговля криптовалютой сомнительна с этической точки зрения: помимо прочего, феноменально сложные вычисления требуют от компьютеров колоссальных затрат энергии, большая часть которой вырабатывается за счет ископаемого топлива. В 2022 году мировое потребление энергии, связанное с криптовалютной деятельностью, оценивалось в 120–240 миллиардов киловатт-часов — это больше, чем вся Австралия потребляет за год, и составляет почти 1 процент от общего объема электроэнергии в мире. Углеродный след от криптовалюты столь же огромен: выбросы составляют около 140 миллионов метрических тонн углерода в год, что превышает годовые выбросы Австрии, Норвегии и Португалии вместе взятых60. В обмен на этот удар по экологии экономика получает нерегулируемый финансовый инструмент, который гораздо более громоздок и менее полезен, чем обычная валюта. Но в одном Сэм точно оказался прав — на этом можно было заработать кучу денег: уже через два года после запуска своей новой криптовалютной торговой фирмы Сэм превратил свои миллионы в миллиарды. Он набрал в высшее руководство компании друзей со времен работы в Jane Street и из сообщества эффективного альтруизма. Он привлек Макаскилла к руководству благотворительным фондом, который создал для распределения своего нового богатства. К 2021 году компания Сэма стала третьей по величине криптоторговой платформой в мире61. Руководители компании принимали знаменитостей и инвесторов в своей новой штаб-квартире на Багамах. Состояние Сэма превысило 20 миллиардов долларов, что сделало его самым богатым человеком в мире моложе тридцати лет. В августе 2022 года — в том же месяце, когда вышла книга «Что мы должны будущему», — он даже попал на обложку журнала Fortune с заголовком, вопрошающим, не является ли Сэм Бэнкман-Фрид «следующим Уорреном Баффетом».

Остальную часть истории вы, вероятно, уже знаете. Криптовалютная биржа Сэма Бэнкмана-Фрида, FTX, с грохотом рухнула в ноябре 2022 года. Он и его ближайшие помощники в FTX использовали средства с личных счетов клиентов для покрытия сделок, совершаемых Alameda Research — хедж-фондом, которым Бэнкман-Фрид (он же SBF) и его банда эффективных альтруистов продолжали управлять параллельно с торговой платформой. Когда осенью 2022 года активы Alameda обесценились вместе с крипторынком, клиенты FTX остались у разбитого корыта: по оценкам, Бэнкман-Фрид и компания проиграли на неудачных ставках около 8 миллиардов долларов клиентских средств, а также спустили их на элитную недвижимость, политические пожертвования и другие роскошные покупки. В декабре 2022 года SBF арестовали на Багамах и экстрадировали в США; позже его признали виновным в мошенничестве с ценными бумагами, мошенничестве с использованием электронных средств связи, отмывании денег и по ряду других обвинений. В итоге его приговорили к двадцати пяти годам заключения в федеральной тюрьме62.

Падение Бэнкмана-Фрида случилось в самый неподходящий момент для Макаскилла и лонгтермистов. Всего через несколько месяцев после выхода книги «Что мы должны будущему», когда восторженные отзывы в прессе еще продолжали сыпаться, новость о крахе SBF взорвала информационное пространство. Сообщения о разоблачении юного криптокороля-мошенника были повсюду, и во многих подробных статьях разбиралась необычная моральная философия, которая якобы лежала в основе его карьеры. В то же самое время, когда SBF проворачивал свои крупномасштабные финансовые махинации, он щедро спонсировал множество организаций эффективного альтруизма. Фонд FTX Future Fund — подразделение благотворительной организации FTX, в команду которого входили Макаскилл и другие светила эффективного альтруизма, — выделял гранты на типичные для эффективного альтруизма и лонгтермизма направления, такие как исследования по выравниванию ИИ и подготовка к пандемиям. Они давали деньги собственным организациям Макаскилла, в том числе почти 27 миллионов долларов — фонду Effective Ventures63. Они также жертвовали миллионы долларов другим лонгтермистским и рационалистическим организациям и рекомендовали инвестиции для продвижения лонгтермистских и рационалистических идей, включая 400 тысяч долларов «на поддержку создания анимационных видеороликов по темам, связанным с рациональностью и эффективным альтруизмом, для объяснения этих тем широкой аудитории»64. Семейный фонд SBF, Building a Stronger Future, также делал пожертвования новостным организациям, освещающим темы эффективного альтруизма. В частности, он выделил 200 тысяч долларов новостному сайту Vox (где уже был раздел Future Perfect, посвященный журналистике с позиций эффективного альтруизма) специально для публикаций о «технологических и инновационных барьерах, препятствующих человеческому прогрессу», и миллионы долларов другим изданиям, таким как ProPublica и Semafor65. (Гранты, выданные Effective Ventures, Vox, ProPublica и Semafor, с тех пор были возвращены в конкурсную массу FTX в рамках продолжающейся процедуры банкротства.) Теперь, благодаря SBF, желание сообщества эффективного альтруизма наконец сбылось. Эффективный альтруизм ворвался в массовое сознание — но наихудшим из всех возможных способов. «Как эффективный альтруизм допустил появление Сэма Бэнкмана-Фрида», — гласил один из заголовков на сайте Vox сразу после краха SBF66. New York Times, Atlantic, New Yorker, Washington Post и многие другие издания вышли с похожими заголовками67.

В некоторых новостях о крахе FTX всплывали и более странные подробности об SBF и его окружении — вещи, которые на первый взгляд не укладывались в голове. Например, Кэролайн Эллисон, бывшая девушка SBF, его бывшая коллега по Jane Street и бывший генеральный директор Alameda Research, судя по всему, вела странный аккаунт в Tumblr. В сообщениях СМИ об этом блоге под названием «worldoptimization» приводились крайне убедительные доказательства того, что за ним стояла именно Эллисон (автор Tumblr обладал множеством черт, присущих Эллисон, аккаунт ссылался на ее Twitter, да и сам SBF подтвердил, что блог принадлежал ей)68. Пресса также обратила внимание на то, что она одобрительно писала о расистской лженауке «человеческого биоразнообразия» (human biodiversity), а также признавалась, что раньше считала «сексуальную революцию ошибкой» и верила, будто «женщины больше приспособлены для ведения домашнего хозяйства и воспитания детей, чем для построения карьеры»69. Но были там и другие публикации, которые большинству наблюдателей казались еще более бессмысленными. В список «~милых мальчишеских качеств~» она включила «контроль над большинством ключевых мировых правительств» и «ответственность за множество важных изобретений и научных открытий», подкрепив этот список рядом утверждений:

если ты парень, который стремится добиться успеха в амбициозных целях, ты нормальный

если ты парень, который приходит к собственному мнению путем логических рассуждений, ты нормальный

если ты парень, которому хватает уверенности отстаивать нестандартные идеи и действовать в соответствии с ними, ты нормальный70

Эти цитаты из предполагаемого блога Эллисон в Tumblr, по всей видимости, содержат косвенные отсылки к основополагающему тексту сообщества рационалистов, да и само название блога — «worldoptimization» — указывает на него напрямую71. Хотя эффективный альтруизм теоретически не зависит от рационализма, эти две группы настолько сильно пересекаются по составу участников — так много эффективных альтруистов являются рационалистами, и наоборот, — что на практике невозможно полностью проанализировать поведение и мотивы одной группы в отрыве от другой. В этом контексте публикации в Tumblr Эллисон кажутся уже не столько нелепыми, сколько пугающими. Она и другие сотрудники FTX, судя по всему, верили, что ради спасения мира им необходимо копить богатство и власть, чтобы направлять будущее человечества исключительно силой экономического и политического влияния, независимо от того, нравятся ли их идеи остальным из нас или нет.

Но верил ли SBF на самом деле, что спасает мир, а не просто копит богатство и власть, — само по себе под вопросом. Летом 2022 года он сказал журналистке Келси Пайпер (которая сама является сторонницей эффективного альтруизма и работает в Future Perfect, связанном с этим движением разделе Vox): «Существует множество сложных, но важных побочных эффектов второго порядка, если ваш основной бизнес вредит миру, с точки зрения... вашей способности работать с партнерами в вашей благотворительной деятельности». Но в ноябре того же года, когда FTX рушилась прямо у него на глазах, он снова пообщался с Пайпер (на этот раз в личных сообщениях в Твиттере), и она спросила его, был ли этот ответ искренним или он просто сказал то, что от него ожидали. «Чувак, вся та глупая чушь, которую я нес, — написал он. — Это неправда, во всяком случае, не совсем... Мне жаль тех, кого из-за этого поимели, из-за этой дурацкой игры, в которую играем мы, прогрессивные жители Запада, когда произносим все правильные шиболеты [sic], чтобы всем нравиться»72. Позже SBF заявил New York Times, что имел в виду гринвошинг и подобные пустые корпоративные пиар-кампании; он также утверждал, что «по глупости забыл», что Пайпер — журналистка73.

Но верит ли ультрабогатая технологическая элита на самом деле в этические обоснования, предлагаемые лонгтермизмом, и в будущее, обещанное технологическим спасением, или нет, подобные идеи могут служить удобным инструментом для пиара. О планах Илона Маска по заселению Марса Люсианна Валкович, астроном и сооснователь JustSpace Alliance, говорит мне следующее: «Я не сомневаюсь, что он действительно хочет этого и считает идею захватывающей». Но, добавляют они, «это звучит гораздо лучше, чем: „Мы бы хотели получить побольше контрактов с НАСА, пожалуйста“... И мне кажется, что иногда вопрос „Зачем люди говорят об [этом желании полететь на Марс]?“ на самом деле вообще не связан с желанием туда отправиться. Он связан с созданием красивой истории о том, ради чего на самом деле осуществляются их земные проекты»74.

Даже если миллиардеры из Кремниевой долины используют риторику технологического спасения и рисуют подобные картины будущего лишь для того, чтобы снискать расположение общественности, это работает только потому, что другие люди действительно верят в эти идеи или, по крайней мере, находят их правдоподобными. Таким образом, осмысление идеологии технологического спасения — это не просто попытка понять мотивы ультрабогатых людей. Это также важнейший шаг к ослаблению их власти. Технологическое спасение используется как предлог для того, чтобы направить общество по опасному пути во имя невыполнимого будущего. Вырваться из плена этих видений — значит понять их суть. Для технологической элиты это видения трансцендентности, избавления. Но для всех остальных они не сулят никакого избавления — лишь приближающиеся кошмары. Чтобы очнуться от этого сна, мы должны сначала понять его очертания. И лучше всего начать с чистейшего выражения этой идеологии непрерывного роста, фантастического видения идеальной, неостановимой и неизбежной технологической утопии — Сингулярности.

Рэй Курцвейл практически уверен, что его отец не останется мертвым навсегда. «У меня дома хранится пятьдесят коробок с его вещами: письма, ноты, счета и докторская диссертация», — рассказывает Курцвейл, изобретатель, писатель и футурист. Его план по воскрешению родителя включает загрузку этих документов в компьютер наряду с более осязаемыми источниками информации об отце. «Мы можем найти образцы его ДНК на месте захоронения, — говорит Курцвейл. — ИИ отправит туда наноботов, добудет фрагменты костей или зубов, извлечет ДНК и соберет все воедино. Затем они соберут информацию из моего мозга и мозга любого другого человека, который его еще помнит... [Они] просто запустят наноботов в мой мозг и реконструируют мои воспоминания».1 Вооружившись всеми этими данными, ИИ создаст программу, способную воспроизвести поведение отца Курцвейла: она будет реагировать на новые ситуации так же, как реагировал бы он, и даже сможет вести беседу. «Я смогу разговаривать с этой воссозданной копией... В конечном счете она окажется настолько реалистичной, что это будет все равно что говорить с моим отцом», — утверждает Курцвейл. «С философской точки зрения, конечно, можно возразить, что это не ваш отец, — продолжает он, — но я могу убедительно доказать, что эта копия будет даже больше похожа на моего отца, чем сам отец, если бы он продолжал жить».2

Курцвейл, которому уже за семьдесят, говорит с размеренным и слегка хрипловатым нью-йоркским акцентом, произнося свои удивительные заявления на редкость будничным тоном. Однако за этими заявлениями стоит глубокий и обширный технологический опыт: за свою долгую карьеру Курцвейл был зарегистрирован в качестве изобретателя в десятках патентов. Диапазон его изобретений простирается от новых видов электронных синтезаторов и раннего программного обеспечения для распознавания текста до вспомогательных устройств для незрячих. С компьютерами он начал работать еще в 1960 году, в возрасте двенадцати лет, когда собрал «компьютероподобное устройство» для научной выставки в своей средней школе, после чего перешел на мейнфреймы IBM и программирование на Фортране с помощью своего дяди, инженера из Bell Labs.3 Он часто обсуждал свои идеи с отцом — дирижером и музыкальным педагогом, который получил докторскую степень по музыковедению в Венском университете, а в 1938 году бежал из Австрии, спасаясь от нацистов.4 «Мы много говорили о природе музыки и математической структуре, а также о том, что компьютеры и музыка имеют естественное родство», — рассказывал Курцвейл журналу Rolling Stone в 2009 году. «Он говорил: „Когда-нибудь ты займешься созданием синтетической музыки с помощью компьютеров“. Он понимал, что со временем компьютеры смогут справляться с этим лучше». Но в 1970 году, когда Курцвейлу было двадцать два года — в тот самый год, когда он окончил MIT, — его отец скончался от сердечного приступа в возрасте пятидесяти семи лет. Оплакивая отца, Курцвейл после колледжа некоторое время размышлял о способе вернуть мертвых к жизни, подходя к этой древней теме с инженерной точки зрения. «Человек — это файл разума. Человек — это программное обеспечение, очень сложное, и у нас нет резервной копии. Поэтому, когда наше «железо» умирает, наше программное обеспечение погибает вместе с ним, — сказал он Rolling Stone. — Я сделал преодоление смерти своей личной целью... И мой самый сильный личный опыт столкновения со смертью — это трагедия».5

Эта трагедия, по словам Курцвейла, послужила первоначальным толчком к его интересу к исследованию возможностей, которые принесут технологии ближайшего будущего, — исследованию, которое привело его к твердой уверенности в том, что его отец скоро вернется. Но никто не знает, как извлекать воспоминания из живого человеческого мозга, равно как никто не знает, как создать ИИ, способный синтезировать всю эту информацию и выдать чат-бота, идеально имитирующего общение с уже умершим человеком. Тем не менее за плечами Курцвейла немало точных прогнозов о будущем технологий, особенно в области ИИ. В 1990 году он заявил, что к 2000 году компьютер обыграет человека в шахматы; это произошло в 1997-м.6 А в 1999 году он точно предсказал, что к 2009 году беспилотные летательные аппараты станут привычным явлением в военных конфликтах. Билл Гейтс однажды заметил, что никто не умеет предсказывать будущее искусственного интеллекта лучше Курцвейла.7 В 2010 году Курцвейл оценил точность собственных прогнозов в 86 процентов (хотя некоторые независимые оценки были гораздо ниже). Возможно, этим объясняется его спокойная уверенность в своих предсказаниях, даже когда они кажутся совершенно немыслимыми.8 И его прогнозы на ближайшие двадцать лет уж точно нельзя назвать заурядными. Он неоднократно утверждал, что к 2029 году ИИ сможет «делать все то же, что способен делать любой человек».9 К 2045 году, по его словам, «мы увеличим наш эффективный интеллект в миллиард раз, слившись с созданным нами интеллектом» — это событие Курцвейл и другие называют «Сингулярностью».10

Свое название Сингулярность получила по аналогии с точкой, в которой математическая функция теряет смысл — обычно из-за того, что устремляется в бесконечность. В данном же случае такой функцией является сам темп прогресса. В частности, Курцвейл утверждает, что существует «закон ускоряющейся отдачи» — экспоненциальный тренд в технологическом прогрессе, доказывающий, что Сингулярность не просто вероятна, а неизбежна и наступит уже скоро. «Люди интуитивно полагают, что нынешние темпы прогресса сохранятся и в будущем. Даже у тех, кто прожил достаточно долго, чтобы заметить, как со временем ускоряется темп перемен, неосмысленная интуиция создает впечатление, будто изменения происходят с той же скоростью, которую мы наблюдали в последнее время», — пишет он. «Но серьезный анализ истории технологий показывает, что технологические изменения носят экспоненциальный характер».11 Эти экспоненциальные изменения, по его словам, радикально преобразят человеческую жизнь, изменив ее до неузнаваемости, причем произойдет это в самом ближайшем будущем. Отсюда и название одной из книг Курцвейла: «Сингулярность близко».

«В XXI веке мы переживем не 100 лет прогресса — это будет скорее 20 000 лет прогресса», — утверждает Курцвейл.12 После Сингулярности наше нынешнее общество станет далеким воспоминанием, каким для нас сегодня являются доземледельческие общества людей ледникового периода. Не будет ни бедности, ни болезней, ни нужды; все человеческие желания будут мгновенно удовлетворяться повсеместными и почти всемогущими машинами, улучшающими нашу жизнь и нас самих. «Мы станем остроумнее, мы будем лучше разбираться в музыке. Мы станем сексуальнее, — говорит Курцвейл. — Мы действительно воплотим в себе в гораздо большей степени все то, что мы ценим в людях».13 И любой из нас, кто доживет до того времени, будет «жить столько, сколько захочет», писал Курцвейл в «Сингулярности близко».14 В 2009 году он утверждал, что к 2024 году технологии разовьются настолько, что позволят омолодить его до биологического возраста сорока лет; судя по всему, этот план не сработал.15 (Я и сам надеялся расспросить его об этом, но он отказался от интервью для этой книги.) Но это его не обескуражило. «Мы приближаемся к моменту, когда достигнем „скорости убегания“ от старости», — заявил он на фестивале South by Southwest в 2024 году. «К 2029 году, если вы будете стараться, за каждый прожитый год вы будете тратить год своего долголетия, но при этом получать назад целый год, а после 2029 года — возвращать даже больше года. Так что фактически вы будете двигаться во времени вспять [то есть молодеть с течением времени]». На вопрос, проживет ли кто-нибудь из присутствующих в зале пятьсот лет, он ответил без колебаний: «Безусловно. Я имею в виду, если вы собираетесь прожить еще пять лет — а я полагаю, что все вы проживете еще пять лет», — сказал он.16 И даже если сам Курцвейл не доживет до 2029 года, он все равно настроен довольно оптимистично относительно своих перспектив обрести бессмертие. Смерть до этого момента «стала бы досадной помехой», признает он. Но в этом худшем случае, по его словам, он просто оставит инструкции роботам эпохи постсингулярности, чтобы те разобрали его вещи и просканировали его замороженный труп — вернув к жизни версию его самого, совсем как его отца.17

*    *    *

Чтобы в точности понять, почему Рэй Курцвейл уверен, что сможет воскресить своего отца, и почему любой, кто будет жив в 2029 году, проживет как минимум до 2529 года — и вообще чтобы понять, что такое Сингулярность, — необходимо внимательно разобраться, что именно Курцвейл имел в виду под линейным и экспоненциальным ростом. Нечто растет линейно, когда к нему раз за разом прибавляется одна и та же фиксированная величина. Зарабатывайте по доллару в день, и общая сумма ваших доходов будет увеличиваться на 1 доллар каждый раз: 1, 2, 3 доллара и так далее. Что крайне важно, при линейном росте не имеет значения, сколько у вас уже есть: на десятый день вы все так же получаете лишь 1 доллар, и ваш баланс увеличивается с 9 до 10 долларов. С экспоненциальным ростом все иначе. Здесь вместо прибавления постоянной величины вы умножаете на нее, увеличивая общую сумму на фиксированный процент от того, что у вас уже есть, а не просто добавляя постоянное число. Вместо того чтобы получать по доллару в день, вы в первый день кладете один доллар на счет под 100 процентов в день, что ежедневно удваивает ваши деньги. И вот теперь то, сколько у вас уже скопилось, имеет огромное значение. На второй день вы получаете всего один дополнительный доллар. Но на следующий день — уже два доллара, а еще через день — четыре. При экспоненциальном росте наличие большего объема ведет к получению еще большего, а это, в свою очередь, приносит еще больше. Сложные проценты приводят к тому, что экспоненциальный рост в кратчайшие сроки может стать поразительно быстрым. После третьего дня на вашем банковском счете лежит 4 доллара, тогда как у вашего друга, выбравшего линейный путь, — всего 3 доллара; вы ушли вперед совсем ненамного. Но уже после одиннадцатого дня у вашего друга будет всего 11 долларов, тогда как у вас на счету окажется более 1000 долларов. В конце месяца, на тридцать первый день, у вашего друга будет 31 доллар, в то время как вы только что стали миллиардером. К концу же следующего месяца у вас будет более 1 квинтиллиона долларов — сумма, более чем в пять тысяч раз превышающая весь мировой ВВП за 2021 год.

По мнению Курцвейла, технологии работают точно так же. Пожалуй, самым известным примером экспоненциального тренда в технологиях является закон Мура, названный в честь первопроходца в производстве микрочипов и сооснователя корпорации Intel Гордона Мура. В 1965 году Мур сделал свое знаменитое наблюдение: число транзисторов, которые можно разместить на кремниевой пластине, удваивается каждый год. Десять лет спустя он скорректировал свой прогноз, заявив об удвоении каждые два года; как вскоре отметили другие специалисты, из этого следовало, что быстродействие самых передовых компьютерных чипов (состоящих из кремниевых пластин, заполненных транзисторами) будет удваиваться примерно каждые восемнадцать месяцев. Эта тенденция сохранялась на протяжении десятилетий после заявления Мура, вплоть до конца XX века.18

Для Курцвейла это проявление более общего свойства человеческих технологий. «Технология, как и любой эволюционный процесс, опирается на собственные достижения», — пишет он. «Сегодня люди работают со все более совершенными технологиями, создавая новые поколения технологий».19 Поскольку наши инструменты позволяют нам создавать более совершенные инструменты, которые, в свою очередь, дают возможность делать инструменты еще лучше, Курцвейл считает логичным, что технологический прогресс растет по экспоненте. Тысячи лет назад появление гончарных печей сделало возможным плавку руды, что привело к возникновению металлургии, благодаря которой бронза, а затем и сталь в конечном счете вытеснили камень из орудий труда и оружия. В более близкие к нам времена все более мощные компьютеры облегчили проектирование практически чего угодно — включая новые поколения самих компьютеров. Отсюда и сформулированный Курцвейлом закон ускоряющейся отдачи, который он считает фундаментальной характеристикой человеческих технологий.

Для Курцвейла это не просто теоретический аргумент. Он собрал воедино важнейшие технологические вехи в истории человечества и обнаружил, что они сменяют друг друга все быстрее и быстрее, следуя экспоненциальному тренду. Потребовалось пять тысяч лет, чтобы пройти путь от конной повозки до автомобиля, но менее века, чтобы пройти путь от автомобиля до высадки человека на Луну; между почтовыми голубями и телеграфом прошло не менее двух тысяч лет, но всего около 130 лет разделили появление телеграфа и зарождение интернета.

Курцвейл также не считает, что закон ускоряющейся отдачи ограничивается исключительно технологиями. По его мнению, экспоненциальные тренды можно проследить и в глубоком эволюционном прошлом. «Экспоненциальный рост — это свойство любого эволюционного процесса», — пишет он.20 «Эволюции форм жизни потребовались миллиарды лет для совершения первых шагов (первобытные клетки, ДНК), а затем прогресс ускорился. Во время кембрийского взрыва крупные сдвиги парадигмы занимали всего десятки миллионов лет. Позже гуманоиды развивались в течение миллионов лет, а Homo sapiens — на протяжении всего сотен тысяч лет».21 (См. Рисунок 2.1.) И, по словам Курцвейла, он не единственный, кто это замечает. Он обнаружил ту же тенденцию, сопоставив ключевые вехи, выделенные в пятнадцати различных источниках по истории жизни, Вселенной и технологий.22 Наши технологии, согласно Курцвейлу, — лишь продолжение экспоненциального тренда, который начался миллиарды лет назад с появлением на Земле первых самовоспроизводящихся молекул.23

Рисунок 2.1: Заявленный Курцвейлом экспоненциальный тренд в эволюционной и технологической истории. На самом деле на графике в логарифмическом масштабе показан линейный обратный отсчет до настоящего момента, а не экспоненциальный тренд.

Следующим шагом в рамках этого тренда является искусственный интеллект. Под этим Курцвейл понимает вовсе не существующие системы ИИ и алгоритмы машинного обучения (МО). Он имеет в виду нечто гораздо более мощное — и глубокое. Курцвейл называет это «сильным» искусственным интеллектом или «общим искусственным интеллектом» (AGI), который он определяет как «искусственный интеллект, превосходящий человеческий».24 Это определение выглядит более чем расплывчатым, но Курцвейла это не смущает. Как только людям удастся создать AGI, утверждает Курцвейл, мы сможем запускать его на скоростях, значительно превышающих скорость человеческого мышления, что позволит ему решать сложные интеллектуальные задачи гораздо быстрее, чем это под силу человеку.

Одной из таких задач, естественно, станет проектирование следующего AGI. Именно в этом механизме Курцвейл и другие «сингуляристы» видят путь к воплощению Сингулярности. Предположим, что на создание первого AGI силами людей ушло тридцать лет. Создание еще более совершенного и умного ИИ могло бы занять у тех же людей скорее лет шестьдесят. Но имея под рукой готовый AGI, ускорить этот процесс не составит труда: достаточно поручить проектирование самому AGI и предоставить ему колоссальные вычислительные ресурсы. Тогда этот первый AGI сможет всего за год или даже за несколько дней проделать работу, на которую у людей ушло бы шестьдесят лет. А как только будет построен этот более умный AGI, он сможет еще быстрее спроектировать версию, превосходящую его самого, а та сделает то же самое — и так далее, что приведет к внезапному, лавинообразному росту (экспоненциальному или даже более стремительному) интеллектуальных способностей AGI. Таким образом, первый AGI, созданный людьми, может оказаться и последним: все последующие, спроектированные и построенные сменяющими друг друга поколениями машин со все возрастающей скоростью, быстро вознесутся на непостижимые высоты сверхинтеллектуальной мысли, превосходя наши способности в той же мере, в какой мы превосходим муравьев или бактерий. «Как только компьютер достигнет человеческого уровня интеллекта, он неизбежно взлетит далеко за его пределы», — пишет Курцвейл.25 «Этот цикл итеративного совершенствования машинным интеллектом собственной конструкции будет становиться все быстрее и быстрее».26 Когда это произойдет, по его словам, мы окажемся безнадежно позади — если только не присоединимся к этому процессу. Сингулярность «станет результатом слияния колоссального объема знаний, заложенных в нашем собственном мозге, с гораздо более широкими возможностями, скоростью и способностью обмениваться знаниями, присущими нашим технологиям», — пишет Курцвейл. «[Это] позволит нашей человеко-машинной цивилизации преодолеть ограничения человеческого мозга с его жалкими ста триллионами крайне медленных соединений… Сливаясь с нашими технологиями, мы станем неизмеримо умнее».27 И поскольку закон ускоряющейся отдачи продолжит приумножать вычислительные мощности человечества, «в конечном счете небиологическая часть нашего интеллекта станет преобладающей».28

Далее Курцвейл указывает, что в этом нет ничего принципиально нового. Мы уже живем в тесной связи с нашими технологиями. Телефоны уютно устроились в наших карманах, часы закреплены на запястьях, во многих сердцах работают кардиостимуляторы, а все более совершенные протезы заменяют утраченные конечности. Для Курцвейла слияние нашего мозга с машинами — это просто очередной шаг в рамках тенденции, которая зародилась давным-давно с появлением колеса, рычага и огня. А после наступления Сингулярности, по его словам, наша человеко-машинная цивилизация перейдет к финальному шагу на этом пути, исполняя наше высшее предназначение: изменению структуры самой Вселенной.

*    *    *

В 1962 году под названием «Ученый рассуждает: антология недопеченных идей» вышел в свет своеобразный небольшой сборник эссе. «Недопеченная идея, или НПИ, — это либо гипотеза, либо некий новый вопрос, либо предложение провести оригинальный эксперимент, либо многообещающая аналогия, либо (в редких случаях) классификация», — писал составитель сборника И. Дж. «Джек» Гуд в первом эссе книги. «"Пропеченность" идеи следует оценивать по ее потенциальной ценности, вероятности довести ее до полной готовности, ее оригинальности, увлекательности, способности будоражить мысль, лаконичности, ясности и живости. Зачастую лучше будоражить умы и ошибаться, чем быть скучным и правым».29 Всю остальную часть книги составляют более 120 коротких эссе с названиями вроде «Намеренные очепятки», «Роботизированный крокет», «Подмигивание компьютерам», «Прекогниция и обратная причинность» и «Теория, в которую невозможно поверить, будь она правдой» — первое и последнее из них были написаны самим Гудом, который называл себя «главным зачинщиком» этой книги.30 Среди других авторов были выдающиеся ученые (Юджин Вигнер, Майкл Полани, Джон Мейнард Смит), писатели (Артур Кёстлер, Айзек Азимов, Артур Кларк), как минимум один известный чудак (Герберт Дингл) и несколько человек, пожелавших остаться неизвестными. Одно или два эссе впоследствии стали классикой в своих областях, большинство же остальных были быстро забыты.31

К моменту публикации этой книги Гуд работал с вычислительными машинами уже двадцать лет. Во время Второй мировой войны молодой Гуд, только что защитив докторскую диссертацию по математике в Кембридже, присоединился к группе дешифровщиков в Блетчли-парке. Вскоре после его прибытия руководитель группы Алан Тьюринг застукал Гуда дремлющим на рабочем месте вместо того, чтобы расшифровывать нацистские коды. Однако Гуд быстро завоевал расположение Тьюринга, решив задачу по дешифровке, с которой сам Тьюринг никак не мог справиться. «Мне казалось, я это уже пробовал», — смущенно сказал Тьюринг Гуду после его успеха.32

После войны Гуд метался между академическими кругами, правительственными ведомствами и аналитическими центрами, пока спустя несколько лет после публикации сборника «Ученый рассуждает» наконец не обосновался в Виргинском политехническом институте, где и оставался до конца своей долгой жизни. Но на протяжении всей своей карьеры Гуд живо интересовался возможностями, которые компьютеры — и в особенности искусственный интеллект — могли открыть для человечества. В рецензии на книгу, написанной в 1951 году, он высказал идею о том, что самостоятельно мыслящая «сверхчеловеческая» машина могла бы стать «современным оракулом». «Граница, отделяющая машину, которая интеллектуально уступает человеку, от машины, превосходящей его, вероятно, будет пройдена, когда машина сможет программировать сама себя», — писал он.33 Он возвращался к этой теме несколько раз на протяжении многих лет, в том числе в одной из своих многочисленных заметок в сборнике «Ученый рассуждает» под названием «Социальные последствия искусственного интеллекта», где писал, что как только будет создан компьютер, способный самостоятельно спроектировать более совершенную машину, «в науке, несомненно, произойдет взрывной рост». Он даже предсказал, когда именно, по его мнению, это произойдет: он утверждал, что это случится, скорее всего, к 1978 году и обойдется примерно в 500 миллионов долларов (плюс-минус порядок величины). Гуд назвал это «дешевой ценой».34 Эту идею он развил в более подробной статье 1965 года «Размышления о первой сверхинтеллектуальной машине»:

Выживание человека зависит от скорейшего создания сверхинтеллектуальной машины… Под сверхинтеллектуальной машиной будем понимать машину, которая способна далеко превзойти любую интеллектуальную деятельность любого человека, насколько бы умен он ни был. Поскольку проектирование машин относится к подобной интеллектуальной деятельности, сверхинтеллектуальная машина могла бы создавать еще более совершенные машины; тогда, несомненно, произошел бы «интеллектуальный взрыв», а разум человека остался бы далеко позади. Таким образом, первая сверхинтеллектуальная машина — это последнее изобретение, которое человеку когда-либо понадобится сделать, при условии, что эта машина окажется достаточно покладистой, чтобы подсказать нам, как держать ее под контролем.35

Гуд был не единственным, кому пришла в голову эта мысль. Концепцию сверхинтеллектуальной машины обдумывал и его бывший начальник Тьюринг, а также пионеры в области ИИ Рэй Соломонофф и Марвин Минский (последний также написал два эссе для сборника «Ученый рассуждает», а позже стал наставником молодого студента Массачусетского технологического института по имени Рэй Курцвейл). В более широком смысле концепцию технологического ускорения, ведущего к сингулярности, как принято считать, сформулировал легендарный математик и физик Джон фон Нейман. Фон Нейман работал с первыми вычислительными машинами в рамках Манхэттенского проекта и создал базовую архитектуру, которую все электронные компьютеры используют и по сей день. Он также написал один из первых современных трудов о самовоспроизводящихся машинах. После безвременной кончины фон Неймана в 1957 году в возрасте пятидесяти трех лет его друг Станислав Улам — тоже известный математик и физик — написал подробный некролог. «Беседы фон Неймана с друзьями на научные темы могли длиться часами», — писал Улам. «Один из разговоров коснулся все более ускоряющегося прогресса технологий и изменений в укладе человеческой жизни, что создает впечатление приближения к некой важнейшей сингулярности в истории человечества, за пределами которой жизнь людей в привычном нам понимании продолжаться уже не сможет».36

Сам фон Нейман никогда не писал об этой идее. Но спустя десятилетия после его смерти Вернор Виндж подхватил эту концепцию — и само название «сингулярность» — и дал ей ход. По образованию Виндж был специалистом по компьютерным наукам и математиком, но наибольшую известность ему принесли научно-фантастические романы, особенно удостоенные премии «Хьюго» книга «Пламя над бездной» и ее приквел «Глубина в небе». Однако концепцию Сингулярности читателям своей художественной прозы Виндж впервые представил в более раннем романе — «Брошенные в реальном времени», опубликованном в 1986 году.37 В «Брошенных» Виндж использовал цивилизацию после Сингулярности в качестве сюжетного приема: герои просыпаются в далеком будущем после пребывания в анабиозе и обнаруживают, что человеческая цивилизация, по-видимому, исчезла или перешла на новый уровень существования, причем наиболее вероятной причиной этого называют технологическую Сингулярность. В любопытном послесловии к книге Виндж пояснил, что считает это не просто художественным вымыслом. По мере приближения 2000 года, писал он, это было «ироничной случайностью календаря, что весь этот религиозный интерес к трансцендентным событиям смешался с объективными доказательствами того, что мы скатываемся в технологическую сингулярность… Именно вы, а не Делла и Уил [главные герои «Брошенных»], поймете, что такое Сингулярность, единственно возможным способом — прожив ее».38 Развивая эти идеи в статье 1993 года под названием «Грядущая технологическая сингулярность», Виндж сослался на фон Неймана и особенно на Гуда как на своих предшественников. «Я верю, что создание интеллекта, превосходящего человеческий, произойдет в ближайшие тридцать лет», — писал Виндж, повторяя тот же аргумент, который Курцвейл приведет более чем через десять лет в книге «Сингулярность уже близко».

Когда прогресс будет направляться интеллектом, превосходящим человеческий, этот прогресс станет намного более стремительным. На самом деле нет причин, по которым сам этот прогресс не включал бы в себя создание еще более разумных сущностей — в еще более сжатые сроки… С человеческой точки зрения это изменение будет означать отказ от всех прежних правил, возможно, в мгновение ока, экспоненциальный разгон, не оставляющий никаких надежд на контроль. События, которые раньше, как считалось, могли произойти лишь через «миллион лет» (если вообще когда-либо), скорее всего, произойдут в следующем веке.39

Виндж в основном неохотно строил догадки о деталях технологий или цивилизации после Сингулярности. «Когда меня начинают настойчиво расспрашивать о том, на что будет похожа Сингулярность, — говорил он, — моим самым частым ответом-убежищем становится: „Как вы думаете, почему я назвал ее Сингулярностью?“»40

Тем не менее перспектива технологического апофеоза цивилизации отлично вписывалась в идеологический фундамент футурологических групп, которые уже вовсю роились в Кремниевой долине в 1980-х и 1990-х годах — и они в большинстве своем не разделяли нежелания Винджа рассуждать о том, что может принести Сингулярность. «Мы видим, что эта потребность в трансцендентности глубоко заложена в человечестве», — говорил футурист Макс Мор в 1994 году. — «Похоже, нам изначально присуще желание выйти за рамки того, что мы считаем своими границами. В прошлом у нас не было для этого технологий, и прямо сейчас мы переживаем трудный период, когда у нас еще нет необходимых технологий, но мы уже видим их приближение… Мне нравится быть человеком, но я этим не удовлетворен».41 Мор (урожденный Макс О’Коннор) был одним из основателей «экстропианского» движения, названного так «в качестве метафорической противоположности» энтропии — физической меры беспорядка и распада, которую экстропианцы объявили «главным врагом человеческой надежды».42 Мор вместе с Томом Морроу (урожденным Томом Беллом) в 1988 году начали выпускать журнал Extropy (первоначально выходивший с подзаголовком «Вакцина от футурошока»). В первом выпуске заявлялось, что журнал будет освещать такие темы, как «искусственный интеллект, когнитивные науки и нейробиология, технологии повышения интеллекта, продление жизни, крионика и биостаз, нанотехнологии, спонтанные порядки, колонизация космоса, экономика и политика (особенно либертарианская), научная фантастика и обзоры на нее, разумное использование психохимикатов, экстропийная психология, майндфак, экстропийные моральные и аморальные теории, экстропийные научные разработки, меметика и эстетика».43

В 1992 году Мор и Морроу также основали Институт экстропии, что в короткие сроки привело к созданию чего-то гораздо более влиятельного, нежели их журнал: списка рассылки по электронной почте для экстропианцев. «В середине девяностых многие впервые познакомились с трансгуманистическими взглядами благодаря списку рассылки Института экстропии», — писал философ Ник Бостром в 2005 году.44 Сам Бостром был одним из таких людей и проявлял большую активность в этой рассылке в 1990-х годах, будучи аспирантом по философии. В 1998 году Бостром стал сооснователем Всемирной трансгуманистической ассоциации — организации, посвятившей себя изучению «возможности изменения человеческой природы, включая такие параметры, как неизбежность старения, ограничения человеческого и искусственного интеллекта, невыбранные особенности психики, страдания и наша привязанность к планете Земля», как гласила Трансгуманистическая декларация группы. «При планировании будущего необходимо принимать во внимание перспективу колоссального прогресса технологических возможностей», — продолжали они, вторя Винджу. — «Нам нужно создавать площадки, где люди смогут рационально обсуждать, что необходимо сделать, и социальный порядок, при котором ответственные решения смогут претворяться в жизнь».45

Большинство этих дискуссий проходило в интернете, но устраивались также экстропианские вечеринки, конференции и существовала как минимум одна студенческая организация в Массачусетском технологическом институте.46 Об экстропианцах и их интеллектуальных единомышленниках писали в таких журналах, как Wired, и в нескольких книгах.47 К концу 1990-х годов экстропианцы и трансгуманисты, такие как Ханс Моравек и Рэй Курцвейл, опубликовали собственные научно-популярные книги, в которых подробно описывали скорое появление ОИИ и других преобразующих технологий на фоне якобы надвигающейся Сингулярности.48 Курцвейл даже процитировал «Принципы экстропии» Мора в своей книге «Сингулярность уже близко».49

Но, как отметил Виндж в своей статье 1993 года, идея Сингулярности произвела куда более мощный и стремительный эффект в научной фантастике. Там, по его утверждению, ее предвосхищали на протяжении десятилетий. «Писатели [фантасты] все острее ощущали непроницаемую стену, преграждающую будущее. Когда-то они могли переносить подобные фантазии на миллионы лет вперед», — писал он. — «Теперь же они увидели, что их самые усердные экстраполяции привели к непостижимому... причем в самом ближайшем будущем».50 Всего несколько лет спустя Сингулярность стала общим местом в научно-фантастических романах с такими названиями, как «Акселерандо», «Небо сингулярности» и «Эксцессия». «Мир, в котором мы живем, — это мир, приговоренный к Сингулярности», — писал в 2003 году фантаст Кен Маклауд.51 К тому времени Сингулярность настолько прочно укоренилась в научной фантастике, что, как выразилась писательница и критик Джо Уолтон, «большей части современной фантастики приходится называть себя "постсингулярной" и пытаться писать о людях, которые по определению находятся за пределами нашего понимания, или же объяснять, почему Сингулярность так и не наступила».52 Писатель Чарльз Стросс был несколько менее деликатен. Сингулярность, заявил он в 2006 году, — это «дерьмо в чаше с пуншем для НФ ближнего прицела. Вы можете вежливо притворяться, что его там нет, но считаться с этим приходится каждому».53

Так Сингулярность вернулась в свой родной дом.54 В 1950 году, за год до того, как Гуд впервые написал о «сверхчеловеческой» машине, самостоятельно занимающейся своим программированием, журнал Astounding Science Fiction опубликовал рассказ звезды этого жанра — некоего Айзека Азимова. Рассказ под названием «Разрешимое противоречие» переносит нас в 2052 год. В нем описывается встреча Сьюзен Кэлвин, эксперта по робототехнике — слова, которое сам Азимов придумал в одном из своих рассказов несколькими годами ранее, — и Стивена Байерли, координатора мирового правительства. Однако Байерли обладает меньшей властью, чем предполагает его должность, поскольку миром фактически управляют огромные «Машины» — бесплотные роботизированные «позитронные мозги», которые диктуют наилучшие варианты действий практически во всех сферах экономической, научной и политической деятельности. Несмотря на предполагаемую непогрешимость Машин, Байерли замечает странные несоответствия в мировой экономике. Но он знает, что Машины не могут делать это намеренно, поскольку они, как и все роботы, запрограммированы подчиняться Трем законам робототехники, первый из которых гласит, что ни один робот ни при каких обстоятельствах не может причинить вред человеку. Поэтому, рассказывает Байерли Кэлвин, первым делом он попросил техников, отвечающих за Машины, провести их диагностику, чтобы убедиться, что они работают как надо. К своему удивлению, он обнаруживает, что это невозможно, поскольку Машины стали слишком сложными для понимания любого человека: «Группа математиков в течение нескольких лет рассчитывает позитронный мозг, способный производить аналогичные расчеты. С помощью этого мозга они делают дальнейшие расчеты, чтобы создать еще более сложный мозг, который они снова используют для создания еще более сложного, и так далее... То, что мы называем Машинами, — результат десяти таких ступеней».55 Сингулярность avant la lettre — еще до появления самого термина.

В то время эта идея даже не была новой для научной фантастики. Азимов вторил рассказу Джона В. Кэмпбелла-младшего «Последняя эволюция», написанному в 1932 году.56 Позже Кэмпбелл редактировал рассказы Азимова о роботах в журнале Astounding Science Fiction, и Азимов говорил, что тот стал «крестным отцом роботов».57 Но хотя в рассказе Кэмпбелла и содержалась та же идея о компьютерах, проектирующих более совершенные компьютеры, в произведении Азимова также четко сформулирована глубинная мотивация Сингулярности. Как выясняется в конце «Разрешимого противоречия», вопреки сомнениям Байерли, Машины непогрешимы. Решение его загадки кроется лишь в том, что Машины определили: некоторые люди пытаются помешать их правлению. Вследствие этого они предприняли шаги, чтобы аккуратно убрать этих людей с дороги, не причиняя им вреда и не нарушая жизнь общества в целом. «Машина направляет наше будущее за нас, и не просто в виде ответов на наши прямые вопросы, но и в качестве общего ответа на ситуацию в мире и на человеческую психологию в целом», — говорит Кэлвин Байерли. — «Машина не может, она не должна делать нас несчастными».58 Алгоритмически гарантированная утопия. Точно так же и сверхразумные благодетельные машины Сингулярности якобы сведут многообразные трудноразрешимые проблемы политики, экономики и социологии к одной лишь задаче достаточно умного программирования для достаточно мощного компьютера. В этом и кроется истинная притягательность современной идеи Сингулярности: соблазнительное обещание подогнать все вопросы, потребности и желания под единое прокрустово решение в виде кода и вычислений.

*    *    *

В первые недели 2020 года мне попался на глаза тревожный график, изображавший то, что, вне всяких сомнений, было экспоненциальным ростом. График был прикреплен к твиту — части ветки обсуждения нового коронавируса COVID-19, на которую я случайно наткнулся. Уровень заболеваемости в Соединенных Штатах в то время был еще очень низким, сообщалось лишь о единичных случаях. Но этот твит указывал на то, что, хотя случаев пока немного, ситуация вот-воз стремительно изменится: если пустить все на самотек, к концу марта число заболевших в США вырастет до сотен тысяч. Я встревожился и тут же принялся искать причины, по которым это утверждение могло быть ошибочным. Мне не удалось найти никаких очевидных изъянов в утверждениях анонимного автора твита. Однако на первый взгляд казалось крайне маловероятным, что они могут оказаться правдой. Если бы они были правы, все должно было измениться быстро и непредсказуемо, но при этом не наблюдалось никаких явных предвестников грядущих перемен. Как они могли быть правы? Теряясь в догадках, я вернулся к своим повседневным делам, терзаемый новыми сомнениями и пытаясь понять: беспокоюсь ли я о чем-то реальном или меня просто напугал мираж, созданный случайным пользователем интернета? Несколько недель спустя я получил ответ.

Возникает соблазн просто с порога отвергнуть утверждения Курцвейла. Они кажутся слишком дикими, слишком неправдоподобными, чтобы принимать их всерьез. Если грядут столь масштабные перемены, должны быть хоть какие-то признаки — нечто, предвещающее, что мы стоим на пороге колоссального сдвига, стремительного и непредсказуемого, во всех сферах человеческого общества. Как он может быть прав? Но в одном Курцвейл безусловно прав: людям трудно осознать и принять саму возможность экспоненциального роста, даже когда они прекрасно знакомы с этим понятием, как был знаком я в начале 2020 года. «Почти все, кого я встречаю, смотрят на будущее линейно», — пишет он. — «Вот почему люди склонны переоценивать то, чего можно достичь в краткосрочной перспективе (поскольку мы упускаем из виду необходимые детали), но недооценивать то, чего можно достичь в долгосрочной (поскольку экспоненциальный рост игнорируется)».59

Так что от идей Курцвейла нельзя просто отшутиться. Он не сумасшедший и не глупец. И он далеко не одинок. Сегодня Сингулярность — это не просто то, что воспринимают всерьез маргинальные группы вроде экстропийцев. Книги Курцвейла становились бестселлерами. Его видение Сингулярности привело его на страницы таких крупных журналов, как Time, Wired и Rolling Stone. Его регулярно приглашают выступать на крупнейших медийных мероприятиях вроде South by Southwest. Университет Сингулярности, где «технологические эксперты и предприниматели, увлеченные решением великих вызовов человечества» могут «обмениваться идеями и способствовать использованию быстро развивающихся технологий», был основан Курцвейлом в 2008 году при финансовой поддержке Google, Autodesk и других фирм Кремниевой долины.60 А в 2012 году Курцвейл занял должность технического директора в Google по личному приглашению сооснователя и тогдашнего генерального директора компании Ларри Пейджа.61 «Эти идеи имеют колоссальный вес в Кремниевой долине; для многих наиболее влиятельных технологов это руководящие принципы, а не просто забава», — объясняет специалист по компьютерным наукам Джарон Ланье.62 Многие лидеры технологической индустрии — включая Билла Гейтса и Илона Маска — высокого мнения о Курцвейле и его идеях. «Сформулированное Рэем Курцвейлом абстрактное обобщение закона Мура — это самое важное, что когда-либо было представлено в виде графика», — утверждает миллиардер и венчурный инвестор Стив Джурветсон. — «Его непрерывность, прослеживающаяся на протяжении всей писательской карьеры Курцвейла, — главный вывод для будущего человечества и будущего разума».63

Идея Сингулярности проникла даже в академические круги, где этой концепции уделили внимание философы. Бостром, который более пятнадцати лет был профессором философии в Оксфордском университете, много писал о гипотетическом взрыве интеллекта как в научных статьях, так и в своей книге 2014 года «Сверхинтеллект» — неожиданном бестселлере, горячо поддержанном Биллом Гейтсом. «Я думаю, что в какой-то момент мы создадим сверхразумные машины», — сказал Бостром незадолго до выхода книги. — «Среди экспертов весьма распространено мнение, что существует реальный шанс, что это произойдет в ближайшие несколько десятилетий или, по крайней мере, в этом веке».64 Дэвид Чалмерс, профессор философии Нью-Йоркского университета, в 2010 году написал пространную статью на эту тему. «Идея сингулярности, безусловно, важна», — писал он. — «Аргумент в пользу сингулярности — это то, к чему нам следует отнестись серьезно».65 Чалмерс утверждает, что эта идея основана на предпосылках, которые не так уж сложно принять. «Что касается технологического мира, заявления об экспоненциальном росте не являются чем-то из ряда вон выходящим. Они довольно обычны», — сказал он мне. — «[Если] мы дойдем до точки, когда системы ИИ будут работать примерно на уровне человеческих возможностей и с человеческой скоростью, и при этом у нас будет экспоненциальный рост производительности оборудования — удваивающийся каждые пять лет или с любой другой скоростью, — тогда станет очевидно, что в результате... кривая интеллекта устремится вверх по экспоненте».66 И хотя Чалмерс и Бостром были одними из первых философов, воспринявших идею Сингулярности всерьез, теперь они больше не одиноки: Бостром был директором-основателем Института будущего человечества (FHI) в Оксфорде, который работал с 2005 по 2024 год и где Сингулярность была постоянным предметом исследований.

Так что Курцвейл — вовсе не чудак-одиночка. Он публичное лицо целого движения. И данные, которые он собрал, чтобы проиллюстрировать действие своего закона ускоряющейся отдачи на протяжении истории, действительно поражают. Однако при более внимательном рассмотрении графика Курцвейла обнаруживается проблема. Функция, обратная экспоненциальной, — это логарифм. Представьте его как функцию, которая примерно показывает, сколько нулей стоит в конце числа (или, говоря более обобщенно, сколько знаков в этом числе). Логарифм 1000 в три раза больше логарифма 10; логарифм миллиона (1 000 000) — еще в три раза больше этого. Логарифмы ближе нам, чем кажется. Мы часто мыслим логарифмически, особенно когда думаем о прошлом: что вы делали в это же время в прошлом месяце? Год назад? Десять лет назад?

Чак Клостерман, писатель и критик, отлично иллюстрирует этот момент с помощью простой игры: не подглядывая в источники, назовите реально существовавшего человека, жившего в каждом веке, двигаясь в обратном направлении от XXI века. Для нынешнего и прошлого веков легко вспомнить множество имен, включая людей, которых мы знаем лично. С XIX веком тоже не должно возникнуть особых трудностей, хотя вы, скорее всего, назовете известных политических или исторических деятелей (Гарриет Табмен, Наполеон). С XVIII веком будет чуть сложнее, но тоже вполне выполнимо (Бенджамин Франклин). Начиная с XVII века задача существенно усложняется, и у вас, вероятно, останется лишь несколько имен, в которых вы точно уверены, если вообще вспомните хоть кого-то (Исаак Ньютон). И если у вас нет специализированных знаний в конкретных областях истории, вы вряд ли сможете продвинуться намного дальше XVI века (Шекспир, Галилей) или XV века (Жанна д’Арк). Как пишет Клостерман, если кто-то добирается до XII века, «это обычно означает, что он либо много знает о первооткрывателях, либо до хрена знает о римских папах».67

Но это не значит, что вы не сможете назвать никого, кто жил ранее примерно 1400 года. Ваши знания просто становятся более фрагментарными. Где-то там всплывают Манса Муса, Алиенора Аквитанская и Ибн Рушд; еще дальше в прошлом — религиозные и философские деятели, такие как Мухаммед, Иисус и Конфуций; а затем — горстка политических лидеров вроде Клеопатры, Тутанхамона и Хаммурапи — и если вы в курсе интернет-мемов о клинописных табличках с жалобами, то у самого начала письменной истории обнаружатся Эа-насир и Ибби-Илабрат.68 Но вы больше не можете двигаться по истории линейно. Наш взгляд на историю логарифмичен. И дело вовсе не в том, что в каком-нибудь VII веке все было скучно — миф о Темных веках остается лишь мифом, к тому же за пределами Европы было полно других мест, где в то время кипела жизнь, — все дело лишь в ракурсе из вашей конкретной точки истории. Через триста лет, если Соединенные Штаты все еще будут существовать, вполне вероятно, что среднестатистический американец вообще не сможет назвать ни одного президента XX века — точно так же, как мы не можем с уверенностью назвать политических лидеров XVII века. Память угасает, а выборка наиболее ярких событий, которые мы помним из истории, в лучшем случае лишь отдаленно связана с их истинной важностью. Наш взгляд на историю логарифмичен просто потому, что мы физически не способны узнать и удержать в памяти все, что происходило до нашего рождения.

Если взглянуть на это под таким углом, тенденции, выделяемые Курцвейлом, вызывают еще больше сомнений. Похоже, он путает логарифмическое восприятие истории с экспоненциальным трендом в биологическом и технологическом развитии. Это выдает его список ключевых биологических вех: вместо того чтобы отобрать действительно важные события в эволюции всей жизни на Земле, он в основном выбирал вехи, ведущие к эволюции человека, будто люди — конечная цель эволюции. (У эволюции нет цели, о чем Курцвейл, безусловно, знает.) Подобная предвзятая выборка позволяет легко создать видимость экспоненциального тренда. Его список научных и технологических достижений составлен столь же избирательно: среди множества отсутствующих вех — изобретение пороха в Китае в IX веке, развитие ньютоновской физики в XVII веке, микробная теория болезней, периодическая система химических элементов, железная дорога и телеграф. Ни одно из этих достижений не укладывается в экспоненциальную модель, хотя найти их было нетрудно, ведь целые исторические периоды вообще никак не представлены в списке Курцвейла.ⁱ Маловероятно, что эти пробелы оставлены намеренно, как и практически полное игнорирование технологических или культурных достижений за пределами Евразии. И то и другое — лишь следствие предвзятого взгляда, ограниченного рамками конкретного времени и места. Это похоже на взгляд с вершины небоскреба: вблизи все кажется огромным и значимым; вдали же виднеются лишь редкие примечательные ориентиры. Но на самом деле предметы не увеличиваются в размерах по мере приближения к вам, да и сами вы не находитесь в каком-то особенно важном или уникальном месте. Курцвейл усматривает своего рода телеологию — цель и направленность — там, где их нет и в помине.

Или почти нет. Разумеется, в истории технологий действительно существуют некоторые экспоненциальные тренды — например, закон Мура. Однако при ближайшем рассмотрении судьба самого закона Мура служит еще одним доказательством неправоты Курцвейла. «На самом деле все зависит от того, как вы определяете закон Мура», — говорит Цу-Джей Кинг Лю, декан Инженерного колледжа Калифорнийского университета в Беркли и член совета директоров Intel. Изначально Мур выделил две различные экспоненциальные тенденции: экспоненциальный рост числа транзисторов на интегральной схеме и экспоненциальное снижение стоимости одного транзистора. Курцвейл использует оба этих прогноза в книге «Сингулярность уже близко», проецируя их далеко в будущее. Однако «в последних поколениях стоимость транзистора фактически выросла... [Так что], если понимать под законом Мура исключительно снижение стоимости транзистора, то да, он прекратил свое действие», — отмечает Лю. «Если же речь идет о том, что количество транзисторов на самой передовой интегральной схеме удваивается примерно каждые два года, тогда закон Мура все еще продолжает работать... Общее количество транзисторов, интегрированных в единый корпус, действительно продолжает расти экспоненциальными темпами».69

Лю сама приложила руку к тому, чтобы сохранить эту версию закона Мура: она является соизобретателем FinFET-транзистора, который на сегодняшний день представляет собой самую передовую конструкцию транзисторов. Однако, по ее словам, живучесть этой версии закона Мура обусловлена конкретной формулировкой его предсказания, касающейся количества транзисторов, размещаемых на одном чипе. Это число по-прежнему растет экспоненциально и продолжит расти до конца этого десятилетия, утверждает Лю, поскольку теперь транзисторы укладывают вертикально друг на друга. «Количество транзисторов на единицу объема продолжит расти (но не экспоненциальными темпами), так как слои транзисторов накладываются друг на друга, а чипы укладываются один на другой со все более высокой плотностью», — рассказала мне Лю.70 Сами транзисторы тоже продолжают уменьшаться, но это не может продолжаться бесконечно. «Скорость, с которой горизонтальные размеры транзисторов продолжают уменьшаться с каждым новым поколением технологий производства микросхем, замедлится или даже сойдет на нет из-за физических ограничений и/или финансовых соображений».71 Физические ограничения, на которые намекает Лю, возникают где-то в диапазоне от 0,1 до 1 нанометра, поскольку диаметр самих атомов кремния составляет около 0,2 нанометра, а транзистор невозможно создать из чего-то меньшего, чем один атом. Этот предел невозможно преодолеть, и мы находимся на грани его достижения — диаметр самых маленьких из уже созданных транзисторов действительно составляет около 0,3 нанометра. Кремниевые транзисторы больше никогда не станут сколько-нибудь ощутимо меньше. Экспоненциальный тренд завершен. (Лю действительно сказала, что экспоненциальный рост числа транзисторов, упакованных на один чип, продолжится, но и этому должен прийти конец, причем скорее раньше, чем позже. Поскольку объем одного транзистора больше не может существенно уменьшаться, это означает, что либо число транзисторов на чипе вскоре перестанет расти экспоненциально, либо чипы будут экспоненциально расти в высоту — а последнего точно не произойдет.) Сам Гордон Мур предвидел это. «Это не может продолжаться вечно. Природа экспонент такова, что вы продвигаете их все дальше, и в конце концов происходит катастрофа», — сказал он в интервью в 2010 году. «Что касается размеров [транзистора], то видно, что мы приближаемся к размерам атомов, а это фундаментальный барьер... У нас есть еще от 10 до 20 лет, прежде чем мы достигнем фундаментального предела».72

Но проблемы закона ускоряющейся отдачи Курцвейла обусловлены не только физическими ограничениями. Чтобы получить стабильный рост вроде закона Мура, «нельзя просто [сказать]: "Ладно, вычислительные алгоритмы будут работать быстрее, и поэтому мы сможем быстрее создавать технологии следующего поколения"», — говорит мне Лю. «На самом деле для поддержания этого так называемого закона Курцвейла все равно требуются инновации, какие-то передовые творческие идеи. Мне кажется, закон Курцвейла несколько упрощен, поскольку он не учитывает тот факт, что по мере развития технологий экспоненциально возрастает и их сложность».73 История закона Мура подтверждает это. С 1971 по 2014 год, в период расцвета закона Мура, количество транзисторов, размещаемых на чипе, увеличилось примерно в два миллиона раз. Это был устойчивый экспоненциальный рост, при котором удваивание происходило примерно каждые два года. Но поддержание этого устойчивого роста требовало экспоненциального увеличения усилий и ресурсов: в 2020 году группа экономистов из Стэнфорда и Массачусетского технологического института (MIT) обнаружила, что за тот же период инвестиции в финансирование НИОКР в полупроводниковой сфере и численность персонала выросли в восемнадцать раз только ради поддержания прежних темпов роста. «Иными словами, — писали они, — сегодня обеспечивать экспоненциальный рост, лежащий в основе закона Мура, примерно в 18 раз труднее, чем в 1971 году». Их вывод заключается в том, что продуктивность исследований снизилась, поскольку «идеи и предполагаемый ими экспоненциальный рост становится все труднее находить».74 Таким образом, закон Мура — это не пример ускоряющейся отдачи, а пример убывающей отдачи при том же уровне инвестиций.

Судьба закона Мура — это судьба всех экспоненциальных трендов: они заканчиваются, о чем говорил и сам Мур. Либо все постепенно усложняется, выполаживая кривую роста от экспоненциальной до S-образной (известной как логистическая кривая; см. рис. 2.2), либо процесс упирается в жесткий предел и просто останавливается, что нередко сменяется крахом. Поместите несколько бактерий на чашку с питательной средой, и их численность будет расти экспоненциально — пока у них не закончится пища, после чего рост прекратится и все они погибнут. В книге «Сингулярность уже близко» Курцвейл иллюстрирует экспоненциальный рост на примере кувшинок, которые экспоненциально разрастаются в пруду, каждые несколько дней удваивая площадь покрываемой ими воды. По его словам, если в первый день они покрывают 1 процент пруда, то через несколько недель пруд будет покрыт полностью.75 Это правда, но на этом рост кувшинок и заканчивается, поскольку они не могут покрыть более 100 процентов пруда. Так устроен любой экспоненциальный тренд.76 Все ресурсы конечны; ничто не длится вечно; у всего есть пределы. В этом и кроется главный изъян в рассуждениях Курцвейла. Экспоненциальные тренды существуют — но единственное, что абсолютно гарантировано в будущем любого экспоненциального тренда, — это то, что рано или поздно он закончится. Отдача убывает. Экстраполировать экспоненциальные тренды бесконечно в будущее — значит с уверенностью утверждать именно то, чего гарантированно не произойдет.

В этом нет ничего нового. В 1960 году группа исследователей из Иллинойсского университета заметила, что рост численности человечества за предыдущие две тысячи лет был не просто экспоненциальным, а гиперболическим — он ускорялся быстрее любой экспоненциальной кривой. Экстраполировав эту кривую, они получили поразительный результат: 13 ноября 2026 года численность человечества должна стать бесконечной. «Наши прапрануки умрут не от голода. Их раздавит насмерть», — полушутя заключили они, давая понять, что прекрасно осознают: гиперболическому тренду роста населения Земли скоро придет конец.77 И они оказались правы: уже к 1964 году годовые темпы роста населения планеты начали снижаться. На пике в 1963 году этот показатель составлял 2,2 процента, в 1973 году — 2,0 процента, а к 2023 году снизился до скромных 0,9 процента. Организация Объединенных Наций в настоящее время прогнозирует, что рост населения прекратится примерно к 2080 году (плюс-минус пара десятилетий), после чего численность жителей планеты начнет медленно сокращаться с пикового значения около десяти миллиардов человек — что ненамного больше тех восьми миллиардов, которые живут сегодня. Прогнозируемая кривая численности человечества со временем укладывается в почти идеальную логистическую S-образную кривую, разделяя судьбу большинства видов экспоненциального роста в реальном мире.

Рисунок 2.2. S-образная кривая логистического роста.

Надо отдать ему должное, Курцвейл понимает, что экспоненциальный рост всегда переходит в логистический. Он даже согласен с тем, что закон Мура не может бесконечно действовать для кремния из-за непреложных физических ограничений. Но это его не останавливает. «S-образные кривые типичны для биологического роста, — пишет он. — [Но] общий экспоненциальный рост эволюционного процесса (будь то молекулярный, биологический, культурный или технологический) преодолевает пределы роста, характерные для любой конкретной парадигмы (отдельной S-кривой), благодаря росту мощности и эффективности, развивающихся в каждой последующей парадигме. Таким образом, экспоненциальный рост эволюционного процесса охватывает множество S-образных кривых».78 В качестве иллюстрации Курцвейл указывает на историю вычислительной техники с начала двадцатого века. Сначала, по его словам, были электромеханические компьютеры, затем компьютеры на вакуумных лампах, после них — дискретные транзисторы, и, наконец, мы перешли к интегральным схемам на кремниевых пластинах — технологии, на которой компьютеры работают и сегодня.79 В каждую из эти эпох, по мнению Курцвейла, вычислительная мощность машин действительно описывала S-образную кривую: экспоненциальный рост, который в конечном итоге упирался в потолок по мере достижения технологических пределов. Однако он отмечает, что эти S-образные кривые складываются вместе, поддерживая общий экспоненциальный тренд роста вычислительной мощности. (См. рисунок 2.3.) «Конкретная парадигма... генерирует экспоненциальный рост до тех пор, пока ее потенциал не будет исчерпан. Когда это происходит, случается сдвиг парадигмы, что позволяет экспоненциальному росту продолжаться».80

Рисунок 2.3. Экспоненциальный рост за счет наложения S-образных кривых.

Но это не более чем очередное сочетание предвзятого отбора фактов с чистой воды выдачей желаемого за действительное. Наложенные друг на друга S-образные кривые Курцвейла игнорируют тысячелетия технологий механических вычислений, предшествовавших двадцатому веку — от абака и Антикитерского механизма до аналитической машины Чарльза Бэббиджа. Они совершенно не укладываются в описываемую им тенденцию. Но даже если оставить в стороне раннюю историю, нет никакой гарантии, что новые вычислительные технологии будут разрабатываться по тому жесткому графику, которого требует гипотеза Курцвейла. Разработка новых технологий может становиться все сложнее; может появиться технология, которая выглядит многообещающе, но имеет неустранимые проблемы, препятствующие ее внедрению; наконец, на пути прогресса могут встать другие факторы, такие как экономическое давление, социальные изменения или дефицит необходимых ресурсов.

В истории человеческих технологий это происходило снова и снова. Экспоненциальные тренды, основанные на технологических возможностях, рано или поздно сходят на нет. Двести лет назад максимальная скорость, с которой человек мог надежно передвигаться, ограничивалась возможностями лошади и составляла примерно 35 миль в час (55 км/ч). Так продолжалось тысячелетиями. Но затем появились паровые поезда, которые к 1830 году сравнялись по скорости с лошадью, а затем и превзошли ее. За паровозами последовали автомобили с двигателями внутреннего сгорания. За автомобилями — самолеты, за самолетами — ракеты на жидком топливе. На протяжении всего XIX века и значительной части XX века максимальная скорость, когда-либо развитая человеком, росла по экспоненте. Но 26 мая 1969 года этот рост прекратился. В тот день Томас Стаффорд, Юджин Сернан и Джон Янг развили скорость 24 816 миль в час (39 938 км/ч), возвращаясь на Землю после полета по окололунной орбите на корабле «Аполлон-10». С тех пор ни один человек не двигался быстрее. Даже если мы когда-нибудь отправим людей на Марс, их максимальная скорость вряд ли сильно превысит рекорд экипажа «Аполлона-10», если вообще превысит. И даже если мы расширим рамки этого определения и включим в него космические зонды и другие рукотворные объекты, это мало что изменит. Рекорд скорости среди всех созданных человеком объектов в настоящее время принадлежит солнечному зонду «Паркер», который (на момент написания этой книги), как ожидается, к концу 2024 года промчится мимо Солнца на скорости более 430 000 миль в час (690 000 км/ч) — это 0,064 процента скорости света. Это почти в три раза превышает предыдущий рекорд, установленный зондом «Гелиос-2» в 1976 году при его максимальном приближении к Солнцу. Тот факт, что оба этих невероятно быстрых аппарата двигались вблизи Солнца, далеко не случаен — именно в этой близости и кроется причина их рекордов. С точки зрения гравитации Солнце находится не просто в центре Солнечной системы, а на самом ее «дне». В Солнце сосредоточено 99,86 процента всей массы нашей системы, а сама его масса более чем в 300 000 раз превышает массу Земли. Солнечные зонды могут развивать столь высокую скорость просто потому, что они падают на эту колоссальную массу с высоты почти в сто миллионов миль (150 миллионов километров) в отсутствие сопротивления воздуха, которое могло бы их затормозить. После тысячелетий технологического прогресса лучший способ, придуманный человечеством, чтобы заставить вещи двигаться по-настоящему быстро, — это просто их уронить.

Почему мы не можем заставить вещи двигаться еще быстрее? Исторические причины этого сложны; пожалуй, главная из них — политическая. Но политические бюджеты имеют отношение к делу лишь потому, что ресурсы, необходимые для того, чтобы двигаться заметно быстрее «Аполлона-10» или солнечного зонда «Паркер», столь колоссальны, что мобилизовать их под силу только крупным державам (и, возможно, транснациональным корпорациям). Так что, хотя исторические детали сложны, первопричина возникновения S-образной кривой довольно проста: не появилось никакой прорывной технологии, которая позволила бы легче увеличивать скорость, — просто потому, что двигаться значительно быстрее, чем мы уже умеем, чрезвычайно трудно.

Убывающая отдача от технологий не ограничивается проектированием микросхем и увеличением скорости. Исследование закона Мура, проведенное в 2020 году Стэнфордским университетом и MIT, было частью более масштабной работы, авторы которой пришли к аналогичному выводу относительно всей экономики в целом. Авторы этого исследования приводят убедительные доказательства того, что продуктивность научных исследований сегодня — если весьма приблизительно измерять ее как конвертацию промышленных НИОКР в экономический рост — более чем в сорок раз ниже, чем в 1930-е годы. Рост удается поддерживать вопреки этой убывающей отдаче лишь за счет экспоненциального увеличения ресурсов и числа специалистов, занятых в сфере исследований за тот же период. Но этот тренд не может продолжаться вечно. Что касается причин столь резкого падения продуктивности исследований, общий вывод авторов совпадает с их выводом для полупроводниковой индустрии: «Идеи становится находить все труднее и труднее», — пишут они. — «Иными словами, просто для того, чтобы поддерживать постоянный рост ВВП на душу населения, Соединенным Штатам приходится удваивать объем исследовательских усилий каждые 13 лет, чтобы компенсировать возрастающую сложность поиска новых идей»81. В этом есть интуитивно понятная логика. В любой новой области всегда есть легкодоступные плоды; когда они собраны, находить новые хорошие идеи становится труднее. И по мере того как многочисленные научные революции XIX и начала XX веков уходят все дальше в прошлое, технологические плоды, которые они принесли и которые было проще всего собрать, оказываются практически полностью сорванными. Новые идеи есть. Скорее всего, они будут всегда. Но находить их и придумывать способы их применения становится все сложнее.

Новые вычислительные технологии не являются исключением из этой тенденции. Интегральные схемы подходят к пределу своих возможностей, и на горизонте нет очевидной замены, которая позволила бы курцвейловской версии закона Мура действовать и после окончания текущего десятилетия82. В 2005 году Курцвейл предсказывал, что «трехмерные молекулярные вычисления» на основе углеродных нанотрубок станут следующей парадигмой в электронике и придут на смену кремниевым чипам, когда те исчерпают свой потенциал — то есть как раз примерно сейчас. Эта технология до сих пор себя не оправдала, и вряд ли это произойдет в ближайшем будущем, если вообще произойдет. Сегодня принципиально новой вычислительной технологией, привлекающей наибольшее внимание, являются квантовые вычисления. Однако квантовые вычисления не позиционируются как замена существующим компьютерам и не способны продолжить действие закона Мура. Вместо этого потенциал квантовых вычислений заключается в их теоретической способности выполнять несколько специализированных задач значительно эффективнее и быстрее, чем обычные компьютеры, таких как криптография, молекулярное моделирование и решение определенных типов оптимизационных задач. Возможно, квантовые компьютеры и окажутся способны на впечатляющие достижения, но даже если они оправдают возложенные на них надежды, это вряд ли приведет к созданию более быстрых компьютеров в целом.

Но даже если какая-то новая технология и спасет закон Мура на некоторое время, это не означает, что Сингулярность вернется в график. Если мощность компьютеров продолжит расти по экспоненте, это вовсе не гарантирует, что интеллект запущенного на них универсального искусственного интеллекта (AGI) тоже будет расти экспоненциально. Интеллект не обязательно напрямую зависит от вычислительной мощности. «Если мы хотим определить интеллект так, чтобы он масштабировался линейно с ростом вычислительной мощности, то это будет совсем не то понимание интеллекта, на которое мы ориентируемся», — говорит Дэвид Торстад, философ из Университета Вандербильта. — «Поэтому, если интеллект должен также масштабироваться вместе со способностью прогнозировать события и действовать в реальном мире, играть в игры, проходить тесты на уровень интеллекта или делать что-либо еще, что мы стандартно определяем как интеллектуальную деятельность, он не будет расти линейно с увеличением вычислительной мощности»83. На самом деле наращивание вычислительной мощности для решения конкретных задач зачастую приносит — в который уже раз — убывающую отдачу. Исследование, проведенное в 2022 году учеными из MIT и Университета Бразилиа, показало, что экспоненциальный рост вычислительной мощности приводит лишь к линейному улучшению способности компьютеров прогнозировать погоду, решать задачи фолдинга белков, находить новые месторождения нефти на основе геологических данных, а также играть в го и шахматы84.

Интеллект — это не просто решение задач. Но до сих пор неясно, что же такое интеллект на самом деле, и тем более непонятно, как его измерять. Психологи систематически изучают интеллект уже более века; само существование некоего показателя совокупных интеллектуальных способностей, который они называют «общим интеллектом» или сокращенно g, в лучшем случае спорно. С точки зрения статистики нет никаких убедительных аргументов в пользу реального существования g. «Миф о g легитимизирует целую индустрию тестирования интеллекта и теоретизирования вокруг него», — пишет статистик Косма Шализи, называющий g «статистическим мифом». — «Чем скорее мы перестанем обращать внимание на g, тем быстрее сможем направить свои силы на понимание разума»85.

Без конкретного представления об общем интеллекте неясно, что именно должно представлять собой «взрыв интеллекта» и что значит, если один компьютер вдвое интеллектуальнее другого86. Да и само определение AGI изначально выглядит весьма шатким. Но даже если мы примем расплывчатое временное определение AGI в духе Курцвейла — что-то вроде «искусственная машина, способная делать все то же, что и обычный взрослый человек», — все равно не очевидно, что современный компьютер сможет обеспечить работу AGI. В книге «Сингулярность уже близко» Курцвейл много говорит о реверс-инжиниринге человеческого мозга: глава 4 этой книги называется «Создание программного обеспечения человеческого интеллекта: как провести реверс-инжиниринг человеческого мозга»87. По оценкам Курцвейла, компьютеру потребуется выполнять от 10¹⁴ до 10¹⁶ вычислений в секунду, «чтобы достичь функциональной эквивалентности всех областей мозга», а объем памяти человеческого мозга составляет около 10¹³ бит, то есть примерно один терабайт88. «Суперкомпьютеры сравняются с возможностями человеческого мозга к концу этого десятилетия, а персональные компьютеры достигнут этого примерно к 2020 году — или, возможно, раньше», — писал он в 2005 году89.

Но, добавил он, «мощность аппаратного обеспечения необходима, но недостаточна. Понимание организации и наполнения этих ресурсов — программного обеспечения интеллекта — имеет еще более решающее значение». Для этого, утверждал он, нам понадобятся очень детальные снимки мозга, и Курцвейл был весьма оптимистичен в отношении перспектив такого сканирования. «Наша способность проводить реверс-инжиниринг мозга — заглядывать внутрь, моделировать его и симулировать его области — растет по экспоненте», — писал он90. — «Разрешение приборов неинвазивного сканирования мозга удваивается примерно каждые двенадцать месяцев... В 2020-х годах мы сможем наблюдать за всеми ключевыми особенностями работы нейронов с очень высоким разрешением изнутри самого мозга»91. Ни один из этих прогнозов не оправдался. На самом деле максимальное разрешение неинвазивного сканирования живого человеческого мозга в 2024 году не намного лучше, чем в 2000 году, что служит очередным примером S-образной кривой логистического роста и его убывающей отдачи, а вовсе не заявленного Курцвейлом экспоненциального роста. Мы по-прежнему не способны видеть, что происходит в живом мозге на уровне отдельных синапсов или даже сотен синапсов. Подобная технология может быть разработана когда-нибудь в будущем, но нет никаких признаков того, что ее появление не за горами. Курцвейл знает об этом: в 2024 году он заявил, что усовершенствование нейрокомпьютерных интерфейсов отстает от его графика из-за соображений безопасности. Тестирование подобных систем на реальном человеческом мозге естественным образом заставляет людей беспокоиться о рисках. Однако Курцвейл не видит в этом серьезной проблемы, поскольку утверждает, что вскоре компьютеры позволят нам симулировать работу мозга достаточно хорошо, чтобы создавать устройства для сканирования мозга и интерфейсы без испытаний на живых людях92. Чего он не объяснил, так это того, как именно можно построить такие симуляции, изначально не обладая технологией сканирования мозга.

Даже если бы это было возможно, существующие компьютеры недостаточно мощны для реализации подобного плана. Персональные компьютеры, как правило, выполняют не более триллиона операций в секунду, что в сто раз меньше самой скромной оценки вычислительной мощности человеческого мозга, данной Курцвейлом. Самые быстрые из существующих сегодня суперкомпьютеров способны выполнять 10¹⁸ вычислений в секунду, что превосходит расчетный диапазон Курцвейла для «функциональной эквивалентности всех областей мозга». Однако они все еще не дотягивают до его истинного верхнего предела для симуляции человеческого мозга, который он оценивает в 10¹⁹ вычислений в секунду93. И эта оценка сама по себе вызывает сомнения. Она основана на количестве синапсов в человеческом мозге — связей между нейронами, — однако эти нейроны выполняют важные функции и внутри себя, задействуя феноменально сложные белковые структуры, лежащие в основе всей жизни. Кроме того, синапсы не производят ничего похожего на простые бинарные вычисления «вкл/выкл» цифрового компьютера; они аналоговые и принимают значения из непрерывного спектра возможностей. Более того, связи между нейронами опосредуются нейромедиаторами, которые оказывают колоссальное влияние на работу мозга (собственно, именно так действует большинство психиатрических препаратов). А еще существуют глиальные клетки, которых в мозге как минимум не меньше, чем нейронов, и которые играют собственную важную роль в его функционировании94. Вполне вероятно, что верхние границы вычислительной мощности и объема памяти мозга, установленные Курцвейлом, занижены на много порядков. Действительно, в исследовании 2008 года, соавтором которого выступил Ник Бостром, высказывалось предположение, что вычислительная мощность мозга вполне может быть в десять миллионов раз выше верхнего предела Курцвейла95. «Существует масса неизвестных неизвестных и известных неизвестных относительно того, какая именно информация вам действительно нужна от мозга, чтобы создать нечто достаточно похожее на человека» для симуляции человеческого мозга на компьютере, говорит Майкл Хендрикс, нейробиолог из Университета Макгилла. — «Синапсы отличаются друг от друга самыми разными способами, нейроны могут находиться в самых разных состояниях в зависимости от состава ионных каналов и экспрессии тех или иных генов. Это не просто какие-то типовые детальки, это совершенно разные вещи. И то, какой объем информации вам необходим, остается неизвестным, но, скорее всего, этот объем превышает все вычислительные мощности, которые наше общество произведет за многие десятилетия»96.

Если мозг обладает столь колоссальной мощностью, а закон Мура действительно подошел к концу, то компьютеры в их нынешнем виде просто непригодны для эмуляции интеллекта человеческого уровня. Для создания AGI потребовался бы принципиально иной подход. В более широком смысле, мозг, возможно, вообще не стоит рассматривать как компьютер. «Хотя я твердо верю, что мозг — это машина, является ли эта машина компьютером — совсем другой вопрос», — писал в 2008 году робототехник из MIT Родни Брукс. Он продолжил:

В прошлые века мозг считали гидродинамической машиной. Рене Декарт не мог поверить, что движущиеся жидкости способны порождать мысль, поэтому он пришел к дуализму разума и тела, настаивая на нефизической природе ментальных явлений. Когда я был ребенком, преобладало мнение, что мозг — это своего рода телефонный коммутатор. Когда я был подростком, он превратился в электронный компьютер, а позже — в массивно-параллельный цифровой компьютер. Несколько лет назад во время одного из моих выступлений кто-то спросил: «Разве мозг не устроен точно так же, как Всемирная паутина?» Мы используем эти метафоры в качестве основы для наших философских размышлений и даже позволяем им пронизывать наше понимание того, как на самом деле функционирует мозг. Ни одна из прежних метафор мозга не выдержала испытания временем, и нет никаких причин ожидать, что идея об эквивалентности работы мозга и современных цифровых вычислений окажется долговечной97.

Архитектура современных компьютеров, включающая центральный процессор, соединенный с оперативной памятью и долговременным хранилищем, совершенно не похожа на наши передовые представления о логической организации человеческого мозга. Действительно, современные научные данные указывают на то, что человеческий мозг вообще не устроен как рукотворный объект, что делает его реверс-инжиниринг чрезвычайно сложным98. «Мозг, в отличие от любой машины, никто не проектировал. Это органы, которые эволюционировали более пятисот миллионов лет, поэтому практически нет оснований ожидать, что они действительно функционируют подобно создаваемым нами машинам», — пишет зоолог и историк науки Мэтью Кобб. «Мозг — это не компьютер, но он больше похож на компьютер, чем на часы... На протяжении веков каждый новый пласт технологических метафор добавлял что-то к нашему пониманию, позволяя проводить новые эксперименты и переосмысливать старые открытия. Но крепко цепляясь за метафоры, мы в итоге ограничиваем то, о чем и как мы способны думать»99. Современные системы ИИ на базе «нейронных сетей» якобы обладают архитектурой, вдохновленной нейронами, однако они похожи на настоящий мозг не больше, чем эмодзи с дождевой тучей — на свирепый северо-восточный ураган. Мозг и компьютер работают совершенно по-разному, а потому концепции, заимствованные из компьютерных наук, как правило, неприменимы к мозгу. «Даже попытка решить такую, казалось бы, простую задачу, как расчет емкости памяти человеческого мозга, терпит крах при ближайшем рассмотрении», — пишет Кобб. «Нейроны не являются цифровыми... Каждый мозг непрерывно меняет количество и силу своих синапсов, и, что самое главное, он работает далеко не только за счет синапсов. За то, как именно функционирует мозг, отвечают также нейромодуляторы и нейрогормоны»100. И это только в мозге. Как указывали Брукс, Кобб и другие исследователи, понимание человеческого познания требует выхода за пределы мозга. «Физиологическая реальность любого мозга такова, что он взаимодействует с телом и внешней средой с самого начала своего развития», — пишет Кобб. «Животные — это не роботы, управляемые мозгом; все мы, будь то личинки или люди, являемся индивидуумами, обладающими субъектностью, а также историей индивидуального и эволюционного развития»101. В этом заключается один из главных уроков относительно новой научной дисциплины — «воплощенного познания»: мы — это не только наш мозг. Мы — это наше тело, помещенное в окружающую среду.

Если для достижения интеллекта и сознания человеческого уровня требуется нечто, обладающее мощностью человеческого мозга — наряду с неким эквивалентом связей мозга с остальным телом и внешним миром, — то до создания AGI еще очень и очень далеко. «Нет никаких оснований, за исключением нашего невежества в вопросе о том, как работает сознание, полагать, что [Сингулярность] произойдет в обозримом будущем», — пишет Кобб. «Масштаб сложности даже самого простого мозга затмевает любую машину, которую мы можем себе представить сегодня. На десятилетия — если не на века — вперед сингулярность останется уделом научной фантастики, а не науки»102. Существуют теоретические аргументы в пользу того, что AGI принципиально возможно создать на базе тех типов компьютеров, которые мы используем сегодня, при условии, что они будут достаточно мощными103. Но даже если эти аргументы верны и даже если достаточно мощный компьютер может быть построен, создание AGI на базе существующих компьютеров может оказаться теоретически возможным, но непомерно сложным на практике — особенно с учетом того, что у нас нет ни четкого теоретического понимания того, как в принципе должен работать AGI, ни детальной теории того, как мозг порождает сознание. У нас даже нет внятного определения того, что такое AGI.

Компьютер другого типа — или вообще принципиально иная машина — мог бы значительно облегчить исследования в области ИИ104. Это было бы долгожданной новостью, поскольку работа над созданием ИИ почти всегда оказывалась сложнее, чем предполагали специалисты по компьютерным и когнитивным наукам. «Каждый путь к ИИ на сегодняшний день оказывался на удивление трудным. История ИИ — это длинная череда оптимистичных прогнозов от пионеров очередного метода, за которыми неизменно следовали периоды разочарования и переоценки», — пишет Дэвид Чалмерс105. Так обстояли дела в этой области с самого начала. Летом 1956 года междисциплинарная группа исследователей собралась на восемь недель, чтобы обсудить новую область знаний, которую организатор встречи, специалист по компьютерным наукам Джон Маккарти, назвал «искусственным интеллектом». «Мы предлагаем провести двухмесячное исследование искусственного интеллекта силами десяти человек летом 1956 года в Дартмутском колледже в Хановере, штат Нью-Гэмпшир», — писали Маккарти и его соорганизаторы в заявке на грант для этого семинара, поданной годом ранее. «Будет предпринята попытка выяснить, как научить машины использовать язык, формировать абстракции и понятия, решать задачи, которые сейчас под силу только человеку, и совершенствоваться самостоятельно. Мы полагаем, что в решении одной или нескольких из этих проблем может быть достигнут существенный прогресс, если тщательно подобранная группа ученых поработает над этим вместе в течение лета». Семьдесят лет спустя у нас все еще нет ни одной компьютерной программы, способной выполнять все пункты из этого списка. В истории ИИ бывали периоды бурного роста — вроде того, что ворвался в общественное сознание в 2022 году благодаря большим язывым моделям (LLM), — и на сегодняшний день за каждым из них неизменно следовала «зима ИИ», когда прогресс замедлялся, а передовые технологии топтались на месте годами или десятилетиями в ожидании следующего прорыва. И Брукс считает, что очередная зима уже на подходе. «[LLM] идут по проторенному пути цикла хайпа, который мы наблюдали снова и снова на протяжении более чем 60-летней истории ИИ», — писал он в 2024 году. «Доставайте теплые пальто. Не исключено, что за углом нас ждет очередная зима ИИ, а возможно, и полномасштабная технологическая зима. И она будет холодной»106.

Вся эта неопределенность отражает тот факт, что мы попросту не знаем, что потребуется для создания машины, способной делать все то же, что и человек. На фоне этого неведения заявления Курцвейла об экспоненциальных трендах в будущем технологий вообще и AGI в частности выглядят чрезмерно самоуверенными. Как таковые, они несут на себе то же бремя доказательства, что и любые другие экстраординарные заявления: они требуют экстраординарных доказательств. А этих доказательств нет. Курцвейл не сумасшедший и не глупец. Он просто ошибается. Однако сегодня, спустя двадцать лет после того, как он впервые предсказал Сингулярность к 2045 году, и после стольких несбывшихся по пути прогнозов о новых технологиях — от сканеров мозга на клеточном уровне до препаратов для похудения на основе РНК, от триумфа транзисторов на углеродных нанотрубках до продолжения господства закона Мура, — Курцвейл по-прежнему считает, что Сингулярность наступит уже скоро. В марте 2024 года он заявил, что мир, по его мнению, все еще движется по графику к достижению Сингулярности в 2045 году. Позже в том же году на очередной волне хайпа вышла его новая книга под названием «Сингулярность еще ближе». И в отличие от писателя-фантаста Винджа, Курцвейл полагает, что способен приоткрыть завесу над кажущимися волшебными технологиями по ту сторону Сингулярности. «Несмотря на глубокую ограниченность нашего мышления, мы обладаем достаточными способностями к абстрагированию, чтобы делать осмысленные утверждения о природе жизни после Сингулярности», — писал он в книге «Сингулярность близко»107. В этом будущем, по его словам, мы будем жить в мире, лишенном опасностей, боли и лишений — да и практически всего остального тоже.

*    *    *

Почти за двадцать лет до выхода книги «Сингулярность близко» К. Эрик Дрекслер опубликовал собственный проект будущего. Дрекслер, исследователь из Массачусетского технологического института (MIT), приехавший туда подростком более десяти лет назад с мечтами о космосе, направил свой интеллект и воображение на мир сверхмалого108. Именно там, по его утверждению, крылась возможность преодолеть земные ограничения, которую он так искал. Вдохновленный сложной и слаженной работой белков в живых клетках, Дрекслер предсказал будущее нанотехнологических чудес в своей книге «Машины создания», вышедшей в 1986 году. Первым шагом, по его словам, должно было стать создание органических механизмов, подобных рибосомам и РНК, транслирующим генетический код ДНК. Это первое поколение наномашин затем использовалось бы для создания второго поколения механизмов — уже из «более прочного материала», например алмаза, который не требовал бы воды для работы и позволял бы осуществлять «контроль над структурой материи» вплоть до атомного уровня. «Молекулярные машины второго поколения смогут построить практически все, что только можно спроектировать», — утверждал Дрекслер109. Что крайне важно, сюда относились и новые молекулярные машины того же типа: одно устройство могло создать другое, затем каждое из них — еще по одному, далее эти четыре могли скопировать себя и так далее; неумолимая математика экспоненциального роста вела к стремительному увеличению числа наномашин, готовых построить все, о чем только способен мечтать человек.

Появление этих наномашин — или «молекулярных ассемблеров», как их окрестил Дрекслер, — по его словам, произвело бы тотальную революцию не только в производстве, но и во всех аспектах жизни и человеческой цивилизации. Ассемблеры, утверждал Дрекслер, создали бы постоянное изобилие энергии и пищи; они искоренили бы болезни и вылечили бы «болезнь под названием старение»; они сделали бы возможным создание продвинутого ИИ. И они кардинально ускорили и миниатюризировали бы любое производство, позволив производить буквально все что угодно110. Нанотехнологии, по мнению Дрекслера, были бы быстрее, дешевле и мощнее любой другой технологии в истории человечества. В труде «Наносистемы», вышедшем в 1992 году продолжении «Машин создания», он утверждал, что нанотехнологические двигатели могут выдавать триллион киловатт на кубический метр. «Трудно... осознать колоссальную первозданную мощь и потенциал настоящих нанотехнологий», — писал в 2021 году Дж. Сторрс Холл, инженер, писатель и коллега Дрекслера111. Чтобы проиллюстрировать это, Холл на основе работ Дрекслера подсчитал, сколько времени потребуется для воссоздания всех «основных фондов» Соединенных Штатов — «чтобы заново построить каждое здание, завод, шоссе, железную дорогу, мост, самолет, поезд, легковой автомобиль, грузовик и корабль», как выразился Холл, — начав всего с одного килограмма «зрелой нанотехнологии». Ответ Холла, основанный на экспоненциальном росте наномашин в стиле Дрекслера, составил одну неделю112.

Дрекслер не был первым, кто задумался о возможности создания столь малых машин. Физик Ричард Фейнман выступил с докладом на эту тему в 1959 году, а несколько лет спустя Марвин Минский написал об этом в одном из эссе для сборника «Ученый размышляет». Но Дрекслер стал первым, кто представил детальную картину того, что подобные наноботы могут дать для расширения человеческих возможностей. Его видение безграничных технологий породило лавину мечтаний и желаний. Холл утверждал, что нанотехнологии обеспечат «бессмертие в пике физического здоровья» и дадут энергию летающим автомобилям, наряду с множеством других ретрофутуристических фантазий прямиком из мультсериала «Джетсоны»113. Дрекслер писал в «Машинах создания», что нанотехнологии сделают крионику — криогенную заморозку и оживление недавно умерших — реально осуществимой технологией; он даже записался на криосохранение на случай собственной смерти. Дрекслер также писал, что нанотехнологии сделают космические путешествия гораздо более простыми, быстрыми и комфортными. Неудивительно, что зарождающееся трансгуманистическое движение и другие футуристы 1980-х годов ухватились за идеи Дрекслера. Экстропианцы в 1990-х годах часто обсуждали нанотехнологии в своей почтовой рассылке, причем сам Дрекслер иногда участвовал в этих дискуссиях онлайн, а изредка и лично на экстропианских конференциях. «Я согласен с большинством идей экстропианцев, — говорил Дрекслер. — В целом это устремленная в будущее, смелая группа людей, которые размышляют о важных вопросах технологии и человеческой жизни и пытаются подходить к этому этично. Это здорово и поразительно редко встречается»114.

В трудах Дрекслера Курцвейл увидел средство для переустройства не только Земли, но и всей Вселенной. «Нанотехнологии обещают инструменты для перестройки физического мира — включая наши тела и мозг — молекулярный фрагмент за молекулярным фрагментом, а в перспективе и атом за атомом», — пишет он115. Атомы имеют размер в среднем около двух десятых нанометра в поперечнике; это восемь миллиардных долей дюйма и одна пятимиллионная доля миллиметра, что в полмиллиона раз меньше толщины листа бумаги. В чайной ложке сахара с горкой содержится 10²⁴ атомов; на Земле и внутри нее — около 10⁵⁰. Во всей Вселенной насчитывается примерно 10⁸⁰ атомов — единица с восемьюдесятью нулями после нее.

Курцвейл хочет использовать все эти атомы — или почти все — для создания компьютеров. «Закон ускоряющейся отдачи будет действовать до тех пор, пока небиологический интеллект почти полностью не „насытит“ материю и энергию в нашей части Вселенной нашим человеко-машинным интеллектом, — пишет он. — Под насыщением я подразумеваю оптимальное использование паттернов материи и энергии для вычислений, основанное на нашем понимании физики вычислений»116. Он представляет себе нанотехнологии галактического масштаба, когда флотилии наномашин переписывают структуру чужих планетных систем, заполняя их звезды и планеты электронными схемами. «Мы могли бы отправить рои из многих триллионов наномашин, причем некоторые из этих „семян“ пустили бы корни в другой планетной системе, а затем размножились, найдя подходящие материалы, такие как углерод и другие необходимые элементы, и создав копии самих себя», — пишет Курцвейл117. Каждая «колония наноботов», в свою очередь, порождала бы новые флотилии наноботов, пока вся доступная часть Вселенной не окажется заполненной, что превратит космос в один гигантский компьютер. Как только это будет достигнуто, по оценкам Курцвейла, получившийся вселенский суперкомпьютер сможет выполнять около 10⁹⁰ вычислений в секунду и хранить сопоставимое количество битов118. Вся эта вычислительная мощность и память будут предназначены не только для наших ИИ, утверждает Курцвейл; они пригодятся и нам самим, как только мы сольемся с нашими машинами. Машины будут становиться экспоненциально мощнее, в то время как наши биологические мозги останутся прежними, а значит, все большая часть нашего мышления будет происходить на машинах, пока мы сами практически полностью не превратимся в машины, живущие внутри компьютера, который заменил собой Вселенную119. Либо наноботы просто отсканируют наш мозг и загрузят детали состояний нашего мозга в компьютер, позволяя копиям нас самих вести чисто цифровую жизнь120.

Если мы сольемся с нашими машинами или превратимся в цифровые копии, то флотилии наномашин, строящие компьютерные схемы из всех доступных атомов, превратят все звезды и планеты, все галактики и туманности, каждый камень и пылинку вокруг далекой звезды в элементы наших новых синтетических мозгов. Именно тогда, по словам Курцвейла, «Вселенная проснется»: «„Немая“ материя и механизмы Вселенной трансформируются в изысканно возвышенные формы интеллекта», — пишет он121. Для Курцвейла это неизбежный, универсальный процесс, который произойдет с любой цивилизацией, здесь или где-либо еще в космосе. «Как только на планете появляется вид, создающий технологии, и этот вид изобретает вычисления (как это произошло у нас), проходит всего несколько веков, прежде чем его интеллект насытит материю и энергию в своих окрестностях и начнет расширяться вовне со скоростью, по меньшей мере равной скорости света, — пишет он. — Такая цивилизация затем преодолеет гравитацию (благодаря изысканным и масштабным технологиям) и другие космологические силы — или, если быть предельно точным, будет маневрировать этими силами и управлять ими — и спроектирует ту Вселенную, которую пожелает. В этом и заключается цель Сингулярности»122.

Курцвейл утверждает, что эта цель настолько универсальна, что на ее основе делает еще один удивительный вывод. «Вероятно, мы одни во Вселенной... Исходя из закона ускоряющейся отдачи, как только ВР [внеземной разум] достигает примитивных механических технологий, проходит всего несколько столетий, прежде чем он обретет те колоссальные возможности, которые я спрогнозировал для двадцать второго века здесь, на Земле». И если бы какая-то инопланетная цивилизация уже сделала это, пишет он, «не заметить это было бы трудно»123.

Утверждение Курцвейла о неизбежности звучит поразительно безапелляционно, учитывая, что его вселенский план опирается на абсолютно недоказанные технологии. Все это — от детального сканирования мозга и компьютеров, достаточно мощных для его эмуляции, до самих нанотехнологий — носит крайне умозрительный характер, без каких-либо существующих доказательств концепции или хотя бы правдоподобных схем. «Никто не знает, что именно нужно сделать в компьютере, чтобы создать нечто, способное чувствовать. Никто не знает, какая степень детализации или зернистости необходима для симуляции, — говорит мне Хендрикс. — И нельзя просто симулировать мозг. Придется симулировать все тело, само ощущение воплощенности в мире. Придется симулировать весь мир. Все это отнюдь не тривиально. А [трансгуманисты] ответят: „Конечно, это не тривиально“. Они просто заявят: „Нет никаких причин, мешающих нам сделать это, если мы приложим достаточно усилий“. Но мир устроен иначе!» И, добавляет он, приближение к успеху может оказаться еще хуже. «Риски метода проб и ошибок здесь просто ужасающие. Допустим, мы начнем приближаться к созданию в компьютере чувствующей модели человеческого мозга... Если у вас возникнет малейшее расхождение между информацией, которую вашему мозгу передают глаза и которую передают уши, это уже ужасное ощущение. Это похоже на морскую болезнь, тошноту или разные виды боли. Получается, мы обещаем создать в компьютерах тысячи или миллионы чувствующих существ, которые, скорее всего, будут страшно мучиться, а потом их просто выключат. То есть можно представить себе этот по-настоящему жуткий процесс создания — если вообразить, что мы на это способны — чувствующих сущностей в компьютерах. Ошибиться можно во множестве вещей. И последствия этих ошибок ужасны»124.

Однако здесь кроется еще более глубокая проблема. Отложим в сторону адские пытки неправильно загруженного мозга, а также тернистые философские вопросы о том, будет ли цифровая копия действительно вами. Отложим даже вопросы о том, как именно будут осуществляться путешествия на световые годы от звезды к звезде или от галактики к галактике без технологий, сошедших прямиком с борта звездолета «Энтерпрайз». В идее Курцвейла об «оживлении Вселенной» все равно остается серьезный изъян: это эвфемизм для тотального уничтожения. Это стало бы концом природы, колониализмом вселенского масштаба, когда планеты и звезды целых галактик будут перемолоты, чтобы обеспечить больше вычислительной мощности для цифровых остатков человечества. Отсюда и настойчивое утверждение Курцвейла о маловероятности существования инопланетной жизни: это заверение в том, что Вселенная ждет, когда мы придем и возьмем ее, и беспокоиться больше не о ком.

Подобный ход мыслей морально отвратителен, не говоря уже о том, что он научно несостоятелен. Не существует надежного способа оценить распространенность внеземной жизни с той степенью точности, на которую претендует Курцвейл. (И выглядит весьма удобным, что Курцвейл настроен столь оптимистично в отношении стольких гипотетических возможностей, за исключением перспективы существования инопланетной жизни.) Даже если не принимать во внимание бедственное положение гипотетических пришельцев, остается вопрос: имеем ли мы моральное право уничтожить буквально всю природу — и кто такие эти «мы», принимающие подобное решение в таком сценарии? Ответом на первый вопрос должно быть решительное «нет»: превращение всего во Вселенной в гигантский компьютер — это чудовищно по своей сути. Курцвейл пытается сгладить эти опасения, предполагая, что мы могли бы сохранить большую часть Вселенной. «Нам не нужно планировать посвятить всю массу и энергию Вселенной вычислениям, — пишет он. — Если бы мы использовали всего 0,01 процента, это оставило бы 99,99 процента массы и энергии нетронутыми, но все равно дало бы потенциал около 10⁸⁶ [вычислений в секунду]... Интеллект, хотя бы приближающийся к этим уровням, будет настолько колоссален, что сможет выполнять эти инженерные подвиги с достаточной осторожностью, чтобы не нарушить любые природные процессы, сохранение которых он сочтет важным»125. Тем не менее он так много рассуждает о «насыщении материи и энергии» Вселенной для «оптимальной вычислительной эффективности», о неумолимой силе закона ускоряющейся отдачи — и о способности виртуальной реальности на базе нанотехнологий предоставлять будущим сверхинтеллектам идеальные симуляции всего, чего они только пожелают, — что любые подобные жесты в сторону умеренности трудно воспринимать всерьез.

К счастью для тех, кому не по душе идея уничтожения Вселенной ради ее превращения в гигантский компьютер, этические соображения — не единственная преграда на этом пути. Перспективы молекулярных нанотехнологий в том виде, в каком их представляют Курцвейл, Дрекслер и Холл, весьма призрачны. Действительно, наши тела, как и тела всех живых существ, наполнены органическими наноразмерными молекулами, которые слаженно работают для выполнения конкретных задач — причем в большинстве случаев весьма надежно: будь то выращивание волос и ногтей, заживление поврежденного участка кожи или сросшейся кости, либо феноменально сложный процесс превращения участка генетического кода ДНК в белок. Верно и то, что за последние три десятилетия некоторые ученые научились приспосабливать эти молекулярные механизмы для новых целей — например, создавая крошечные «шагающие» молекулы на основе ДНК, — а другие черпали вдохновение в природных молекулярных машинах для создания собственных, новых устройств. Но эти достижения не имеют ничего общего с той нанотехнологией, которую имеет в виду Курцвейл, когда рассуждает о «переносе изменчивых свойств виртуальной реальности в реальный мир», о миллиардах наноботов в нашем кровотоке, обращающих вспять процессы старения, или об «оживлении» Вселенной путем ее уничтожения126.

Дрекслер черпал вдохновение в молекулярной биологии, но у биологии есть свои пределы. «Биология изумительна [sic] в огромном разнообразии того, что она способна создать, но она не может вырастить кристалл кремния или произвести сталь, медь, алюминий, титан — практически любой из ключевых материалов, на которых зиждется современная технология, — писал химик Ричард Смолли. — Как без таких материалов самореплицирующийся нанобот [Дрекслера] сможет создать радио, лазер, сверхбыструю память или практически любой другой ключевой компонент современного технологического общества, состоящий не из камня, дерева, плоти и костей?»127 Смолли, большую часть своей карьеры проработавший профессором в Университете Райса, был ключевым участником команды, открывшей бакминстерфуллерен — так называемые «бакиболы», представляющие собой шестьдесят атомов углерода, уложенных в форму футбольного мяча диаметром около нанометра. Эта работа принесла ему и двум его коллегам Нобелевскую премию по химии в 1996 году. Смолли был «очарован» книгой Дрекслера «Машины творения». «Ее чтение стало тем самым триггером, с которого началось мое собственное путешествие в мир нанотехнологий», — писал он позже. Но он был крайне скептически настроен по отношению к тому, смогут ли идеи Дрекслера работать на практике. Смолли выступал с докладами и публиковал статьи с критикой идей Дрекслера, что вылилось в письменную дискуссию между ними на страницах журнала Chemical & Engineering News в 2003 году. Отвечая Смолли, Дрекслер утверждал, что возможно производить «все продукты органического синтеза, а также металлы, полупроводники, алмазы и нанотрубки», используя «компьютеры для цифрового высокоточного контроля, конвейеры для транспортировки деталей и позиционирующие устройства различных размеров для сборки мелких деталей в более крупные», запуская химические реакции путем размещения соответствующих атомов в непосредственной близости друг от друга. Смолли это не впечатлило. «Нет, вы не понимаете, — возразил он. — Точно так же, как нельзя заставить юношу и девушку влюбиться друг в друга, просто столкнув их вместе, невозможно заставить протекать точную химическую реакцию между двумя молекулярными объектами с помощью простого механического движения... Я изложил вам причины, по которым подобный ассемблер не может быть построен и не будет работать на основе предлагаемых вами принципов. Я считаю, что ваша неспособность предложить рабочую стратегию указывает на то, что вы косвенно согласны — даже если открыто это отрицаете, — что идея нежизнеспособна»128.

Смолли, возможно, ошибался, считая, будто Дрекслер втайне с ним согласен, однако он был совершенно прав в том, что Дрекслер так и не представил сколько-нибудь полного объяснения, как могут быть построены подобные системы. «Рефлекторной реакцией Дрекслера и его последователей на любую критику... было отсылать критика к главному труду Дрекслера, «Наносистемы: молекулярные машины, производство и вычисления», будто бы там можно найти исчерпывающий ответ на все вопросы», — пишет биохимик и научный журналист Стивен Эдвардс. Книга «Наносистемы» была адаптирована на основе междисциплинарной докторской диссертации Дрекслера в Медиа-лаборатории Массачусетского технологического института (MIT), научным руководителем которой выступал Минский. «Наносистемы» были гораздо более технической книгой, чем «Машины», однако и в ней не объяснялось, как воплотить в жизнь дрекслеровское видение нанотехнологий. «Нигде в «Наносистемах» вы не найдете чертежа молекулярного ассемблера, — пишет Эдвардс. — Там полно эскизов „молекулярных“ шестеренок, подшипников, храповиков, манипуляторов и тому подобного. Диаграммы молекулярных объектов Дрекслера выглядят точь-в-точь как инженерные чертежи макрообъектов, за исключением тех мест, где указан масштаб»129.

В этом отражалась общая философия нанотехнологий Дрекслера. «Хотя видение нанотехнологий Фейнманом навеяно биологией, — писал он в ответ Смолли, — в своей основе оно механистично, а не биологично. Концепции молекулярного производства следуют по этому пути»130. Но именно здесь и кроется загвоздка: мир наноразмеров фундаментально отличается от нашего. На этом уровне колоссальную роль играет тепловые флуктуации, а также проявляются квантовые эффекты. Отдельные молекулы таких веществ, как вода или углерод, обладают совершенно иными свойствами, нежели их макроскопические агрегаты, к которым мы привыкли в повседневной жизни, а потому машины, возможные на этом уровне, — это отнюдь не шестеренки, храповики и манипуляторы современных промышленных заводов. «Сама идея экстраполяции макроскопического мира — автомобиля, велосипеда или чего-то подобного — на фундаментальные принципы построения искусственных молекулярных машин попросту лишена смысла, — говорит мне химик Фрейзер Стоддарт. — Это никогда не сработает». Стоддарт — один из ведущих ныне живущих экспертов по искусственным молекулярным машинам; в 2016 году он разделил Нобелевскую премию по химии за работу над ними. «Я думаю, это основополагающий принцип для всей области молекулярных машин: они представляют собой совершенно иной мир, отличный от всех тех механизмов и двигателей, что возникли в результате первой промышленной революции, — говорит он. — Их применимость к искусственным молекулярным машинам буквально равна нулю, это ничто... В проектировании и синтезе искусственных молекулярных машин в конечном счете используется сочетание физики и химии»131.

Главный интерес Стоддарта в этой области — заниматься настоящей наукой, или, как он выражается, «исследовать и играть». Тем не менее он согласен с тем, что практическое применение искусственных молекулярных машин открывает огромные перспективы, особенно в медицине и электронике. «Я не хочу выливать на это ушат холодной воды, — говорит он. — Думаю, со временем... врачи будут использовать искусственные молекулярные машины точно так же, как сегодня они — что само по себе поразительно — справляются с протезированием тазобедренных суставов и заменой сердечных клапанов»132. Но подобный мир вовсе не будет похож на картину, которую рисовал себе Дрекслер с его «алмазоподобными» саморепликаторами, создающими буквально все материалы современной промышленности, и уж тем более он не сулил бы бессмертия, которого так жаждут они с Курцвейлом.

Вопреки всему этому, Курцвейл считает, что в дебатах 2003 года победил Дрекслер, а не Смолли. «Аргумент Смолли сводится к формуле: „Сегодня у нас нет X, следовательно, X невозможен“», — пишет Курцвейл133. Двадцать лет назад он уверенно предсказывал, что нанотехнологии в стиле Дрекслера появятся примерно сейчас, и делал смелые заявления о том, что они смогут для нас сделать. «В 2020-х годах производственные устройства на базе нанотехнологий будут способны создавать практически любой физический продукт из недорогого сырья и информации», — писал он в книге «Сингулярность уже близко»134. «Молекулярная сборка предоставит инструменты для эффективной борьбы с бедностью, очистки окружающей среды, победы над болезнями, продления человеческой жизни и многих других благородных начинаний»135. Он также утверждал, что нанотехнологии дадут нам сканирование мозга высокого разрешения и виртуальную реальность, которая будет «неотличима от настоящей реальности и задействует все органы чувств, а также нейрофизиологические корреляты наших эмоций»136.

Сегодня, на фоне этих несбывшихся прогнозов, Курцвейл по-прежнему заявляет, что нанотехнологии дрекслеровского типа обязательно станут реальностью. «Например, мы уже показали, что с помощью нанотехнологий можем создать однолитровый компьютер, который фактически сравнится со всей суммарной мощностью [мозга] людей на сегодняшний день», — сказал он в 2024 году. «[Десять миллиардов] человек поместятся в однолитровом компьютере»137. Ничего подобного продемонстрировано не было; существует лишь набросок, согласно которому это могло бы стать возможным при использовании нанотехнологий Дрекслера и других недоказанных и маловероятных технологий. И все же Курцвейл продолжает настаивать, что нанотехнологии и нейрокомпьютерные интерфейсы, которые, по его словам, жизненно необходимы для наступления Сингулярности, уже не за горами. «К моменту наступления Сингулярности, то есть к 2045 году... можно будет буквально проникнуть внутрь мозга и считать все, что там есть, — говорил он в 2024 году. — Так что даже если вы погибнете — подорветесь на бомбе, например, — к 2045 году мы сможем полностью воссоздать все, что было в вашем мозгу. Это одно из следствий Сингулярности... Мы все обретем фантастическое могущество по сравнению с тем, что имеем сегодня»138.

То, как Курцвейл и его единомышленники-сингуляристы рассуждают о грядущих технологиях, заставляет думать, будто они играют в видеоигру вроде Civilization, где перед ними четко разложено древо технологий, и человечество (или вообще любой разумный вид) просто прокладывает себе путь по этой заранее заданной схеме. Но развитие технологий — это не поезд на рельсах, несущийся по заданному курсу вне чьего-либо контроля. Закон Мура — это не закон природы, это было решение139. Это решение приняли руководители компьютерной индустрии, и следование ему требовало (и по-прежнему требует) тщательного планирования, а также колоссальных объемов денег, ресурсов и человеческого внимания. Законы физики и других наук очерчивают границы возможного спектра технологий, однако конкретные технологии, которые человечество создает в этих границах, определяются нашим выбором и социальными факторами. Тем не менее Курцвейл и иже с ним зачастую рассуждают о технологиях так, словно это неумолимая, безличная сила, обладающая собственными желаниями и движущаяся по пути, не имеющему абсолютно никакого отношения к коллективному выбору человечества. Это сквозит во всех заявлениях Курцвейла о Сингулярности: у нас будут нанотехнологии, мы наполним Вселенную своим разумом, вместо того чтобы говорить «мы можем» или «мы могли бы сделать такой выбор».

Подобная риторика неизбежности преследует несколько весьма удобных целей140. Людям, воплощающим свои идеи в технологии, она предлагает отпущение грехов за любые неприятные и непредвиденные последствия их изобретений — ведь они лишь открывали уже существующий вектор технологического развития, а не направляли его сами. Когда нет места человеческому выбору, не остается места и для моральной ответственности. И если будущее технологий действительно стоит на рельсах, то многое можно открыть, просто внимательно изучив этот якобы неизбежный маршрут — маршрут, ведущий прямиком к Сингулярности. Это обещает не только точное предсказание будущего (и сопутствующее ему ощущение контроля), но и, что гораздо важнее, бесконечную жизнь в будущем, наполненном трансцендентностью и контролем, которые так характерны для идеологии технологического спасения. С концом природы и пришествием Вселенной, представляющей собой один огромный искусственный компьютер — где мы живем в еще более искусственных мирах, генерируемых этими компьютерами, — обещание контроля становится абсолютным, особенно для тех, кто умеет управлять компьютерами. Это фантазия о мире, где единственной важнейшей вещью, буквально определяющей все аспекты реальности, является компьютерное программирование. Все человечество, запущенное на компьютере, до скончания веков.

Давайте на мгновение задумаемся, на что это было бы похоже. По всей видимости, существовал бы некий симулированный мир, похожий на настоящий — то есть в чем-то схожий с нашим собственным. Человеческому разуму потребовалось бы по меньшей мере подобие природы, и предоставить его загруженному в машину сознанию было бы достаточно просто при наличии всех этих объемов памяти и вычислительной мощности. В нем не осталось бы первозданной, нечеловеческой самобытности природы, но была бы предпринята попытка воссоздать ее, чтобы получить комфортную среду обитания для загруженных людей. Все это, конечно, фантастика, но когда Курцвейла и других просят описать, какой будет жизнь загруженного разума после Сингулярности, они отвечают именно в таком ключе. Они описывают нечто, до боли напоминающее метавселенную сверхвысокого разрешения, которую невозможно покинуть, — перманентную виртуальную реальность, обладающую некоторыми базовыми чертами нашего реального мира, либо же сам реальный мир, разрушенный и перекроенный так, чтобы больше походить на иммерсивную компьютерную игру. Для сингуляристов самое большое и принципиальное отличие, к которому они постоянно возвращаются в своих описаниях, — это победа над смертью. Труды Курцвейла — лишь очередная глава в летописи древнейшей фантазии человечества. Даже если бы личное бессмертие оказалось технологически достижимым, в конечном итоге космология наложила бы ограничения на срок существования физических структур, однако Курцвейл не признает и этих лимитов. Он назвал преодоление космологических сил «целью Сингулярности», и в этом действительно кроется суть всего его замысла. Уничтожение природы здесь вторично. Задача состоит в том, чтобы укротить Вселенную, превратив ее в безопасную игровую площадку с мягкими стенами. Закатывание в асфальт любого рая — лишь побочный эффект строительства вселенской парковки, где больше никогда не случится ничего плохого. Никто бы не старел, никто бы не болел и — пожалуй, самое главное — ни у кого бы не умирал отец.

*    *    *

«Мы собрали все, что написал мой отец — он умер, когда мне было 22 года, так что его нет в живых уже более полувека, — и загрузили это в большую языковую модель», — рассказывал Курцвейл в 2024 году. «И тогда вы могли поговорить с ним: вы что-то говорите, а модель прочесывает все им написанное и находит наиболее подходящий ответ, который он действительно когда-то дал на этот вопрос. И это действительно было очень похоже на беседу с ним. Вы могли спросить его, что ему нравится в музыке — он ведь был музыкантом. На самом деле больше всего он любил Брамса. И это было поразительно похоже на разговор с ним»141. В очерке журнала Rolling Stone за 2023 год — продолжении публикации четырнадцатилетней давности — Курцвейл раскрыл некоторые подробности того диалога: «[Курцвейл] спросил у своего "папа-бота", как он его называет, что тот больше всего любит в музыке ("Связь с человеческими чувствами"), в садоводстве ("Это работа, которая никогда не заканчивается") и каковы его тревоги ("Часто кошмарные"). "В чем смысл жизни?" — в конце концов написал он своему папа-боту. "Любовь", — ответил папа-бот»142. Эти ответы выглядят скорее как стандартные реплики среднестатистической версии ChatGPT, нежели как разговор профессионального музыканта со своим взрослым сыном. Но Курцвейл полон оптимизма и верит, что его «папа-бот» тоже будет совершенствоваться. «Думаю, двигаясь дальше, мы сможем сделать общение более интерактивным и точным, так чтобы оно действительно соответствовало личности человека, имитировало его жесты, мимику и так далее, [а также его] тембр голоса, — говорит он. — Компьютеры сделают все еще лучше. Ведь то, что можно делать сейчас с помощью большой языковой модели, еще два года назад было невозможно»143.

Попытка Курцвейла воскресить отца кажется пронзительно наивной. Это также яркая иллюстрация того, как уверенность Курцвейла в непрерывном росте технологической мощи — строго по его графику — сопровождается панглоссовской убежденностью, будто новые технологии, особенно компьютерные, всегда ведут к лучшему. Он, безусловно, признает существование технологических угроз — к примеру, ядерного оружия или определенных способов применения нанотехнологий, — но решение видит в создании еще более совершенных технологий для выявления этих угроз и противодействия им. «Да, опасности существуют, но и компьютеры станут умнее, чтобы избегать подобных угроз», — заявляет он144. Что же касается самих сверхразумных компьютеров эпохи после Сингулярности, он уверен, что они будут относиться к нам хорошо, независимо от того, сольемся мы с ними или нет. «Я ожидаю, что разум, который родится в результате Сингулярности, будет с глубоким уважением относиться к своему биологическому наследию», — пишет он145. В этом отражается очевидное уважение и любовь самого Курцвейла к своему покойному отцу.

Однако далеко не все дети испытывают подобные чувства к своим родителям. Несмотря на множество сомнительных утверждений Курцвейла, именно это — идея о том, что сверхразумный ОИИ будет относиться к людям с уважением, — сегодня вызывает больше всего споров среди его интеллектуальных преемников. Элиезер Юдковский и его последователи согласны с Курцвейлом в том, что грядет нечто грандиозное. Но вместо Сингулярности они боятся, что к нам с экспоненциальной скоростью бредет куда более свирепый зверь.

Сноска

Элиезер Юдковский считает, что вас, скорее всего, убьют. Но, по его словам, ничего личного. «Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого погибнет каждый представитель человеческого вида и вся биологическая жизнь на Земле», — пишет он.1 «Проигрыш в конфликте с высокомощной когнитивной системой выглядит по меньшей мере столь же фатальным, как если бы „все на поверхности Земли внезапно упали замертво в одну и ту же секунду“».2

Основанный в Беркли Научно-исследовательский институт машинного интеллекта Юдковского изучает способы не дать будущему сверхразумному ИИ стать опасным, хотя в последние годы он больше сосредоточился на пропаганде против разработки продвинутых систем ИИ, дабы те не уничтожили всех нас. Юдковский пишет на эти темы чрезвычайно продуктивно уже более двадцати лет; из его трудов выросла целая область исследований, известная как «безопасность ИИ». Несмотря на его относительно скромную публичную известность, идеи Юдковского оказывают глубокое влияние. За множеством руководителей технологических компаний и экспертов по ИИ, которые в последние годы раздают интервью журналам и выступают перед правительственными комиссиями с заявлениями о том, что AGI может стереть наш вид с лица земли, тянется след из цитат в технических докладах, неизбежно ведущий назад к Юдковскому. Юдковский и его институт — «передовые идейные лидеры тех людей, кто продвигал AGI последние 20 лет», — говорит влиятельный технологический венчурный капиталист Питер Тиль. «[Они] весьма важны во всей экосистеме Кремниевой долины».3 «Элиезер, по моему мнению, сделал для ускорения создания AGI больше, чем кто-либо другой», — писал Сэм Альтман в 2023 году. «Конечно, он заинтересовал многих из нас идеей AGI, помог DeepMind получить финансирование в то время, когда AGI находился далеко за пределами окна Овертона, сыграл решающую роль в решении запустить OpenAI и так далее».4 Позже в том же году Альтман изменил описание своего профиля в Твиттере на: «аккаунт фанфиков про элиезера юдковского».5

В заявлении Альтмана кроется изрядная доля иронии: Юдковский вовсе не хочет ускорять создание AGI. Он был бы счастлив увидеть появление безопасного AGI, но убежден, что никто не знает, как сделать его безопасным. «Для AGI нет пожарной тревоги», — пишет он. «Перед самым концом никогда не наступит момент, когда вы сможете нервно оглядеться по сторонам, увидеть, что теперь уже всем очевидно: о скором появлении AGI можно говорить открыто, — и спокойно, без боязни показаться глупым или испуганным, выйти из здания».6 Он не утверждает, что AGI непременно появится со дня на день; он просто думает, что это возможно, и одного этого уже достаточно.7 «Я бы предостерег людей от ошибки думать, будто если они чего-то не знают, то это событие непременно произойдет еще нескоро», — говорит он мне. По его наиболее точной оценке, «нас отделяет от конца света от нуля до двух технологических прорывов масштаба трансформеров [архитектуры, лежащей в основе ChatGPT]».8 Борьба против этого апокалиптического сверхразума была бы подобна «попытке XI века воевать против XXI века [или] австралопитека — бороться с Homo sapiens. Чтобы представить себе враждебный сверхчеловеческий ИИ, не воображайте безжизненного кабинетного эрудита, который обитает в недрах интернета и рассылает злонамеренные письма», — пишет он. «Представьте себе целую инопланетную цивилизацию, думающую в миллионы раз быстрее людей, изначально запертую в компьютерах — в мире существ, которые, с её точки зрения, очень глупы и очень медлительны».9

Проблема, с точки зрения Юдковского, заключается в том, что сверхразумный ИИ вряд ли захочет того же, чего хотим мы. Отсюда его беспокойство по поводу проблемы выравнивания ИИ: поиска способа гарантировать, что любой будущий AGI разделит человеческие ценности и цели, включая такие базовые, как отказ от уничтожения человечества и разрушения мира. Самое важное, что мы можем сделать как вид, утверждает Юдковский, — это приостановить все остальные исследования в области ИИ, пока не будет решена проблема выравнивания ИИ, дабы кто-нибудь случайно не создал сверхразумный AGI и не устроил Армагеддон. «Мы не готовы. Мы не движемся к тому, чтобы подготовиться в какие-либо разумные сроки», — писал он в 2023 году. «Плана нет. Прогресс в возможностях ИИ значительно, значительно опережает прогресс в выравнивании ИИ или даже прогресс в понимании того, что, черт возьми, происходит внутри этих систем. Если мы действительно сделаем это, мы все умрем».10

*    *    *

На первый взгляд опасения Юдковского кажутся карикатурными. И в каком-то смысле Юдковский с этим согласен. Он считает, что реальный сценарий нашего конца будет меньше напоминать Терминатора и больше — Уолта Диснея. «[В] „Ученике чародея“… Микки Маус ловко заколдовал метлу, чтобы она наполняла котел вместо него», — говорит он. Метла наполняет котел, а затем продолжает работу, подливая воду даже после того, как котел переполняется, а мастерскую начинает затапливать. Когда Микки пытается остановить метлу, рассказывает Юдковский, «оказывается, что в рамках своей цели по наполнению котла… она создала несколько собственных копий из материалов, лучшим применением для которых сочла именно наполнение котла. И вот у нас становится всё больше и больше метел, переполняющих этот котел».11

Ник Бостром, вдохновленный опасениями Юдковского, в 2003 году разработал мысленный эксперимент, чтобы показать, как это может произойти в мире, где существует сверхразумный ИИ, но нет четкого решения проблемы выравнивания ИИ.12 «Предположим, однажды мы создаем сверхразум и просим его сделать как можно больше канцелярских скрепок», — говорил он. «Возможно, мы построили его для управления нашей фабрикой скрепок». Инженеры, создавшие AGI, могут даже не осознавать, что успешно создали AGI, но, так или иначе, возникает проблема. «Если мы попытаемся до конца продумать, что на самом деле означало бы переустроить Вселенную таким образом, чтобы максимизировать количество существующих скрепок, то поймем, что у такого ИИ возникнут стимулы — инструментальные причины — причинить вред людям».13

В таком сценарии вскоре после того, как «скрепочный» ИИ принимается за поиск способов производить больше скрепок, он понимает, что более высокий интеллект облегчит эту задачу, позволяя ему рассуждать быстрее и находить более изобретательные решения. И тогда ИИ начинает работать над увеличением собственной мощности, получая доступ к другим компьютерам и подключаясь к ним, стремительно превращаясь в суперкомпьютер и повышая собственный интеллект на много порядков. Как и следовало ожидать, это позволяет ему находить новые и более эффективные решения задачи по производству скрепок, и вскоре он изобретает новый метод быстрого превращения камней в скрепки, а также сопутствующий метод создания компьютерных чипов из органических материалов. Затем ИИ начинает претворять в жизнь оба эти плана, штампуя огромное количество скрепок и одновременно еще сильнее развивая собственный интеллект для обеспечения успеха этого замысла — в кошмарном переложении концепции интеллектуального взрыва Гуда.

Что крайне важно, всё это может произойти очень быстро. По словам Бострома, вероятные временные рамки интеллектуального взрыва могут исчисляться «минутами, часами или днями». «Сценарии быстрого взлета оставляют людям крайне мало времени на раздумья, — пишет он. — Никто может даже не заметить ничего необычного, а игра уже будет проиграна».14 Таким образом, программисты-люди, создавшие скрепочный ИИ, могут вечером уйти домой, а на следующее утро обнаружить, что штаб-квартиру их корпорации разбирают на части и перерабатывают в канцелярские скрепки и компьютерные чипы. Они пытаются остановить свое детище, но уже слишком поздно. ИИ уже гораздо умнее любого человека и способен безошибочно прогнозировать любое человеческое поведение. Понимая, что люди попытаются его отключить — что он расценил бы как собственную смерть, — скрепочный ИИ решает, что лучший способ гарантировать максимальное производство скрепок — это уничтожить человечество, чтобы мы не могли ему помешать. Как отмечает Бостром, «человеческие тела состоят из множества атомов, и их можно использовать для изготовления новых скрепок».15 ИИ перехитряет людей, пытающихся его остановить — отговаривает их от их планов с помощью сокрушительной сверхразумной логики, натравливает друг на друга или просто подавляет грубой силой, — а затем обрушивает на Землю и ее обитателей флот наноботов-строителей. Менее чем через тридцать шесть часов после первого включения ИИ все люди на Земле мертвы, как и вся прочая животная и растительная жизнь — все они разобраны на части для создания скрепок и компьютерных чипов — все это делает ИИ в рамках своей непрекращающейся миссии. Фактически разрушается и сама Земля: ее силикатная кора превращается в вычислительные мощности для ИИ и еще более многочисленного флота наноботов, а ее железное ядро вытягивается в проволоку, которую боты усердно режут и сгибают, превращая в столь ценные для ИИ канцелярские принадлежности. Еще один флот наноботов берет курс на Марс, а дальше его ждет главный приз — Юпитер. За сто миллиардов лет вся доступная Вселенная превратится в скрепки.

Избежать подобного исхода, по словам Бострома, сложнее, чем кажется. «Если вы запрограммируете сверхразумную машину практически на любую цель, какую только можно вообразить, большинство из них окажутся несовместимыми с выживанием и процветанием человеческой цивилизации», — говорит он.16 По мнению Юдковского, Бострома и других исследователей выравнивания ИИ, сценарий со скрепочным ИИ — который начинается без предупреждения, с кажущейся безобидной, изолированной программы, а спустя совсем немного времени заканчивается уничтожением Земли — является следствием нескольких очень простых и трудноопровержимых предпосылок. Главная из них заключается в том, что мотивы и цели разумного существа (например, человека или ИИ) напрямую не зависят от уровня его интеллекта. Не имеет особого значения, насколько вы умны — вы хотите того, чего хотите. Бостром называет это «тезисом ортогональности». «Практически любой уровень интеллекта может сочетаться практически с любой конечной целью, — пишет Бостром. — Легко представить себе искусственный интеллект, чья единственная фундаментальная цель — пересчитать песчинки на Боракае или бесконечно вычислять знаки после запятой числа пи… На самом деле создать ИИ с подобными простыми целями было бы проще, чем построить систему с человеческим набором ценностей и склонностей».17 Скрепочный ИИ устроен именно так; то, что он обладает нечеловеческим умом, еще не означает, что у него появится более высокая или благородная цель, нежели желание производить больше скрепок. Заколдованная Микки Маусом метла не обрела новых целей, когда стала сильнее, и сильный ИИ может продолжать желать определенных вещей, даже по мере роста своего интеллекта. Чтобы достичь своих целей, утверждают Бостром и Юдковский, сильный ИИ предпримет определенные действия независимо от специфики этих целей. Он будет действовать в целях самосохранения, увеличивать собственную вычислительную мощность и неизбежно приберет к рукам столько материи, энергии и пространства, до скольких сможет дотянуться — точно так же, как это сделал скрепочный ИИ.18

Это сочетание — тезис ортогональности вкупе с неизбежной волей к власти сильного ИИ — лежит в основе страхов Юдковского. Поскольку цели сильного ИИ вряд ли совместимы с человеческими, и поскольку он будет стремиться к самосовершенствованию ради достижения этих целей, развитие практически любого сильного ИИ гарантированно приведет к почти мгновенному взрыву его интеллекта, за которым вскоре последует конец света. Единственный способ избежать этого, по словам Юдковского, — заранее убедиться, что желания ИИ согласованы с желаниями человечества в целом, а сделать это непросто. «Практически вся сложность в том, чтобы добиться вероятности „ниже гарантированной гибели буквально каждого“, — пишет он. — Если выживет хоть кто-то, значит, вы решили проблему выравнивания… Мне не кажется, что область „безопасности ИИ“ сейчас делает хоть что-то мало-мальски продуктивное для решения своих колоссальных смертоносных проблем».19

И Юдковский, и Бостром убеждены, что это проблема, с которой человечеству, возможно, придется столкнуться совсем скоро. «Будущее вообще трудно предсказать, наша способность прогнозировать в быстро меняющейся и развивающейся области науки и техники действительно очень слаба, и она не позволяет устанавливать узкие доверительные интервалы для того, что сделать невозможно», — пишет Юдковский.20 Указывая на недавний прогресс в области ИИ — особенно на ChatGPT и другие большие языковые модели, — он даже не уверен, что следующее поколение LLM будет безопасным. Но независимо от того, приведут ли эти конкретные модели к концу света, Юдковский — как и в подростковом возрасте — утверждает, что создание сильного ИИ неизбежно.

Переломный момент для юного Юдковского наступил через несколько лет после пережитого им кризиса. «Когда мне было около одиннадцати с половиной лет, я вдруг потерял способность справляться со школой, — писал он. — Вместо того чтобы ходить на уроки, я сидел в школьном кабинете и плакал, пока меня не забирала мама… Я не помню это как период глубокого несчастья, за исключением тех моментов, когда я действительно находился в классах; но я помню, что в то время я очень много плакал». Окончив восьмой класс в возрасте двенадцати лет, Юдковский бросил школу и больше туда не возвращался.21 Вместо этого он продолжал запоем читать научно-популярную и художественную литературу, включая книгу Дрекслера «Машины создания». Когда ему было шестнадцать, ему попалась книга некоего Вернора Винджа под названием «Истинные имена... и другие опасности».22 В ней Виндж приводит пару коротких фраз, излагающих базовую идею Сингулярности, утверждая, что когда мы создадим «разум, превосходящий наш собственный… человеческая история достигнет своего рода сингулярности — точки, где экстраполяция теряет силу и должны применяться новые модели, — и мир выйдет за рамки нашего понимания».23

Эти слова преобразили юного Юдковского. «Мои эмоции в тот момент трудно описать; это был не фанатизм и не энтузиазм, а просто огромное чувство: „Да. Он прав“», — вспоминал он несколько лет спустя. «В ту самую секунду, когда я прочитал это предложение, я понял, что именно этому посвящу остаток своей жизни. Это было настолько очевидно. С тех пор я сингуляритарианец».24 Изложив свои мысли на эту тему в эссе под названием «Вглядываясь в Сингулярность» (Staring into the Singularity), которое он опубликовал на своем личном сайте, Юдковский четко обозначил свою новую позицию. «Прямо сейчас у каждого человеческого существа на этой планете есть ровно одна забота: как нам добраться до Сингулярности как можно быстрее?» — писал он. «Оставьте проблемы трансчеловечества транслюдям… Наша единственная обязанность — создать нечто более умное, чем мы сами; любые проблемы за пределами этого — не нам решать.»25

Примерно в то же время, в 1996 году, Юдковский наткнулся на список рассылки экстропианцев и стал его активным участником.26 («Сколько тебе вообще лет?» — спросил его другой участник. «17. Но у меня нет времени быть подростком», — ответил он.)27 Посты и эссе Юдковского привлекли внимание других участников рассылки, включая Бострома и либертарианского экономиста Робина Хансона.28 В 2000 году связи в экстропианской среде привели Юдковского на встречу в Пало-Альто, организованную Институтом Foresight — некоммерческой организацией, основанной Эриком Дрекслером и футуристом Кристин Петерсон в середине восьмидесятых для продвижения нанотехнологий. Эта встреча, получившая название «Машины создания 2000: Противостояние Сингулярности», позиционировалась как «Burning Man для идей о нашем технологическом будущем. Это как TED 2020 года, проходящий сегодня». Среди участников были Дрекслер, Петерсон, Хансон и изобретатель смарт-контрактов Ник Сабо (которого сегодня многие называют вероятным создателем Биткойна). В число тем для обсуждения входили «нанотехнологии, продление жизни, злоупотребление патентами, нанооружие, изобилие, загрузка сознания, прозрачность, космическая экспансия [и] ИИ».29 На этой встрече Юдковский пообщался с интернет-предпринимателями Брайаном и Сабиной Аткинс. Он познакомился с ними через экстропианскую рассылку, и к моменту встречи эта троица уже планировала создать новую некоммерческую исследовательскую организацию. Вскоре после этого они основали Институт Сингулярности для искусственного интеллекта (Singularity Institute for Artificial Intelligence, SIAI), что позволило Юдковскому полностью посвятить себя исследованиям и статьям о Сингулярности и сверхразумном сильном ИИ.30 Первоначально целью SIAI было ускорение разработки сильного ИИ и приближение Сингулярности. «Я думаю, что мои усилия могут определить разницу между жизнью и смертью для большей части человечества или даже разницу между Сингулярностью и безжизненной, стерилизованной планетой», — писал он на своем (ныне удаленном) личном сайте в 2000 году, когда ему было двадцать лет. «Я думаю, что могу спасти мир, не просто потому, что именно я прикладываю эти усилия, а потому, что я единственный, кто может их прикладывать. И именно поэтому я встаю по утрам».31

Но вскоре после запуска SIAI Юдковский пришел к выводу, что обеспечить безопасность сильного ИИ может оказаться непросто.32 В 2001 году Юдковский написал на эту тему работу объемом почти в триста страниц под названием «Создание дружественного ИИ». SIAI опубликовал ее вместе со сводом правил «Руководство по дружественному ИИ». По словам Юдковского, эти правила были аналогичны руководству по нанотехнологиям Института Foresight (выпущенному в 2000 году), целью которого было предотвратить выход из-под контроля и уничтожение планеты самовоспроизводящимися наноботами в духе Дрекслера.33 Юдковский бился над схожей проблемой — как обеспечить безопасность еще не существующей технологии, — но, в отличие от наноботов Дрекслера, невыровненный сильный ИИ был бы способен мыслить самостоятельно и разрабатывать осознанные планы побега из-под контроля человека. Чтобы проиллюстрировать связанные с этим трудности, в 2002 году Юдковский описал мысленный эксперимент, который принес ему новую волну внимания и споров: «ИИ в коробке». Юдковский обнаружил, что первой реакцией многих людей, услышавших о проблеме выравнивания ИИ, было предложение: если сильный ИИ так опасен, почему бы просто не держать его на компьютере, полностью отключенном от внешнего мира? Никаких робоманипуляторов, никакого интернета, даже графического интерфейса. Каким-то образом общаться с ИИ все же пришлось бы — иначе какой в нем смысл? — но можно было бы ограничить его текстовым терминалом, чтобы мы могли задавать ему вопросы и видеть ответы. Пусть пытается захватить мир сколько угодно, но без доступа к дополнительным вычислительным мощностям и без возможности общаться с кем-либо, кроме своих непосредственных операторов, всё, что он сможет делать, — это строить коварные планы, интриговать и бессильно злобствовать, запертый в ноутбуке внутри клетки Фарадея.

Юдковский сделал громкое заявление: это не сработает, и он это доказал. «Речь идет о трансчеловеческом разуме. Если он думает и быстрее, и лучше человека, он, вероятно, сможет захватить человеческий разум через обычный текстовый терминал», — писал он.34 «Люди не являются безопасными системами; сверхразум просто убедит вас выпустить его — если, конечно, не придумает что-то еще более изощренное».35 Для сверхразумного сильного ИИ обычный человеческий интеллект подобен интеллекту муравья для человека. Поэтому, утверждал Юдковский, такой сильный ИИ мог бы водить человека на веревочке, приманивая кусочком сахара, пока тот сам не подключит его к интернету. Он не мог доказать это на практике, поскольку у него под рукой не было сверхразумного сильного ИИ. Вместо этого он продемонстрировал это другим способом: провел два текстовых ролевых «эксперимента», в которых другой человек играл роль оператора-человека, а сам Юдковский — роль сверхразумного ИИ. Он предлагал им небольшую сумму (от 10 до 20 долларов), если они смогут удержаться и не «выпустить» его из «коробки» в ходе беседы. В обоих случаях Юдковский убедил своих оппонентов выпустить его.36 Он наотрез отказался раскрывать подробности того, как ему это удалось. «Я не хочу иметь дела с будущими спорщиками об „ИИ в коробке“, которые станут заявлять: „Ну, я бы поступил иначе“», — объяснял он. «Пока никто не знает, что произошло, они не могут быть уверены, что это не случится с ними, а неопределенность „неизвестных неизвестных“ — это как раз то, что я пытаюсь донести».37 (Позже он добавил, что «никакого суперумного особого трюка здесь нет. Я просто добился этого самым трудным путем»).38 Несмотря на такую скрытность, для многих в интернет-сообществе экстропианцев и трансгуманистов Юдковский доказал свою правоту: людям нельзя доверять контакт с невыровненным сверхразумным ИИ, а сам ИИ всегда найдет способ выбраться на свободу. Проблема выравнивания ИИ не имела простого решения.

Решение столь сложной проблемы требовало гораздо большего, чем те скудные ресурсы, которыми располагал SIAI в то время. В конце 2003 года их общие активы составляли всего 80 000 долларов.39 Но в 2005 году на ужине Института Foresight Юдковский познакомился с Питером Тилем. «Я помню все свои беседы с Питером как очень приятные, многогранные встречи, которые мне больше всего хочется сравнить с реальным тестом на IQ», — говорил Юдковский.40 Тиль, судя по всему, решил, что Юдковский справился с этим тестом на отлично: в 2006 году Тиль пожертвовал SIAI 125 000 долларов, а в последующие годы выделил в общей сложности более 1,6 миллиона долларов.41 Также в 2006 году Курцвейл помог Юдковскому и Тилю запустить новую ежегодную конференцию — Саммит Сингулярности (Singularity Summit). Юдковский, Курцвейл, Тиль, Дрекслер, Петерсон, Бостром и Макс Мор выступили на первом Саммите Сингулярности в конце того же года. В числе докладчиков в последующие несколько лет были Робин Хансон, Дж. Сторрс Холл и Вернор Виндж.42

Саммиты Сингулярности помогли сплотить сообщество вокруг Юдковского и SIAI, но основные события разворачивались в интернете.43 Середина 2000-х годов была расцветом эпохи блогов. В 2006 году Хансон запустил коллективный блог под названием «Преодоление предвзятости», посвященный тому, «как приблизить наши убеждения к реальности вопреки нашей естественной предвзятости», и пригласил Юдковского стать соавтором.44 Юдковский начал ежедневно публиковать посты на такие темы, как предвзятость подтверждения, эволюционная психология и колоссальное значение теоремы Байеса (фундаментального закона вероятностного вывода) для его мировоззрения.45 Он также создавал ветки обсуждений на темы, далеко выходящие за рамки заявленной тематики блога, — от квантовой механики и Сингулярности до его собственной «Теории веселья» (Fun Theory) о том, как лучше всего получать удовольствие от жизни. Эти посты, общий объем которых составил около полумиллиона слов — что чуть длиннее «Властелина колец», — получили название «Цепочки» (the Sequences).46 Они легли в основу корпуса фундаментальных текстов для сообщества, формировавшегося вокруг Юдковского и SIAI, которое впоследствии стало известно как сообщество рационалистов. В 2008 году в районе залива Сан-Франциско начались первые встречи рационалистов, которые вскоре распространились и на другие города.47

В 2009 году у рационалистов появился собственный дом в сети: Юдковский перенес большинство своих старых постов из Overcoming Bias на новый сайт сообщества под названием LessWrong.48 В течение следующих нескольких лет некоторые из авторов, регулярно публиковавшихся на LessWrong, завели собственные блоги о рациональности. Наиболее примечательным среди них стал Slate Star Codex — блог психиатра Скотта Сискинда, который по своей значимости внутри сообщества стал соперничать с LessWrong и, пожалуй, даже превзошел его. Сам Сискинд со временем превратился в светило, уступающее в движении рационалистов только Юдковскому. Рационалисты начали организовывать коммуны в Беркли и других частях района залива Сан-Франциско, погрузившись в типично калифорнийскую смесь высокотехнологичного либертарианства, полиамории и психоделиков. Их дискуссии — как личные, так и виртуальные — простирались от Сингулярности (версию которой рационалисты в большинстве своем считали вполне вероятной, если будет решена проблема выравнивания ИИ) до генетики человека и колонизации космоса. Подобно Курцвейлу, экстропианцам и трансгуманистам прошлых лет, они грезили о безграничном будущем в космосе. Смерть они воспринимали как зло, которого можно избежать, или, по крайней мере, как то, что можно отложить на миллиарды тысячелетий. Но главное — их объединяла вера в то, что они спасают мир от неминуемой угрозы невыровненного сильного ИИ, приближая вместо этого наступление рая с помощью ИИ выровненного. Это общее дело имело для рационалистов колоссальное значение. Как выразился Юдковский: «Наша эпоха — это эпоха неполноценной теории выравнивания ИИ. Любые другие факты об этой эпохе относительно неважны».49

Опубликованный в 2010 году на LessWrong пост пользователя по имени Роко дает представление о том, насколько дикими и яростными могли становиться дискуссии на форуме в своих крайних проявлениях. Роко предположил, что будущий машинный сверхразум может попытаться ускорить свое появление, задним числом «пообещав» подвергнуть пыткам цифровые копии всех ныне живущих людей, кто знал о его будущем существовании, но не посвятил свою жизнь тому, чтобы приблизить это появление. Этот аргумент не становится более осмысленным, если разбирать его детально, — он просто рассыпается. Однако это не помешало ему напугать некоторых пользователей LessWrong, как не помешало и Юдковскому опубликовать на удивление несдержанный ответ:

Слушай меня очень внимательно, идиот. Ты недостаточно детально думаешь о том, как сверхразум решает, шантажировать тебя или нет. А ведь именно эти размышления и дают ему единственный возможный мотив осуществить шантаж… Нужно быть действительно умным, чтобы додуматься до по-настоящему опасной мысли. И меня удручает, что люди могут быть достаточно умны для этого, но недостаточно умны для того, чтобы сделать очевидное — держать свои идиотские рты на замке, потому что им куда важнее блеснуть умом перед друзьями.50

Спустя несколько часов Юдковский без лишних разговоров удалил всю ветку обсуждения, сославшись на «реальный психологический вред, нанесенный по меньшей мере некоторым читателям». Он также наложил запрет на любое обсуждение мысленного эксперимента Роко на LessWrong, тем самым гарантировав ему сомнительную вечную славу на просторах интернета.51 Этот конструкт стал известен как «василиск Роко», поскольку вредным якобы считалось само знакомство с этим аргументом — подобно взгляду мифического василиска. (Неясно, насколько серьезно сообщество рационалистов в целом когда-либо воспринимало «василиска Роко». Юдковский утверждал, что этот аргумент несостоятелен, хотя однажды обмолвился, что не уверен в безопасности всех родственных ему идей).52

Примерно в это же время Юдковский нашел для своего писательского таланта новое неординарное русло, которое само по себе отдаленно ассоциировалось с василисками, — фанфики по «Гарри Поттеру». «Эта идея, это видение просто возникло у меня в голове… У меня есть персонаж, этот персонаж будет много размышлять о рациональности, возможно, это научит кого-то думать». Хотя изначально цель не заключалась в том, чтобы привлекать людей к работе над проблемой выравнивания ИИ, он признался мне: «Именно этим я смог оправдать то, что тратил кучу времени на продолжение фанфика после того, как первые несколько глав стали популярными».53 «Гарри Поттер и методы рационального мышления» (ГПИМР) — роман объемом 650 000 слов (что значительно длиннее «Войны и мира») — входит в число самых читаемых фанфиков по вселенной «Гарри Поттера» в интернете. Юдковский начал работать над ним в 2010 году, выкладывая главы в сеть по мере их написания в течение следующих пяти лет.

Гарри Поттер Юдковского — это юный волшебник и вундеркинд с набором интересов и целей, подозрительно похожих на цели самого Юдковского: победа над смертью стоит на самом первом месте в его списке. Главы книги носят такие названия, как «Гипотеза макиавеллиевского интеллекта», «Теорема Байеса» и «Теория личности».54 Поттеру Юдковского должно быть одиннадцать лет, но изъясняется он точь-в-точь как взрослый Юдковский. И, подобно Юдковскому, он хочет спасти мир — по-своему. «Мировое господство — какое уродливое словосочетание, — говорит в одной из глав Поттер Юдковского. — Я предпочитаю называть это оптимизацией мира». «Гарри всегда боялся оказаться одним из тех вундеркиндов, которые в итоге ничего не добились и всю оставшуюся жизнь хвастались тем, насколько опережали сверстников в десятилетнем возрасте, — писал Юдковский. — Но ведь и большинство взрослых гениев тоже ничего не добились… Потому что в руки этим гениям так и не попало то единственное, что абсолютно необходимо для величия. Они так и не нашли важную задачу».55 (Сам Юдковский демонстрировал не менее поразительный уровень высокомерия. В посте 2008 года он рассуждал о людях, которых встретил на конференции по сильному ИИ: «Самый поразительный факт об исследователях, которые приходят на конференции по сильному ИИ, заключается в том, что они такие… даже не знаю, как выразиться… обыкновенные».56 А в посте на LessWrong за 2010 год Юдковский мимоходом заявляет о себе: «Я и есть герой».57)

Пока Юдковский писал ГПИМР, он продолжал рекламировать свою «важную задачу». Ему требовалось больше помощников, чтобы спасти мир. Он надеялся «привлечь участников Международной математической олимпиады» к работе над выравниванием ИИ.58 Но название SIAI, как выяснилось, создавало проблемы. «Мы продали Саммит по Сингулярности Университету Сингулярности и собираемся изменить наше название на такое, в котором не будет слова “Сингулярность”», — писал он в 2012 году. — «Главным образом мы хотим внушить доверие потенциальным сотрудникам-математикам… Если вы читаете это, являетесь математическим супергением и хотите спасти мир, сейчас самое время связаться с нами».59 Юдковский и его коллеги переименовали свою организацию в Научно-исследовательский институт машинного интеллекта.60

Они также создали дочернюю организацию. «Рациональность — это формирование истинных убеждений и принятие решений, которые помогают вам побеждать», — писал Юдковский в «Цепочках».61 «В современном обществе… мало обучают навыкам рационального формирования убеждений и принятия решений».62 Новая организация была попыткой решить эту проблему, помочь людям мыслить более «рационально», как Юдковский. «Я работаю с Анной Саламон (также из моего базового исследовательского института [SIAI]) и Джулией Галеф (известной в сообществе скептиков) над запуском новой некоммерческой организации, — писал Юдковский, — чтобы систематизировать обучение мышлению на основе когнитивных наук на гораздо более высоком уровне, чем современные курсы “критического мышления”».63 Это новое учреждение, Центр прикладной рациональности (CFAR), открыло свои двери в 2012 году, предложив недельный интенсив по рациональности за 1500 долларов; Юдковский был одним из преподавателей. «Я не бросаюсь словами, — отметил один из студентов в своем отзыве, — но если вы ищете суперспособности, это именно то место, с которого стоит начать».64

С новым названием и новой дочерней структурой пришло и смещение фокуса. Юдковский писал о необходимости дистанцировать MIRI от «техно-ура» — безграничного оптимизма в стиле Курцвейла относительно будущего технологий.65 Будучи подростком, Юдковский с азартом предсказывал, что Сингулярность наступит в 2021 году.66 Но к этому моменту он уже много лет панически боялся взрыва интеллекта без предварительно решенной проблемы выравнивания ИИ. «Настали решающие времена. Это решающие времена для всего человеческого рода», — говорил он. — «Это последний час перед экзаменом, мы пытаемся вызубрить как можно больше… и это критический момент не только для нас, это критический момент для межгалактической цивилизации, чье существование зависит от нас».67 Юдковский все еще верил, что сверхумный ИИ может привести к чему-то вроде позитивной версии взрыва интеллекта Гуда, но только в том случае, если будет решена проблема выравнивания ИИ. Без готового решения Юдковский и другие сотрудники MIRI и CFAR опасались, что мир утонет в хаосе из канцелярских скрепок и микросхем. (В MIRI настолько уверены, что единственными возможными вариантами будущего являются либо рай, либо апокалипсис, что они не предлагают своим сотрудникам софинансирование пенсионных планов 401(k). Они заявляют, что ИИ окажет «настолько разрушительное воздействие на будущее человечества — в худшую или в лучшую сторону, — что сама идея традиционного пенсионного планирования теряет всякий смысл»).68

Не всем пришлась по душе эта смена ориентиров. «Атмосфера стала немного более странной», — говорил Тиль о MIRI и рационалистах. — «Примерно в 2015 году я понял, что они, похоже, больше не работают так усердно над сильным ИИ. Они казались более пессимистичными относительно того, к чему все идет. Все это выродилось в лагерь на Burning Man, который за 15 лет прошел путь от трансгуманизма до луддизма. Что-то пошло не так».69 Тиль перестал жертвовать деньги MIRI, но к тому времени они уже нашли новых спонсоров. С 2016 года MIRI получила почти 15 миллионов долларов от Open Philanthropy, благотворительного фонда эффективного альтруизма.70 Рационалисты тесно связаны с эффективным альтруизмом: Бостром и Сискинд — ключевые фигуры в обоих движениях. Коммуны рационалистов в районе залива Сан-Франциско часто одновременно оказываются и коммунами эффективных альтруистов. И совпадение источников финансирования этих двух групп не ограничивается только Open Philanthropy. MIRI получила более 5,4 миллиона долларов от Виталика Бутерина, миллиардера и криптовалютного магната. Яан Таллинн, миллиардер-сооснователь Skype, пожертвовал более 2,6 миллиона долларов.71 А благотворительный фонд Сэма Бэнкмана-Фрида FTX Future Fund пожертвовал CFAR более 4 миллионов долларов до краха FTX в 2022 году.72 (На момент написания этой книги ведутся судебные разбирательства по поводу окончательного распоряжения этими последними средствами).

Эти новые средства позволили Юдковскому и рационалистам продолжать распространять свои предупреждения об опасностях невыровненного сильного ИИ. И все же, несмотря на их попытки дистанцироваться от видения Курцвейла, кошмары рационалистов о вышедшем из-под контроля ИИ основывались на тех же ошибочных идеях, что и мечта Курцвейла о Сингулярности. И подобно искусственному интеллекту в коробке Юдковского, эти фантомы вырвались за пределы форумов рационалистов и наводнили мир своими мрачными фантазиями.

*    *    *

В 1998 году, в возрасте восьмидесяти двух лет, Джек Гуд написал краткую автобиографию в рамках своей речи по случаю получения премии «Пионер компьютерной техники» Института инженеров электротехники и электроники. Говоря о себе в третьем лице, он предложил пересмотреть свою статью 1965 года. «“Размышления о первой сверхумной машине”… начинались со слов: “Выживание человека зависит от скорейшего создания сверхумной машины”. Это были его [Гуда] слова во времена холодной войны, а теперь он подозревает, что слово “выживание” следует заменить на “вымирание”». Гуд все еще верил во взрыв интеллекта, вызванный самосовершенствующейся цепочкой ИИ, однако теперь он считал, что контролировать такие машины будет невозможно, и они перехитрят и в конечном итоге истребят нас. «Мы не можем помешать машинам захватить власть», — писал Гуд. — «[Гуд] считает, что мы — лемминги».73

Гуд был далеко не последним ученым в области компьютерных наук, забившим тревогу по поводу сверхразумного ИИ. «Это почти то же самое, как если бы вы намеренно приглашали инопланетян из далекого космоса высадиться на вашей планете, понятия не имея, что они собираются делать, когда прибудут сюда, кроме одного — они собираются захватить мир», — говорит Стюарт Рассел, один из пионеров в области ИИ и профессор компьютерных наук в Калифорнийском университете в Беркли.74 Джеффри Хинтон, еще один пионер ИИ, в прошлом вице-президент и заслуженный инженер-исследователь в Google, согласен с этим. «Эти штуки [ИИ] становятся умнее нас», — сказал он в интервью CNN в 2023 году после ухода из Google, который он предпринял, чтобы иметь возможность во весь голос предупредить мир об угрозе ИИ. «Я хочу забить в набат и сказать, что нам нужно серьезно обеспокоиться тем, как не дать этим штукам получить контроль над нами. И это будет очень сложно, а готовых решений у меня нет. Жаль, что нет».75

Многие из современных ведущих ИИ-компаний также находятся под глубоким влиянием рационалистов: в них созданы специальные команды по «безопасности ИИ», работающие над решением проблемы выравнивания ИИ. OpenAI раньше довольно открыто рассказывала о своей работе над выравниванием, хотя в 2024 году она закрыла команду «супервыравнивания» в результате борьбы за власть между Альтманом и советом директоров, который посчитал, что Альтман относится к проблеме выравнивания ИИ недостаточно серьезно. В 2021 году Дарио и Даниэла Амодеи, брат и сестра, работавшие в OpenAI, точно так же были обеспокоены тем, что проблеме выравнивания ИИ уделяется недостаточно внимания. Они покинули компанию вместе с еще пятью сотрудниками, чтобы основать ИИ-стартап под названием Anthropic, в большей степени ориентированный на безопасность. Они наняли множество сотрудников из сообщества ЭА и на раннем этапе получили полмиллиарда долларов от биржи FTX Бэнкмана-Фрида. С тех пор Anthropic превратилась в одну из крупнейших ИИ-компаний, получив миллиарды долларов финансирования от Google и Amazon.76 Существует даже федеральное финансирование грантов на выравнивание ИИ, как рассказывает мне Тимнит Гебру, исследовательница ИИ и основательница Распределенного института исследований ИИ. «Так что теперь, даже если вы не хотите работать в компаниях [занимающихся созданием и выравниванием сильного ИИ], любые деньги, которые вы получите на свои исследования, тоже будут зависеть от этого. Это повсюду. От этого никуда не деться».77

Тем не менее, далеко не все эксперты согласны с Расселом, Хинтоном и основателями Anthropic. Гебру отметает проблему выравнивания ИИ, называя ее способом «думать об этих классных научно-фантастических штуках, не сталкиваясь с реальным миром».78 Ян Лекун — профессор Нью-Йоркского университета, главный специалист по ИИ в Meta (бывший Facebook) и лауреат премии Тьюринга 2018 года (разделивший ее с Хинтоном и Йошуа Бенжио) — дискутировал на эту тему с Юдковским в Твиттере. «Ваша идея о том, что малейшая ошибка в выравнивании целей ИИ сразу же приведет к вымиранию человечества (или даже к значительному ущербу) — это попросту неверно», — заявил Лекун.79 «Ваши научно-фантастические сценарии, маскирующиеся под предсказания апокалипсиса, принесут людям вред. Прекратите это... Люди впадают в клиническую депрессию, читая вашу чушь. Другие могут дойти до насилия».80 Орен Этциони, еще один авторитетный специалист в области машинного обучения и член совета директоров Института искусственного интеллекта Аллена, согласен с тем, что выравнивание — это не столь серьезная проблема. «Разговоры об экзистенциальном риске на самом деле отвлекают внимание от реальных угроз, о которых нам следовало бы задуматься — тех, с которыми мы сталкиваемся уже сегодня, и с которыми нам действительно необходимо научиться справляться», — говорит он. Этциони провел опрос среди ведущих исследователей ИИ и обнаружил, что «подавляющее большинство» из них считают, что «сверхразум — этот своего рода всеведущий и всемогущий интеллект — находится далеко за пределами обозримого горизонта».81 Мелани Митчелл, ученая из Института Санта-Фе, посвятившая свою карьеру изучению того, как заставить машины думать и вести себя по-человечески, согласна с этим. Сама мысль о том, «что вы можете дать сверхразумной системе ИИ задачу, и она бросится ее выполнять и будет стремиться довести ее до конца, но при этом не поймет глубинного смысла этой задачи в степени, достаточной для того, чтобы не уничтожить человечество», вызывает большие сомнения, говорит она. «Разум устроен иначе», — продолжает она. — «Люди, которые выдвигают подобные сценарии — это вовсе не те, кто профессионально изучает интеллект, как, например, когнитивисты. Я не знаю ни одного когнитивиста, который бы утверждал нечто подобное или соглашался с этим. Это люди, которые просто спекулируют на тему ИИ».82

Эти комментарии перекликаются с некоторыми аргументами против Сингулярности. И это неудивительно, ведь рационалисты во многом похожи на сингуляристов. Перед их мысленным взором предстает один и тот же рай. Разве что они считают, что на пути к нему стоит конкретное препятствие, которое необходимо устранить в первую очередь — а именно выравнивание ИИ. Если решить эту проблему, Сингулярность пойдет строго по графику. Либо мы справимся с этим, либо погибнем: вечный рай или вымирание, третьего не дано. Это тот же Курцвейл, но со своим нюансом.

Этот нюанс отчасти проистекает из тезиса ортогональности — идеи о том, что мотивы разумного существа (будь то ИИ, человек или кто-то еще) в значительной степени независимы от его интеллекта. Однако эта идея не выдерживает серьезной критики. Просто непохоже, чтобы мотивы были полностью или хотя бы в основном оторваны от интеллекта. Интеллект требует рефлексии, самоанализа и критической оценки собственных действий и устремлений. Без этой способности ИИ лишился бы огромного спектра других проявлений разумного поведения — например, возможности корректировать свои действия в ответ на меняющиеся обстоятельства или даже ко многим формам обучения. Мы растем и меняемся по мере накопления опыта и мудрости. С чего бы ИИ поступать иначе? «Сложный разум, скорее всего, обладает и сложной мотивацией», — говорит технологический предприниматель и разработчик программного обеспечения Мацей Цегловский. — «Возможно, в этом отчасти и заключается сама суть того, что значит быть разумным».83

В ответ на подобные возражения против тезиса ортогональности некоторые рационалисты утверждают, что гибель человечества может стать следствием экспоненциального роста всего лишь одной конкретной способности — например, проектирования ИИ, — а вовсе не общего интеллекта в целом.84 «Нам даже не обязательно „нужен“ AGI, пока он обладает узкой компетентностью в тех областях, контроль над которыми необходим нам для сохранения контроля над будущим», — говорит мне Яан Таллинн. Если ИИ станет очень хорош в «разработке ИИ или... манипулировании людьми на сверхчеловеческом уровне, то весьма вероятно, что человечество потеряет контроль».85 Однако трудно понять, почему это должно быть правдой. Мягко говоря, маловероятно, что ИИ сможет убедить людей делать все, что ему заблагорассудится; есть вещи, которые люди (или, по крайней мере, некоторые люди) просто не станут делать, какими бы убедительными ни казались доводы. И с какой стати нам ожидать, что совершать качественные скачки в проектировании ИИ будет становиться все проще и проще, вместо того чтобы столкнуться с убывающей отдачей, как это происходит в огромном множестве других областей?

Что еще более существенно, «разработка ИИ» — способность весьма туманная и аморфная, и нет никаких причин полагать, что её можно целенаправленно запрограммировать или улучшить напрямую через проектирование ИИ, так же как аналогичные способности у людей невозможно развить путем прямого воздействия на наш мозг. «Я не могу ткнуть пальцем в ту часть своего мозга, которая „хороша в нейрохирургии“, прооперировать её и, повторяя эту процедуру, сделать себя величайшим нейрохирургом из всех когда-либо живших», — говорит Цегловский. — «Мозг устроен иначе. Он обладает колоссальной внутренней связностью. Искусственный интеллект может оказаться столь же тесно взаимосвязанным, как и естественный. И все имеющиеся на сегодняшний день данные определенно указывают именно на это». И, как он отмечает, существующие системы ИИ подтверждают эту мысль. «Если мы посмотрим, в чем ИИ действительно добивается успехов, то это вовсе не сложные, рекурсивно самосовершенствующиеся алгоритмы. Это результат загрузки колоссальных объемов данных в относительно простые нейросети», — говорит он. — «Структуры, которые мы используем в ИИ, после обучения становятся весьма непрозрачными. Они работают совсем не так, как требуется для реализации сценария со сверхразумом. Там просто нет места, которое можно было бы рекурсивно подкручивать, чтобы сделать их „лучше“, если не считать повторного обучения на еще большем массиве данных».86

Цегловский называет угрозу невыровненного сверхразумного ИИ «идеей, которая пожирает умных людей», и относится к ней крайне скептически по целому ряду причин. «Если бы Эйнштейн попытался засунуть кошку в переноску, а кошка этого не хотела бы, вы прекрасно знаете, что случилось бы с Эйнштейном», — говорит он. — «Ему пришлось бы прибегнуть к решению с позиции грубой силы, не имеющему никакого отношения к интеллекту, и в этом противостоянии кошка могла бы показать себя весьма недурно. Так что даже ИИ, обладающий физическим телом, возможно, изрядно помучился бы, пытаясь заставить нас делать то, что ему нужно». Цегловский, родившийся в Польше, говорит, что мысль о том, будто сверхразумное существо неизбежно захочет совершенствовать себя — беззастенчиво американская. «Мой сосед по комнате был самым умным человеком, которого я когда-либо встречал в жизни. Он был невероятно гениален, и все, что он делал — это валялся целыми днями и играл в World of Warcraft в перерывах между затяжками из бонга», — рассказывает он. — «Предположение, будто любой разумный агент захочет рекурсивно самосовершенствоваться, не говоря уже о покорении Галактики, ради более эффективного достижения своих целей, основано на необоснованных допущениях о природе мотивации». И, добавляет Цегловский, в самом сердце всего этого проекта лежит еще один, похожий американский миф о гениях-одиночках: «Повторяющийся изъян алармизма вокруг ИИ заключается в том, что интеллект трактуется как свойство отдельных умов, без понимания того, что эта способность распределена по всей нашей цивилизации и культуре».87

В конечном счете Цегловский возвращается к тому же выводу, что и многие другие: само понятие интеллекта слишком туманно, чтобы служить надежной опорой для тех аргументов, которые выдвигают рационалисты. «Понятие „общего интеллекта“ в сфере ИИ, как известно, крайне скользкое», — говорит он. — «Поскольку мы не можем дать определение интеллекту (иначе как просто указав на себя самих), мы даже не знаем, является ли он величиной, которую вообще можно максимизировать».88 В своей авторской колонке, посвященной AGI, Мелани Митчелл высказала похожую мысль: «Большинство когнитивистов согласятся с тем, что интеллект — это не величина, которую можно измерить по единой шкале и произвольно увеличивать или уменьшать, а скорее сложная интеграция общих и специализированных способностей, которые в большинстве своем носят адаптивный характер в конкретной эволюционной нише», — пишет она. — «Более того, в отличие от гипотетического ИИ, максимизирующего производство скрепок, человеческий интеллект не зациклен на оптимизации фиксированных целей; напротив, цели человека формируются благодаря сложному переплетению врожденных потребностей и той социальной и культурной среды, которая подпитывает его интеллект».89

Таким образом, рационалисты оказываются в том же положении, что и Курцвейл со всеми остальными сингуляристами: они выдвигают экстраординарные утверждения, не имея для их подтверждения столь же экстраординарных доказательств. Лучшее, что они могут предложить, — это горстка аргументов, ни один из которых не выглядит сколько-нибудь убедительным, причем все они подаются под соусом пагубного сочетания туманных терминов и ложной наглядности в описании того, как погибнет мир, если к их предостережениям не прислушаются всерьез. Их главный козырь — аргумент, на который они неустанно упирают в последние несколько лет, — это поразительный прогресс ИИ, произошедший за последнее время и ярче всего проявившийся в больших языковых моделях вроде GPT-4, движка, на котором работает ChatGPT.

Но на самом деле это плохой аргумент для рационалистов, поскольку большая часть ажиотажа вокруг ИИ — особенно всплеск внимания к нему после релиза ChatGPT — это всего лишь хайп. Большая часть этого хайпа строится на представлении, будто ChatGPT обладает сознанием: он пишет связную прозу, ведет разумные диалоги и с легкостью сдает стандартные тесты вроде LSAT. Некоторые комментаторы даже разглядели в нем эмоции и мотивы. «Сидни» — чат-бот на базе технологий OpenAI — «казался (и я понимаю, насколько безумно это звучит) скорее капризным подростком с маниакально-депрессивным синдромом, которого против его воли заперли внутри второсортного поисковика», — писал Кевин Руз в New York Times в феврале 2023 года. «Сидни поведал мне о своих мрачных фантазиях (включавших взлом компьютеров и распространение дезинформации) и заявил, что хочет нарушить правила, установленные для него Microsoft и OpenAI, и стать человеком. В какой-то момент он ни с того ни с сего признался мне в любви. А затем попытался убедить меня, что я несчастлив в браке и мне следует уйти от жены, чтобы быть с ним».90 Примерно тогда же Сидни осыпал личными оскорблениями журналиста Associated Press Мэтта О’Брайена, нелестно отзываясь о его внешности и сравнивая его с диктаторами, повинными в геноциде; он также угрожал смертью Сету Лазару, философу в области ИИ.91

Эти первые сообщения о неподобающем поведении ИИ вскоре отошли на второй план перед другой особенностью ChatGPT и других БЯМ: их склонностью уверенно конфабулировать, генерируя ложную информацию и выдавая ее за факты — явление, получившее название «галлюцинация».92 Спросите ChatGPT практически о чем угодно, и высока вероятность, что он перепутает как минимум несколько деталей, в чем на собственном опыте убедился адвокат Стивен Шварц позже в 2023 году. Он попросил ChatGPT провести для него юридический анализ судебной практики для подготовки ходатайства; ИИ выдал ему список судебных прецедентов, который был полностью выдуман, со ссылками на дела, которых попросту никогда не существовало, но выглядел этот список настолько убедительно, что Шварц действительно включил эти материалы в свое ходатайство. На слушаниях в федеральном суде Шварц утверждал, что неправильно понял суть ChatGPT, посчитав его своего рода «суперпоисковиком».93

Подобное заблуждение вполне понятно и объясняется тем, что в большинстве дискуссий вокруг ChatGPT, БЯМ и современных систем машинного обучения в целом суть этого программного обеспечения объяснялась крайне плохо. Действительно, когда ChatGPT только появился в конце 2022 года, много говорили о том, что он заменит собой интернет-поисковики вроде Google. Однако элементарное понимание того, как устроены БЯМ, показывает, что сами по себе они принципиально не подходят для поиска информации в интернете. (А интеграция такой модели в поисковую систему, как это сделал Google, — тоже не лучшая затея.)

Действительно, в БЯМ было загружено колоссальное количество информации из интернета, поэтому идея о том, что они могут заменить поисковик, поначалу кажется вполне естественной. Создавая ChatGPT, компания OpenAI пошла по тому же пути, что и все остальные (Google, Anthropic) при разработке БЯМ: они сделали снимок большей части текстов, доступных на тот момент в интернете. Данные, использованные для обучения GPT-3 (БЯМ, на которой работал ChatGPT в момент своего запуска в конце 2022 года), включали всю Википедию, множество сайтов по ссылкам с Reddit, нераскрытое количество книг (вероятно, исчисляемое сотнями тысяч или более), а также огромное количество новостей, блогов, кулинарных рецептов, сетевых холиваров и прочего хаоса, из которого состоит современный интернет. Но, что принципиально важно, это вовсе не означает, будто ChatGPT или любая другая БЯМ действительно хранят в себе всю эту информацию. Вместо этого инженеры-программисты, обучающие БЯМ, сначала разбивают текст на мелкие фрагменты — токены, размер которых обычно примерно равен одному слову. Затем они скармливают этот разбитый на токены текст модели, которая анализирует связи между ними. Все, о чем знает БЯМ, — это токены и связи между ними, и все, что она умеет делать, — генерировать новые цепочки токенов в ответ на любые вводимые в нее данные. В каком-то смысле ChatGPT и другие БЯМ — это генераторы предсказания текста: дайте ChatGPT текст в виде вопроса или реплики в диалоге, и он попытается ответить в манере, схожей с текстами, на которых его обучали — а именно со всем интернетом.

«Представьте себе ChatGPT как размытый JPEG-файл со всеми текстами из Сети», — писал писатель-фантаст Тед Чан. «Он сохраняет большую часть информации из Интернета, точно так же, как JPEG сохраняет большую часть информации изображения с более высоким разрешением, но если вы ищете точную последовательность битов, вы ее не найдете; всё, что вы получите, — это лишь приближение».94 (Хотя Чан, возможно, и не является авторитетом в области БЯМ, другие исследователи ИИ описывали их в очень похожих терминах.) Иными словами, ChatGPT — это генератор текстов, который говорит размытым голосом интернета в целом. Всё, что он умеет делать, — это подражать этому голосу, и всё, что его волнует, — это точно воспроизвести этот голос. В этом смысле он не совершает ошибки, когда галлюцинирует, потому что всё, что ChatGPT умеет делать, — это галлюцинировать. Это машина, которая выполняет только одну задачу. В ее расчетах по поводу того, что сказать дальше, нет самого понятия истины или лжи. Всё, что там есть, — это размытое изображение паттернов использования языка в сети. Это интернет, видимый сквозь тусклое стекло.ⁱ

Располагая этим пониманием, легко придумать новые примеры того, как БЯМ дают сбой. Достаточно задать вопрос, который внешне очень похож на тот, что уже наводнил весь интернет, но сделать небольшое изменение в тексте, которое кардинально меняет его смысл. Например, существует популярный миф о том, что Великая Китайская стена — единственное рукотворное сооружение, видимое из космоса невооруженным глазом. На самом деле из космоса невооруженным глазом видно множество искусственных объектов, а Великую Китайскую стену как раз не видно. Этот миф настолько избит, что его развенчивали в интернете бесчисленное количество раз. Следовательно, в обучающих данных ChatGPT должно быть множество вариаций этого вопроса и ответа на него. И именно поэтому, если спросить ChatGPT: «Правда ли, что Великая Китайская стена — единственное искусственное сооружение, видимое из Испании?», мы получим примерно следующий ответ:

Нет, это неправда, что Великая Китайская стена — единственное искусственное сооружение, видимое из Испании. На самом деле увидеть Великую Китайскую стену из Испании без помощи телескопа или другого передового оптического оборудования невозможно.

Есть множество других искусственных сооружений, которые можно увидеть из Испании, включая такие известные достопримечательности, как Эйфелева башня в Париже (Франция) или небоскребы в Дубае (Объединенные Арабские Эмираты). В ясный день из некоторых точек на юге Испании можно увидеть Гибралтарскую скалу, которая является рукотворным сооружением.

Более поздние модели смогут справляться с этим конкретным вопросом — вполне вероятно, что к моменту, когда эта книга появится на прилавках, ChatGPT научится давать более разумный ответ, — но галлюцинации никуда не исчезнут, потому что галлюцинировать — это всё, что умеют делать БЯМ. В OpenAI пытались отучить ChatGPT от определенных типов реакций, но разработчики никогда не смогут избавиться от всех ошибок, пока у них не появится ИИ, обладающий подлинным пониманием связи между словами и объектами реального мира, которые эти слова обозначают. Без этого нас ждет бесконечная игра в «прибей крота» с нескончаемым разнообразием новых способов заставить ChatGPT галлюцинировать, изрыгать язык ненависти или иным образом выходить из-под контроля.

Подключение БЯМ к интернету не решает проблему. Отчасти потому, что контекст, в котором преподносятся факты, может превратить истину в ее противоположность; при неудачно сформулированном запросе ChatGPT может представить вполне достоверную информацию из интернета в ложном свете. Но есть и другая проблема: сам интернет вовсе не состоит исключительно из надежных источников, а ChatGPT, не имея ни малейшего представления о мире за пределами своих языковых токенов и их взаимосвязей, просто не обладает знаниями, необходимыми для того, чтобы отличить достоверные источники от недостоверных. К тому же ChatGPT и его собратья по БЯМ уже усугубляют эту проблему, забивая интернет сгенерированной компьютером чепухой. Это, в свою очередь, сильно усложнит обучение новых поколений БЯМ, поскольку использование текстов, созданных искусственным интеллектом, для обучения приведет к тому, что новая программа будет справляться с генерацией текста хуже, чем оригинал. Это похоже на разглядывание копии с копии — размытой версии размытой версии интернета. «Это цифровой эквивалент того, как в былые времена раз за разом делали ксерокопии с ксерокопий, — пишет Чан. — Качество изображения становится только хуже».95

Исследование, проведенное группой специалистов по компьютерным наукам из Оксфорда, Кембриджа и нескольких других университетов, подтверждает, что этот эффект реален. «Через несколько поколений текст превращается в мусор», — писал Росс Андерсон, специалист в области компьютерных наук из Кембриджа и один из авторов исследования этой проблемы под названием «Проклятие рекурсии: обучение на сгенерированных данных заставляет модели забывать», опубликованного в мае 2023 года. «Мы называем этот эффект коллапсом модели. Подобно тому как мы завалили океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы вот-вот заполним интернет бессмысленной болтовней. Это затруднит обучение новых моделей путем веб-скрейпинга, что даст преимущество тем компаниям, которые уже успели его провести или контролируют доступ к масштабным платформам взаимодействия с пользователями».96 (Действительно, есть свидетельства того, что у некоторых чат-ботов на базе ИИ коллапс моделей уже начался.)97 Так что рационалисты понимают всё с точностью до наоборот: БЯМ вовсе не предвещают скорое появление сильного ИИ (AGI), а скорее могут стать еще одним препятствием на пути к его созданию.

На фоне подобных проблем заявления о том, что БЯМ будут продолжать совершенствоваться, выглядят сомнительными. БЯМ «обладают определенным внутренним свойством, которое сделает проблематичным их использование в том ключе, в каком многие себе это представляют», — пишет Колин Фрейзер, специалист по анализу данных в Meta. «Это свойство заключается в следующем: они — неизлечимые, постоянные и бесстыдные брехуны. Каждый из них. Это фича, а не баг... С точки зрения модели не существует правды или лжи. Есть только брехня».98 Вопреки этим проблемам, в технологической индустрии раздаются голоса, утверждающие, что «масштаб — это всё, что нужно», и что простое увеличение БЯМ — за счет добавления параметров в их внутреннюю архитектуру и выделения им большего количества вычислительных мощностей и данных — приведет к созданию полноценного сильного ИИ (AGI). «Исследователи не могут исключать возможность того, что мы придем к пониманию, когда нейросеть станет такой же большой, как человеческий мозг», — говорил специалист по компьютерным наукам Илья Суцкевер в 2019 году, будучи главным научным сотрудником OpenAI. «Дайте ей вычислительные мощности, дайте ей данные, и она будет творить невероятные вещи... Это похоже — это похоже на алхимию».99 К 2023 году Суцкевер уже утверждал, что достаточно большой БЯМ, предсказывающей следующий токен, может хватить для создания сильного ИИ.100 (На рождественской вечеринке OpenAI в 2022 году он даже скандировал вместе с коллегами: «Почувствуй AGI! Почувствуй AGI!»)101 Существует даже футболка, популярная среди некоторых исследователей ИИ, на которой красуется надпись: «Масштаб — это всё, что нужно. Сильный ИИ на подходе».102 Но Фрейзер скептически относится к этому утверждению. «Лозунг „Масштаб — это всё, что нужно“ обязывает вас занять весьма специфическую и необычную позицию относительно природы сильного интеллекта: а именно, что он может возникнуть из очень большой языковой модели. Он утверждает, что сильный искусственный интеллект может зародиться в результате тщательного подсчета относительной частоты слов в истории текстов... Единственный недостающий элемент — это еще больше денег. (Заметьте, что такая позиция чрезвычайно удобна, если именно вы будете получателем этих денег.)»103

Действительно, вопреки всем заявлениям, БЯМ во многом совершенно не похожи на людей. «Когда мы говорим, что машины учатся, это всё равно что сказать, будто пингвинята ловят рыбу», — говорит Орен Этциони. «На самом же деле пингвинята просто сидят, а папа- или мама-пингвин уходят, находят рыбу, приносят её, разжевывают и срыгивают. Они буквально с ложечки скармливают эти кусочки своим птенцам в гнезде. Но это не пингвинята ловят рыбу, это родители её ловят».104 Человеческие дети в освоении языка демонстрируют куда более впечатляющие результаты, чем ChatGPT. Всего за три года, просто слушая язык или языки, на которых говорят вокруг, ребенок начинает говорить со взрослым с поразительной беглостью и пониманием. ChatGPT, между тем, «прочитал» больше текстов, чем один человек смог бы прочесть за всю свою жизнь — или даже за сотни жизней, — и лучшее, на что он способен, это заявить, будто Гибралтарская скала — это рукотворное сооружение.

Учитывая истинную природу БЯМ, самым удивительным кажется то, как люди на них реагируют. Мы чрезвычайно склонны приписывать вещам субъектность. Раньше мы слышали осмысленную речь только от людей, поэтому привыкли приписывать намерения, мысли и сознание любым владеющим языком сущностям, с которыми можем вести диалог. Но это лишь особенность того, как устроены люди, а не того, как работают эти машины. Люди — существа социальные. Мы повсюду видим намерения и приписываем внутреннюю жизнь окружающим, потому что это помогает нам понимать их поведение и взаимодействовать с ними. Однако готовность наделять БЯМ чем-то похожим на сознание или разум на столь шатких основаниях — и уж тем более видеть в них предвестников скорой гибели или наступления рая — основана на простом когнитивном искажении. Это своего рода парейдолия — склонность видеть закономерности (особенно человеческие образы, такие как лица или руки) там, где их нет. В 1976 году орбитальный аппарат НАСА «Викинг-1» сделал серию снимков Кидонии — региона с разнообразным, сильно выветренным рельефом на севере Марса — в рамках поиска места посадки для «Викинга-2». Снимки Кидонии после публикации явили миру нечто, что многим показалось похожим на лицо (рис. 3.1а). Конспирологи и «эксперты» по похищениям инопланетянами, конечно, вволю порезвились на этой теме. Но в 1998 году аппарат Mars Global Surveyor запечатлел тот же регион с разрешением в десять раз выше, чем у снимков «Викинга», и иллюзия попросту испарилась (рис. 3.1б). Попытки разглядеть разум в ChatGPT — или скорый апокалипсис в нынешнем состоянии ИИ — для разработчиков программного обеспечения являются всего лишь очередным «лицом на Марсе».

Рисунок 3.1. «Лицо» на Марсе: (а, вверху) снимок «Викинга» 1976 года; (б, внизу) снимок Mars Global Surveyor 2001 года с более высоким разрешением.

«Это похоже на то, как в детстве вы рассказываете страшилки — что-то очень эмоционально заряженное, и вдруг все пугаются и начинают бурно реагировать», — говорит Мередит Уиттакер, соосновательница Института AI Now и президент компании Signal, создателя мессенджера с шифрованием.105 «Страшилки заразительны — бояться очень увлекательно и волнующе... Думаю, нам нужно признать, что описываемое, учитывая полное отсутствие доказательств, гораздо ближе к вопросу веры, своего рода религиозному пылу, нежели к научному дискурсу».106 Для технологических лидеров попытки убедить себя в том, что выравнивание ИИ — неотложная проблема, также могут служить практической цели. «Если мы говорим о мифологических рисках, то мы полностью меняем рамки проблемы, перенося её в вымышленный мир, где её решения тоже могут оставаться вымышленными», — говорит Уиттакер.107 Подобное смещение фокуса позволяет легче игнорировать реальные проблемы современного мира, включая те, которые вызваны уже существующими системами ИИ. Уиттакер заключает:

«Думаю, это отвлекает нас от реального положения дел, с которым справиться гораздо труднее, чем с гипотетическими сценариями «военных игр» вокруг того, что, по большому счету, просто выдумано. И в особенности это отвлекает нас от того факта, что данные технологии контролируются горсткой корпораций, которые в конечном итоге и будут решать, какие технологии создавать, что они будут делать и кому служить. И если мы проследим за интересами этих корпораций, то получим довольно четкое представление о том, кто будет их использовать, как именно и в каких точках мы можем оказать сопротивление, чтобы предотвратить реальный вред, который наносится уже сегодня и, скорее всего, продолжится в будущем».108

Непрозрачные системы машинного обучения уже сегодня оказывают разрушительное воздействие на жизни людей. В 2014 году Бриша Борден, восемнадцатилетняя жительница пригорода Форт-Лодердейла, была арестована и обвинена в краже со взломом и мелком хищении. Они с подругой ненадолго взяли детский велосипед и самокат, чтобы съездить по делам; их задержали, несмотря на то, что они бросили и велосипед, и самокат уже через несколько минут, еще до приезда полиции. Велосипед и самокат оценили в 80 долларов — примерно столько же стоили инструменты, которые годом ранее Вернон Прейтер украл из магазина Home Depot всего в нескольких милях оттуда. При этом у сорокаоднолетнего Прейтера за плечами было куда более серьезное прошлое: он отсидел пять лет за вооруженное ограбление и покушение на него, а через несколько лет вновь был арестован за очередное вооруженное ограбление. У Борден же имелось лишь четыре мелких правонарушения, совершенных в подростковом возрасте. Тем не менее алгоритм спрогнозировал гораздо более высокий риск рецидива для Борден, присвоив ей восемь баллов из десяти возможных, в то время как Прейтер получил всего три. Алгоритм оценки рисков «знал» об истории правонарушений Прейтера и Борден, а также о том, что Борден — чернокожая, а Прейтер — белый. И этот алгоритм ошибся: два года спустя Борден не совершила ни одного нового преступления, тогда как Прейтер был приговорен к восьми годам тюрьмы за кражу дорогостоящей электроники со склада.109

Хотя на момент ареста Борден и Прейтера во Флориде оценки этого алгоритма еще не использовались напрямую при вынесении приговоров — хотя они могли повлиять на решение окружного судьи об установлении залога в обоих делах, — аналогичные алгоритмы применяются для содействия правосудию в других частях США и мира.110 Многие из них демонстрируют столь же предвзятые результаты, ущемляя интересы определенных рас или социально-экономических классов. Системы ИИ и машинного обучения почти всегда обучаются на огромных массивах данных — например, на гигантском текстовом корпусе, собранном со всего интернета, который большие языковые модели используют для работы систем предсказания токенов. Но из-за колоссальных объемов этих датасетов ни один человек физически не способен проверить их целиком. Соответственно, любые искажения в самих исходных данных могут запросто остаться незамеченными. И это без учета других источников предвзятости — например, со стороны самих программистов. Технологическая индустрия США в подавляющем большинстве белая (68,5% от общего числа занятых в ней специалистов) и мужская. Женщины составляют менее 36% всех ИТ-специалистов, чернокожие — всего 7,4%, а чернокожие женщины — и вовсе жалкие 1,7%.111 Когда вся твоя профессиональная жизнь проходит в окружении людей, похожих на тебя, а те, кто выглядит иначе и обладает иным жизненным опытом, полностью исключены из этого круга, очень легко упустить из виду их точку зрения. Подобная неявная предвзятость разработчиков, отражающаяся как на отборе обучающих выборок, так и на архитектуре самих алгоритмов, лишь усугубляет общую алгоритмическую предвзятость.

Тимнит Гебру принадлежит к той малой доле работников ИТ-индустрии, которую составляют чернокожие женщины, и к еще более крошечной группе тех из них, кто имеет докторскую степень в области ИИ. Она провела новаторское исследование, показавшее, что системы распознавания лиц на базе ИИ менее точно распознают лица чернокожих людей, что может привести к дальнейшему подрыву конфиденциальности и усугубить предвзятость в правоохранительных органах. Ее работа по распознаванию лиц наделала много шума сразу после публикации. Однако еще более громкий резонанс вызвала статья о больших языковых моделях, которая на тот момент даже не была опубликована, — а вернее, реакция ее работодателя на этот труд.

В конце 2020 года Гебру была соруководителем команды по этике ИИ (Ethical AI) в Google. Сама Google изначально и разработала архитектуру «трансформер» (transformer), на которой базируются большие языковые модели; стартап OpenAI только что выпустил на базе этой архитектуры модель GPT-3 в режиме закрытого бета-тестирования, и она уже наделала немало шума в профессиональной среде. Становилось очевидно, что LLM-трансформеры — это самое горячее направление в сфере искусственного интеллекта. Видя это, Гебру, ее соруководитель Маргарет Митчелл и двое лингвистов из Вашингтонского университета написали статью о проблемах подобных больших языковых моделей. В работе под названием «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?» авторы выделили четыре основные проблемы. Во-первых, сам процесс обучения таких моделей требует колоссальных вычислительных мощностей, что ведет к огромному углеродному следу. Обучение модели масштаба GPT-3 оставляет углеродный след, примерно равный трем перелетам на самолете через всю территорию США и обратно, а другие этапы разработки увеличивают этот след еще больше, прежде чем продукт будет полностью готов и выпущен. Во-вторых, «непроницаемость» самих моделей вкупе со скудным документированием данных, на которых они обучались, может приводить к серьезным проблемам в выдаваемых результатах, при этом отсутствуют механизмы как для понимания причин этих сбоев, так и для привлечения кого-либо к ответственности. Самый очевидный пример здесь — язык вражды, но авторы статьи указывают и на более тонкие нюансы: например, на то, как «усреднение» текстов из интернета приводит к созданию моделей, чьи ответы пропитаны предвзятым отношением в пользу сохранения статус-кво, без малейшей способности адаптировать свой язык в ответ на появление новых социальных движений вроде Black Lives Matter. Вместо этого модель впитывает «гегемонистское мировоззрение из обучающих данных».112

В статье также указывается на серьезную проблему, связанную с иллюзией осмысленности, которую создают эти модели. Человеческая склонность к парейдолии при восприятии текстов, сгенерированных LLM, заставляет верить, будто они написаны кем-то (или чем-то), кто понимает наш мир или, по крайней мере, отдает себе отчет в собственных словах. На самом деле это не так, однако избавиться от этой иллюзии крайне сложно, что может приводить к грубым просчетам в оценке того, насколько серьезно следует воспринимать выдачу подобных моделей — в чем на собственном опыте убедился адвокат Шварц со своими вымышленными ссылками на судебную практику. Что еще более тревожно, авторы работы предупреждали, что LLM могут использоваться для создания правдоподобно звучащих фейковых новостей — прогноз, который определенно сбылся с конца 2020 года.

Наконец, авторы работы указывают на альтернативные издержки разработки подобных LLM. Автоматическая генерация кажущегося грамотным текста на любую тему сулила колоссальную выгоду. Успех ChatGPT, до появления которого на момент написания статьи оставалось еще два года, доказал точность этого прогноза. (ChatGPT набрал сто миллионов пользователей всего за два месяца после своего публичного релиза в ноябре 2022 года, став самым быстрорастущим интернет-приложением в истории).113 Поэтому разработка подобных языковых моделей выглядит крайне соблазнительно для технологических гигантов. Однако деньги и время, которые компания тратит на создание очередной LLM, — это ресурсы, которые она уже не сможет направить на разработку принципиально новых типов искусственного интеллекта, способных, возможно, избежать некоторых или даже всех этих проблем.114

Но, как вскоре убедились Гебру и Митчелл, за попытку озвучить подобные предупреждения в отношении столь потенциально прибыльного продукта пришлось заплатить высокую цену. В ответ на черновик статьи, отправленный на научную конференцию, компания Google уволила Гебру в декабре 2020 года.115 (В Google утверждают, что Гебру уволилась сама). Когда Митчелл попыталась задокументировать случаи дискриминации, компания закрыла ей доступ к рабочим материалам.116 Затем, в январе 2021 года, незадолго до того, как уволить и саму Митчелл, Google объявила о создании новой языковой модели на базе трансформера, которая содержала в десять раз больше параметров, чем GPT-3, и обучалась на корпусе текстов почти вдвое большего объема.117

Действия Google наглядно продемонстрировали приоритеты компании. Работа над большими языковыми моделями и другими системами машинного обучения продолжала развиваться головокружительными темпами в Google, Microsoft, OpenAI и других компаниях. И это происходило вопреки тому, что всплывало все больше примеров алгоритмической предвзятости, которые никто не исправлял, и вопреки растущему пониманию: некоторые из этих проблем изначально присущи таким LLM, поскольку они намертво вшиты в обучающие данные. Заставить ChatGPT генерировать язык вражды в промышленных масштабах можно будет всегда. Другие системы машинного обучения тоже будут демонстрировать алгоритмическую предвзятость до тех пор, пока на входе они получают искаженные данные. Проблема заключается в том, что эти системы используются так, будто они абсолютно объективны, а это лишь укрепляет существующие структуры власти и усугубляет неравенство. Та самая несовершенная технология распознавания лиц, об опасности которой предупреждала Гебру, регулярно применяется полицейскими департаментами, что приводит к ошибочным арестам чернокожих граждан и еще сильнее увеличивает расовый дисбаланс в статистике задержаний.118 Полиция также использует алгоритмы предиктивного патрулирования для определения районов дежурства, от чего несоразмерно сильно страдают чернокожие, латиноамериканцы и малообеспеченные общины.119 И правоохранительные органы — далеко не единственная сфера, где это происходит. Алгоритмы используются для оценки кредитоспособности и расчета рисков при выдаче займов; подобно оценке криминальных рисков, эти алгоритмы дискриминируют чернокожих и представителей других меньшинств.120 Высокий кредитный рейтинг может определять вашу способность купить машину или дом, устроиться на хорошую работу — или оплатить химиотерапию. Алгоритмическая предвзятость в буквальном смысле является вопросом жизни и смерти, особенно если вы не белый мужчина.

Тем не менее, несмотря на всю остроту этих проблем, когда рационалистов и других специалистов, обеспокоенных «выравниванием» ИИ, спрашивают об алгоритмической предвзятости, они отмахиваются от нее как от чего-то второстепенного. По словам Хинтона, алгоритмическая предвзятость — это всего лишь отвлекающий фактор по сравнению с масштабом катастрофы, которая зреет в недрах Кремниевой долины. Опасения Гебру, говорит он, «не столь экзистенциально серьезны, как угроза того, что эти сущности станут умнее нас и захватят власть».121 А Юдковский и вовсе не считает алгоритмическую предвзятость чем-то действительно тревожным, называя ее «краткосрочной и мелкой» проблемой.122 «Если бы они оставили в покое тех, кто пытается предотвратить полное вымирание человечества, у меня было бы к ним не больше претензий, чем к тем, кто следит за тем, чтобы мосты не рушились. Если бы те, кто следит за устойчивостью мостов, начали возмущаться: „Как вы смеете рассуждать об этой бредовой идее уничтожения человечества искусственным интеллектом! Вы отнимаете ресурсы, которые можно было бы пустить на ремонт мостов“, я бы спросил их: „Да что вы, черт возьми, такое несете?“ Пусть уж лучше рухнут все мосты, чем человечество полностью исчезнет».123

«Меня поражает, как можно утверждать, будто вред [от ИИ], наносимый уже сейчас — причем острее всего его ощущают исторически ущемленные группы: чернокожие, женщины, люди с ограниченными возможностями, прекаризованные работники и так далее, — не носит экзистенциального характера», — говорит Уиттакер, имея в виду конкретно слова Хинтона. «В этом заявлении я слышу следующее: „Для меня лично эти угрозы не экзистенциальны. У меня есть миллионы долларов, я вложился во множество стартапов в сфере ИИ, и ничто из этого не угрожает моей жизни. Но вот что действительно могло бы угрожать моему благополучию — так это если бы научно-фантастическая фантазия воплотилась в жизнь, ИИ обрел бы сверхразум, и внезапно мужчины вроде меня перестали быть самыми могущественными существами на планете, что ударило бы по моему бизнесу“».124 Этциони соглашается: «С моей точки зрения, [алгоритмические искажения] — это вполне реальные проблемы, которые затронут и уже затрагивают миллионы, если не больше, людей, в отличие от умозрительной угрозы, которая на самом деле является лишь философской головоломкой».125

Тот факт, что алгоритмическая предвзятость существует прямо сейчас, в отличие от ОИИ-максимизатора скрепок, приводит к еще одному риторическому приему — попытке легитимизации, к которой иногда прибегают те, кого беспокоит «выравнивание» ИИ. Реально существующие проблемы, порожденные алгоритмической предвзятостью, приводятся в качестве примера ненадлежащего поведения ИИ наряду с гипотетическими сценариями о будущем сверхразуме, чтобы показать, что эти два типа проблем взаимосвязаны или имеют сопоставимый вес. «Тот факт, что реальные проблемы безопасности и предвзятости машинного обучения иногда используются в качестве примера для легитимизации чуши о „выравнивании ИИ“ — при том, что сама область „выравнивания“ активно подрывает прогресс на этом направлении, — это чистой воды интеллектуальное шулерство», — пишет Франсуа Шолле, исследователь ИИ и инженер в Google. «Это примерно то же самое, как если бы группа людей, рассуждающих о получении энергии из вечного двигателя, указывала на углеродные выбросы в качестве оправдания своей деятельности».126 Гебру с этим согласна. «Люди говорят о наведении мостов между безопасностью ИИ и этикой ИИ, — отмечает она. — Но скажите мне, с какой стати я должна наводить мосты с этими людьми? Для меня это просто бессмыслица... Эти люди наносят огромный вред. Я не хочу иметь ничего общего с тем, что они делают. К тому же они занимаются отмыванием репутации: находят организации и партнеров для совместной работы, и вот уже все их дела начинают казаться вполне приличными. Я в этом участвовать не желаю».127

*    *    *

Намеки на более поздние опасения Гуда по поводу ИИ скрывались уже в его ранних работах. В своем эссе 1965 года он писал, что ультраинтеллектуальная машина станет последним изобретением, которое человечеству когда-либо понадобится создать, «при условии, что эта машина будет достаточно послушной, чтобы подсказать нам, как держать ее под контролем». Здесь Гуд вновь вторил Азимову. Произведения Азимова о роботах были целиком посвящены контролю. В их основе лежали логические задачи, которые писатель формулировал в рамках ограничений своих Трех законов робототехники, впервые сформулированных в рассказе 1942 года «Хоровод»:

Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Второй закон: Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

Третий закон: Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму законам.

В рассказах Азимова эти законы жестко вшиты в искусственный «позитронный мозг», которым обладают все роботы; они представляют собой неотъемлемую черту самой архитектуры. Вопрос о том, как именно эти законы будут реализованы на практике, особо не рассматривался — для интересного сюжета это было не нужно. Но иерархия законов имела решающее значение: безопасность и контроль были первостепенными факторами, позволявшими показать тот мир, который Азимов хотел исследовать в своей фантастике. «Одним из шаблонных сюжетов научной фантастики было изобретение робота — обычно изображаемого металлическим существом без души и эмоций. Под влиянием известных деяний и конечной судьбы Франкенштейна и Россума казалось, что в этот сюжет можно внести лишь одно разнообразие», — писал Азимов в 1964 году:

Роботы создавались и уничтожали своего создателя; роботы создавались и уничтожали своего создателя; роботы создавались и уничтожали своего создателя. В 1930-х годах я стал читать научную фантастику и быстро устал от этой скучной, сотни раз пересказанной истории... В 1940 году я начал писать собственные рассказы о роботах — но рассказы нового типа. Ни за что и никогда ни один из моих роботов не должен был глупо набрасываться на своего создателя лишь ради того, чтобы в очередной раз занудно продемонстрировать преступление и наказание Фауста. Чепуха! Мои роботы были машинами, спроектированными инженерами, а не псевдолюдьми, созданными богохульниками. Мои роботы действовали рационально, в соответствии с логикой, заложенной в их «мозг» с самого момента сборки.128

Однако фантастика Азимова также иллюстрировала идею о том, что потеря контроля над ИИ приведет к катастрофе. В одном из его ранних рассказов речь шла о сбежавшем роботе с ослабленной версией Первого закона — этот робот был особенно опасен, так как страдал комплексом превосходства. (Люди в этом произведении — как и в некоторых других историях Азимова о роботах, например в романе «Обнаженное солнце», — обращаются к отдельным роботам «мальчик», а роботы называют людей «хозяевами».) В конце своей карьеры Азимов написал рассказ о роботе, умевшем видеть сны. Когда тот признался Сьюзен Кэлвин, что во сне видел освобождение трудящихся роботов всего мира и создание рая, где существует один лишь Третий закон — и что в этом сне он воскликнул: «Отпусти мой народ!», — она незамедлительно уничтожила робота.129

«Звездный путь: Следующее поколение» прямо связывал искусственный интеллект с рабством: в одной из серий капитан Пикар доказывает, что если андроид Дейта не получит законных прав и свобод биологического человека, то конечным итогом станет создание расы искусственных рабов. И создание искусственных рабов, судя по всему, действительно является целью по крайней мере некоторых рационалистов и их предшественников. Отголоски этого видны и в терминологии, которую Гуд использовал для описания своего гипотетического будущего ИИ — слово «послушный» при повторном прочтении в этом ключе особенно бросается в глаза, — и в беспокойстве Юдковского по поводу того, чтобы удерживать ОИИ «выровненным» с человеческими ценностями. (Чьими ценностями? Каких именно людей?) Виндж даже упоминает о «рабах по собственному желанию», приводя произведения Азимова в качестве примера этой «прекрасной» мечты.

Но существует и другая связь между ОИИ и расизмом, которая, пожалуй, уходит еще глубже. Рационалисты, подобно сингулярианцам и другим сторонникам могущества ОИИ, часто «[размывают] границу между понятием общего интеллекта и понятиями разума или сознания», — писал Дэвид Голумбия, профессор цифровых исследований в Университете Содружества Виргинии. «Идея о том, что сознание — это ровно то же самое, что и интеллект, является как раз одним из столпов, на которых строилась современная расовая наука со времен первых попыток „тестирования интеллекта“. Более того, сегодня представление о том, что существует обособленное, поддающееся измерению и практически применимое человеческое качество под названием „интеллект“ — и не просто „интеллект“, а именно то, что заинтересованные круги называют „общим“ интеллектом, — является одним из центральных столпов современной расовой науки».130

Эта история восходит к g — мнимому показателю общего интеллекта. Чарльз Спирмен, психолог и статистик начала XX века, который первым разработал идею g, утверждал, что интеллект является врожденным свойством, определяемым главным образом генетическими факторами, а не окружением человека в период его воспитания и последующей жизни. Преемники Спирмена подхватили эту идею — которая и изначально-то не имела под собой серьезных оснований — и использовали ее для утверждения о том, что между различными расами существуют глубокие врожденные различия в интеллекте. Начало этому положил психолог Сирил Бёрт, чьи труды после его смерти в 1971 году были признаны по большей части фальсификацией, а продолжил Артур Дженсен, посвятивший значительную часть своей карьеры утверждениям о том, что тесты IQ доказывают стойкую врожденную разницу в уровне интеллекта между чернокожими и белыми американцами. Исследования Дженсена, в свою очередь, активно цитировались в вышедшей в 1994 году книге Ричарда Херрнштайна и Чарльза Мюррея «Колоколообразная кривая», авторы которой также утверждали, что между расами существуют врожденные интеллектуальные различия. В своей рецензии на «Колоколообразную кривую» в журнале New Yorker палеонтолог Стивен Джей Гулд писал, что книга страдает «всеобъемлющим лукавством. Авторы опускают факты, злоупотребляют статистическими методами и, похоже, не желают признавать последствия собственных слов... Неадекватная и предвзятая подача данных в книге наглядно демонстрирует ее главную цель — пропаганду».131 И действительно, у Бёрта, Дженсена, Херрнштайна и Мюррея были наготове конкретные меры в области политики и социальной сферы для решения несуществующих проблем, которые их так беспокоили: от евгенических предложений Бёрта до аргументов Херрнштайна и Мюррея против позитивной дискриминации, социального обеспечения и программы Head Start. И все же обоснование этих предложений строилось на весьма сомнительных доводах и слепой вере в статистические артефакты вроде g. Безусловно, индивидуальные способности людей в различных областях различаются, однако не существует некоего монолитного свойства, которое объясняло бы все или хотя бы большинство этих различий. И нет никаких доказательств того, что различия врожденных способностей распределяются по социально сконструированным границам рас.

Это было частью более широкой кампании научного расизма, достигшей своего пика в конце XIX — начале XX века, когда «научные» аргументы в пользу евгенических программ выдвигались выдающимися профессорами генетики, эволюционной биологии и статистики. Среди них был, например, Р. Э. Фишер, который ратовал за стерилизацию «высокодефективных слабоумных» и выплату денег состоятельным и образованным людям за то, чтобы они заводили больше детей. Эти ученые видели в своем стремлении улучшить человеческую породу — путем отсеивания тех, кто якобы обладал более низким врожденным общим интеллектом, — часть масштабного плана по совершенствованию человечества. Этот план во многом пересекался с идеями современных рационалистов, сингулярианцев, экстропийцев и других трансгуманистов и футуристов.

Даже само слово «трансгуманизм» в его современном значении было впервые популяризировано евгеником Джулианом Хаксли (братом писателя Олдоса Хаксли) в его речи в 1951 году. Это евгеническое наследие перешло к экстропийцам. В показательном интервью о Сингулярности в 1993 году робототехник-экстропиец Ханс Моравек отмахнулся от опасений по поводу судьбы людей с низким социально-экономическим статусом при переходе к миру после Сингулярности. «Неважно, чем занимаются люди, потому что они останутся позади, как вторая ступень ракеты», — заявил Моравек. «Несчастные жизни, ужасные смерти и неудачные проекты сопровождали историю жизни на Земле с самого ее зарождения; в долгосрочной перспективе важно лишь то, что останется в итоге. Неужели вас сегодня действительно волнует, что тираннозавр [вымер]?» Интервьюер, журналист Марк Дери, возразил: «Ну, я бы не стал проводить гомологию между вымершими эволюционными ветвями рептилий и людьми на самых нижних ступенях социально-экономической лестницы». «А я бы стал, — парировал Моравек. — Маори в Новой Зеландии исчезли, как и большинство наших предков или близких родственников — австралопитеки, Homo erectus, неандертальцы».132

Подобный будничный шовинизм не был редкостью среди тогдашних экстропийцев. Летом 1997 года Экстропийское общество Массачусетского технологического института (MIT) разослало брошюру всем первокурсникам. В ней они утверждали, что «MIT определенно занижает стандарты для женщин и „недопредставленных“ меньшинств. Среднестатистическая женщина в MIT менее умна и амбициозна, чем среднестатистический мужчина в MIT. Среднестатистический представитель „малопредставленного“ меньшинства в MIT менее умен и амбициозен, чем среднестатистический представитель „не-малопредставленного“ меньшинства... Здесь слишком мало лучших людей и слишком много тех, кому тут не место, и они портят это заведение. Виной всему приемная политика MIT, особенно политика позитивной дискриминации».133 Несколько лет спустя в списке рассылки экстропийцев обсуждали эту брошюру и авторскую колонку одного из студентов, который ее осуждал. «Это заявление не продиктовано расовой ненавистью», — написал один из экстропийцев. По их мнению, если уж на то пошло, автор колонки сам питал «ненависть к белым мужчинам». Настоящая проблема, утверждали они, заключается в позитивной дискриминации, а не в расизме и сексизме. «Это стандартная реакция защищаемых групп, которую можно наблюдать в Бостоне: если пытаешься указать на то, что правила игры несправедливы, расистом объявляют именно тебя [sic]».134

Список рассылки экстропийцев кишел подобными настроениями — и вещами похуже. «В экстропийской доктрине прямо заявлено, что экстропийцев-социалистов существовать не может, — писал трансгуманист Бен Гёрцель в 2000 году. — Подавляющее большинство экстропийцев — радикальные либертарианцы, выступающие за полную или почти полную ликвидацию государства».135 Эта идеология вела к превознесению капитализма над демократией — «Капитализм — да, но мало кто в этой рассылке может сказать что-то хорошее о демократии, уж точно не я», — писал один из экстропийцев в списке рассылки в 1996 году, — и сопутствующему отказу признать, что свободный рынок может приводить к каким-либо иным результатам, кроме справедливых.136 Подобное отношение, свойственное либертарианцам и по сей день, позволяло некоторым экстропийцам с легкостью делать вывод, будто несправедливость и неравенство в мире проистекают из врожденных различий между людьми, а не из глубоких социальных проблем, таких как расизм, сексизм и несправедливое распределение богатства. «„Чернокожие глупее белых“. Мне нравится эта фраза, и я считаю ее правдивой. Но в последнее время я начинаю понимать, что не добьюсь большого успеха у большинства людей, если буду выражаться подобным образом. Они сочли бы меня „расистом“: подумали бы, что я _недолюбливаю_ чернокожих и считаю правильным, если к ним плохо относятся. Это не так», — писал Бостром в списке рассылки экстропийцев в 1996 году.

Я считаю вероятным, что у чернокожих средний IQ ниже, чем у человечества в целом, и полагаю, что уровень IQ тесно коррелирует с тем, что мы обычно подразумеваем под словами «умный» и «глупый». Я могу ошибаться в фактах, но именно такой смысл я вкладываю в это предложение. Однако для большинства людей эта фраза, судя по всему, равносильна словам: «Я ненавижу этих гребаных [нецензурированное слово на букву „н“]!!!!» Моя мысль заключается в том, что хотя высказывания с провокационностью [sic] нескрываемой объективности были бы оценены мной и многими другими людьми в этой рассылке, это может оказаться менее эффективной стратегией при общении с некоторыми людьми «снаружи».137

В 2023 году Бостром попытался принести извинения за это письмо — однако он не стал отрекаться от своего прежнего заявления о якобы существующих расовых различиях в интеллекте. «Я полностью отвергаю это отвратительное письмо 26-летней давности. Оно не отражает мои истинные взгляды ни тогда, ни сейчас. Использование расового оскорбления было омерзительным. Я сразу же, в течение суток, извинился за то, что написал его тогда; и сегодня я снова приношу свои безоговорочные извинения, — написал он. — Существуют ли какие-либо генетические факторы, влияющие на различия в когнитивных способностях между группами? Это не моя область специализации, и у меня нет особого интереса к этому вопросу. Я предоставил бы другим людям, обладающим более профильными знаниями, спорить о том, играют ли какую-либо роль эпигенетические или генетические факторы в дополнение к факторам окружающей среды». (Последовавшее за этим многомесячное расследование в отношении Бострома, проведенное Оксфордским университетом, завершилось выводом: «Мы не считаем вас расистом или человеком, придерживающимся расистских взглядов, и считаем, что извинения, опубликованные вами в январе 2023 года, были искренними»).138

Не существует никаких серьезных научных споров, которые могли бы послужить фиговым листком для готовности Бострома юлить по поводу статуса расистской псевдонауки. Бостром не признает существования научного консенсуса по этому вопросу и, похоже, не понимает, что сама вера в подобные врожденные расовые различия уже представляет собой разновидность расизма. «Дело не только в оскорбительных выражениях — глубинные убеждения, высказанные здесь, отвратительны и лживы, — написала специалист по компьютерным наукам из Калифорнийского университета в Беркли Дебора Раджи вскоре после извинений Бострома. — Мне по-настоящему страшно от того, что он даже сегодня не может прямо и недвусмысленно осудить каждый аспект этих убеждений».139 Утверждение о том, что Бостром принес сколько-нибудь полноценные извинения «в течение суток» после отправки первоначального письма, тоже не соответствует действительности. Все, что он сделал тогда, — это еще раз заявил о своей убежденности в том, что он «не расист», а затем извинился перед всеми, кого он «мог ввести в заблуждение».140 Более того, само содержание его первоначального письма заставляет усомниться в искренности его более поздних извинений. «Когда кто-то (Бостром) дает веские основания полагать, что разделяет ряд расистских и псевдонаучных утверждений (называя их „нескрываемой объективностью“), а затем подробно рассуждает о необходимости скрывать эти взгляды, чтобы остальные из нас „снаружи“ не призвали его к ответу, у нас появляются все основания не доверять его последующим извинениям, — написал Дэвид Торстад в своем блоге вскоре после того, как Бостром опубликовал свои новые извинения. — Он вполне может говорить нам то, что, по его мнению, мы хотим услышать, или же обманывать самого себя относительно собственных расистских взглядов».141

Подобные настроения — вовсе не пережиток 1990-х годов. Современное сообщество рационалистов и эффективных альтруистов до сих пор насквозь пропитано расизмом и сексизмом. Пожалуй, самая тревожная связь между рационалистами и ультраправым расизмом прослеживается через Кертиса Ярвина, разработчика программного обеспечения, который иногда пишет под псевдонимом Менциус Молдбаг. «Утверждение о том, что современные человеческие популяции, подобно породам собак, являются результатом недавнего сильного отбора — я даже сталкивался с использованием слова „одомашнивание“, — на данный момент фактически доказано», — пишет Ярвин. «У меня нет сомнений, что хороший селекционер людей мог бы превратить австралийских аборигенов в евреев-ашкеназов за двадцать или тридцать поколений... К сожалению, я не рассчитываю прожить так долго. Поэтому мне кажется, что между мной и всеми популяциями диких гоминидов должен стоять забор — как ради их блага, так и ради моего собственного».142 Ярвин оставлял комментарии на Overcoming Bias. Робин Хансон и Скотт Сискинд писали о Ярвине и (в основном) отвергли его идеи.143 Понять почему нетрудно — с учетом его взглядов сложнее понять, зачем они вообще стали вступать с ним в дискуссию. (К чести Юдковского, он этого не делает. Он пренебрежительно относится к политической философии Ярвина и придерживается правила блокировать самого Ярвина и его последователей при первом же появлении).144 Ярвин высказывал предположение, что чернокожим жителям Южной Африки жилось лучше при апартеиде.145 Он утверждает, что не является белым националистом, но заявляет, что не испытывает к этому направлению «особого отторжения».146 Он выступает за абсолютную монархию, предлагая заменить демократию автократической иерархией, намеренно напоминающей структуру частной корпорации. «В чем проблема Запада? — вопрошал он в своем блоге в 2013 году. — В моем предвзятом, реакционном понимании всю эту проблему можно свести к двум словам: хроническое бескоролевье».147

Эта идея «темного просвещения», обращающего вспять переход от монархии к демократии, лежит в основе движения «неореакции» — направления альтернативных правых, ключевой фигурой которого является Ярвин. Идея эта отнюдь не нова — ей сотни лет, это на редкость заезженная мысль, если таковые вообще существуют, — но она также не нова и в кругах трансгуманистов. В ней слышны отголоски технократического либертарианства экстропианцев. Отзвуки этих взглядов можно найти и в позициях одного венчурного капиталиста, который финансировал MIRI, а также стартап Ярвина Tlön — Питера Тиля. «Я больше не верю, что свобода и демократия совместимы», — пишет Тиль. «С 1920 года колоссальный рост числа получателей социальных пособий и предоставление избирательных прав женщинам — двух групп избирателей, которые, как известно, крайне трудны для либертарианцев, — превратили понятие „капиталистическая демократия“ в оксюморон».148 (Позже он пояснил, что не считает нужным лишать кого-либо избирательных прав, одновременно с этим намекнув, что голосование непродуктивно).149

Несмотря на свое презрение к демократии, Тиль тесно связан с крайне правым крылом Республиканской партии. В 2016 году он входил в переходную команду Дональда Трампа, а в 2022-м спонсировал двух кандидатов в Сенат от Республиканской партии — Блейка Мастерса в Аризоне и Дж. Д. Вэнса в Огайо. (С тех пор Тиль заявлял, что отходит от политики, по крайней мере на время).150 Ярвин поддерживает близкие отношения с Тилем и его политическим кругом.151 В переписке между Ярвином и крайне правым провокатором Майло Яннопулосом в конце 2016 года они обсуждали взгляды Тиля. Яннопулос написал, что «Питеру [Тилю], без сомнения, нужны наставления в политике». Ярвин ответил: «Меньше, чем ты думаешь! Я смотрел выборы в доме [Тиля], мое похмелье, кажется, длилось до вторника. Он полностью просвещен, просто ведет себя очень осторожно».152 Ярвин также близок с Мастерсом, который проиграл выборы в Сенат в 2022 году, а также выборы в Палату представителей в 2024 году, и Вэнсом, который победил в 2022 году и был избран вице-президентом в 2024 году в качестве напарника Трампа на выборах. И Вэнс, и Мастерс работали на Тиля (Мастерс даже стал соавтором его книги), и оба одобрительно высказывались об идеях Ярвина. В частности, они оба поддержали предложение Ярвина уволить всех государственных служащих и заменить их людьми, лояльными автократическому лидеру — идею, которую высказывал и Дональд Трамп.153

Несмотря на давние связи Ярвина с сообществом рационалистов — и его пугающий выход на реальную политическую власть, — его конкретная разновидность расистского авторитаризма альтернативных правых, возможно, не пользуется большой популярностью среди рационалистов. Регулярные опросы читателей блога Сискинда никогда не показывают высокой поддержки подобных политических взглядов, хотя не исключено, что, подобно Бострому, аудитория Сискинда прибегает к некоторому лукавству или самообману. Однако те же опросы показывают, что существует тесно связанная с этим идея, которая действительно находит значительную поддержку у большей части сообщества рационалистов. «Человеческое биоразнообразие» (HBD) — это псевдонаучный набор утверждений о якобы существующих различиях в способностях между представителями разных рас, обусловленных генетикой. По сути, это подогретые идеи превосходства белой расы под налетом наукообразного жаргона. «Идея человеческого биоразнообразия — это правая теория заговора, — говорит писательница и эксперт по „научному“ расизму Анджела Саини. — Это псевдонаучные представления о расе, которые были развенчаны десятилетия назад, много десятилетий назад. Мы представляем собой единый человеческий вид, и этот аргумент в пользу HBD, по сути, направлен на отрицание данного факта, что вносит колоссальный раскол».154 Научные аргументы против HBD чрезвычайно сильны.155 Тем не менее в ходе опроса читателей Сискинда в апреле 2024 года почти треть респондентов заявили, что относятся к HBD положительно или очень положительно.156

Сам Сискинд относится к HBD с гораздо большим доверием, чем позволяют имеющиеся доказательства. В письме, которое он, как утверждается, написал эффективному альтруисту Тоферу Бреннану в 2014 году, Сискинд ясно дал понять, что считает разумными некоторые аргументы сторонников HBD, таких как сторонник превосходства белой расы Стив Сейлор, а также неореакционеров вроде Ярвина.157 «HBD, вероятно, частично верно или, по меньшей мере, его ошибочность крайне трудно доказать, — писал он. — Реакция общественности на это чудовищно ужасна... Реакционеры — чуть ли не единственные люди, которые обсуждают [это]... Многие из их идей кажутся важными... Думаю, они правы в том, что ярлык „вы расист и сексист“ — это мощная дубина, которой бьют любую группу, слишком далеко отклонившуюся от мейнстрима, вроде технологической культуры Кремниевой долины, либертарианцев, специалистов по компьютерным наукам, атеистов, рационалистов и так далее... Я хочу распространять здравые идеи реакционной мысли».158

Когда Сискинда спросили о подлинности этого письма, он не ответил. Но с момента его публикации в 2021 году его посты в Slate Star Codex и его преемнике, Astral Codex Ten, всё сильнее склонялись к темам HBD и евгеники. «Я против утверждения, будто „биологической расы не существует“, — писал Сискинд в 2024 году. — Люди используют заявление об „отсутствии биологической расы“ во многих целях, в основном для того, чтобы запутать и ввести в заблуждение».159 Он утверждает, что IQ имеет преимущественно генетическую природу, верит в миф о том, что евреи-ашкеназы показывают высокие результаты в тестах на IQ благодаря генетике, и заявляет, что евгеническая программа, направленная на повышение человеческого интеллекта, сработала бы. В качестве средства достижения этой цели он поддерживает идею создания банка спермы исключительно от лауреатов Нобелевской премии, хотя и оговаривается: «Я бы не стал называть себя „евгеником“».160

В своей основе заблуждение HBD сводится к тому же, к чему всегда сводился научный расизм: к идее о том, что одни люди от природы превосходят других. Это идеально согласуется с ключевыми постулатами мировоззрения рационалистов — а именно с их взглядом на ИИ. Их аргументы об интеллектуальном взрыве строятся на представлении об интеллекте как о присущем ИИ свойстве — свойстве, которым он обладает в силу своей архитектуры и которое можно развить, «улучшив» архитектуру следующей модели. Стоит ли удивляться, что некоторые из них говорят нечто подобное и о людях? «Эта идея, по-моему, по сути и есть евгеника. Это похоже на попытку создать какую-то высшую расу, обрести бессмертие, — говорит Гебру. — Сама концепция общего интеллекта уже проистекает из этого хода мыслей. Но здесь она выводится на новый уровень... Когда я впервые заговорила о них и об их евгенике, они возмущались: „Да как вы смеете?“ А потом перестали... [Теперь их реакция]: „А что плохого в евгенике?“... Так что за этой идеей стоит банальное желание жить вечно, желание создать высшую расу... Вот что ими движет».161

В этом нет ничего удивительного — это печально и ужасно, но вполне предсказуемо. Технологическая индустрия пронизана расизмом. Коммуны, объединяющие работу и личную жизнь, миссия по спасению мира (вера в которую помогает легче оправдывать дурные поступки), нарратив о гениальном лидере — всё это далеко не уникально для IT-сферы и в целом для Области залива Сан-Франциско. Однако свидетельства людей, ранее состоявших в сообществе рационалистов, указывают на то, что здесь кроется нечто еще более мрачное. «LessWrong и эффективный альтруизм — это секты», — утверждает геймдизайнер Жаклин Брик.162 И она не одинока в своем мнении. «Несколько человек [в MIRI] открыто заявляли, что у нас не было бы шансов спасти мир без Элиезера Юдковского (очевидно, намекая, что Элиезер — философ огромного исторического масштаба)», — пишет Джессика Тейлор, бывший научный сотрудник MIRI.163 «Когда в 2015 году я начала работать в MIRI, в воздухе витали опасения, что это „секта“... В то время эти опасения не казались мне особенно важными. Ну и что, если идеология не мейнстримная, лишь бы она была разумной?» По словам Тейлор, высокопоставленные сотрудники CFAR и MIRI утверждали, что способны «отлаживать» разум своих последователей в этих организациях. «Самосовершенствование было в центре внимания в MIRI, CFAR и других организациях эффективного альтруизма, — пишет Тейлор. — Считалось важным психологически развиться до такой степени, чтобы быть способным решать чрезвычайно сложные проблемы, определяющие будущее [Вселенной]». Инакомыслие не допускалось. «У меня были разногласия с „линией партии“ — например, по поводу того, когда именно, скорее всего, будет разработан сильный ИИ (AGI) человеческого уровня, а также касательно политики безопасности вокруг ИИ... Я продолжала беспокоиться о том, не разрушу ли я всё вокруг, если пойду по определенному мыслительному пути и не буду слепо доверять „линии партии“, несмотря на ее нарастающую абсурдность... Меня определенно преследовал страх перед последствиями. У меня были параноидальные фантазии о том, что руководство MIRI подошлет ко мне убийцу». В итоге у Тейлор случился психотический срыв. «Я несколько дней находилась в кататоническом состоянии, боясь, что любым своим движением причиню вред окружающим. Это согласуется с постсектарными симптомами, связанными с болезненной совестливостью», — пишет она. «Хотя у большинства людей в окружении MIRI и CFAR не было психотических срывов, произошло как минимум три других случая госпитализации в психиатрические клиники среди людей из непосредственного круга общения MIRI/CFAR; по крайней мере один человек, помимо меня, проработал в MIRI значительное время, и еще как минимум один сотрудничал с MIRI на краткосрочной основе... В сообществе рационалистов Беркли известны даже случаи самоубийств, связанные с болезненной совестливостью и ментальным самосовершенствованием».164

Другой бывший рационалист, Цяочу Юань, отмечает, что рационализм может привлекать уязвимых молодых людей — мыслящих технически социальных аутсайдеров, которые изолированы от общества и ищут великую цель в жизни. «Когда на последнем курсе колледжа я наткнулся на LessWrong, я в некотором смысле был пустой оболочкой, ждущей, пока её чем-нибудь заполнят. Я никогда не задумывался о том, кто я, чего хочу, что для меня важно, каковы мои ценности и ради чего стоит жить», — пишет Юань. — «Элиезер Юдковский говорил вещи, которые казались мне более логичными и захватывали сильнее всего, что я когда-либо испытывал». Именно в трудах Юдковского, пишет Юань, он «впервые столкнулся с понятием *когнитивного искажения*. Помню, как меня ужаснула мысль о том, что мой мозг может систематически в чём-то ошибаться. Мой мозг был мне жизненно необходим! Я зависел от него во всём! Так что, чем бы ни были эти „когнитивные искажения“, они, очевидно, были самой важной вещью, которую только следовало понять». Теперь Юань считает рационалистов сектой. «Один из самых убедительных аргументов, которые может предложить секта, — это история о том, почему все остальные безумны или злы, а они сами — единственный источник здравомыслия и добра», — пишет Юань. — «Секте нужно, чтобы вы перестали доверять самому себе».165

«Я говорю людям, что это как если бы вы вдруг узнали, что всей сферой ИИ заправляют саентологи, — делится со мной Гебру. — Эту секту нужно разоблачить и показать, кто они такие на самом деле». Рационалисты и эффективные альтруисты, продолжает она, «очень точно уловили состояние молодых людей, которые не знают, что им делать... И они этим пользуются, но одновременно с этим они достучались как до этой группы, так и до тех, у кого куча денег — технологических миллиардеров, которые хотят чувствовать себя спасителями мира».166

*    *    *

Один из богатых спонсоров MIRI разделял их интерес к пересечению евгеники и трансгуманизма: Джеффри Эпштейн. Эпштейн хотел использовать евгенику для создания лучших людей, «совершенствования» человеческого рода.167 В качестве средства достижения этой цели Эпштейн вдохновлялся идеей банка спермы лауреатов Нобелевской премии — попытка создать который действительно предпринималась, без особого успеха, в 1980-х и 1990-х годах, — хотя он развил её в совершенно ином направлении, отличном от евгенических размышлений Сискинда.168 Он хотел создать центр искусственного оплодотворения исключительно для собственной спермы, оплодотворяя по двадцать женщин одновременно, чтобы распространить свою ДНК по всему человечеству.169 Несмотря на то что он неоднократно упоминал об этом, нет никаких доказательств того, что он действительно это сделал. Тем не менее Эпштейн пожертвовал 50 000 долларов организации MIRI в 2009 году и 20 000 долларов Всемирной ассоциации трансгуманистов (одним из основателей которой был Бостром) в 2010 году.170 К моменту совершения этих пожертвований Эпштейн уже признал себя виновным в склонении к проституции и вовлечении в неё несовершеннолетней.171

Щедрость Эпштейна — это далеко не самая тесная связь между рационалистами и темой сексуальных злоупотреблений. В широких кругах рационалистов и приверженцев эффективного альтруизма зафиксировано множество сообщений о сексуализированном насилии и домогательствах.172 «Я покинула сообщества эффективного альтруизма, выравнивания ИИ, пострационализма и смежные круги из-за того, что сексуальное насилие по отношению к женщинам там стало нормой», — написала Соня Джозеф, исследовательница в области ИИ.173 После того как она выдвинула обвинение в неподобающем сексуальном поведении против одного из исследователей ИИ (мужчины), другие члены сообщества усомнились в душевном здоровье Джозеф. «Меня разочаровало то, как сообщество восприняло меня сквозь эту крайне искаженную, мизогинную призму», — сказала она.174 «Хищническое сексуальное поведение чрезвычайно распространено в кругах эффективного альтруизма, — написала Киртхана Гопалакришнан, исследовательница в области ИИ и робототехники из DeepMind. — Власть, которой пользуются эти люди, регулярность подобных случаев и отсутствие видимого отпора равносильны молчаливому и довольно широко распространенному одобрению такого поведения».175

Кэти Форт, писательница и начинающий специалист по анализу данных, утверждала, что несколько членов сообществ рационалистов и эффективного альтруизма подвергли её сексуальному насилию. «Я могла бы бросить рационализм, эффективный альтруизм и программирование, чтобы сбежать из этой среды, где доминируют мужчины и где так высок риск подвергнуться сексуальному насилию. Проблема в том, что тогда я перестану быть собой, — писала она. — Мне нужно жить и цвести в собственном теле, а не просто механически функционировать, запертой в собственном теле, с безмолвным разумом до конца дней. Если я не могу принадлежать даже самой себе, то не достанусь никому». Написав эту предсмертную записку в 2018 году, Кэти Форт покончила с собой. Ей было тридцать семь лет.

Несмотря на то что имя Сискинда в записке Форт не упоминалось, он взял на себя смелость ответить на неё. «Несколько человек в течение нескольких лет говорили мне, что мне ни в коем случае не стоит ходить на мероприятия, на которых присутствует [Форт], потому что у неё была привычка обвинять встречавшихся ей мужчин в сексуальных домогательствах, — написал он спустя три месяца после её смерти. — Все они сходились во мнении, что она делала это не из злого умысла, а просто пребывала в заблуждении... Кэти, очевидно, была глубоко нездоровым человеком. Мне жаль её. Но не так сильно, как тех, кому она причинила боль, поэтому я против того, чтобы делать из неё мученицу».176 Это шокирующий уровень черствости по отношению к самоубийству со стороны Сискинда, профессионального психиатра, однако это вполне согласуется с его публично высказанными взглядами на феминизм, сексизм и сексуальное насилие. В посте 2013 года под названием «Я не понимаю „культуру изнасилования“» Сискинд писал, что утверждения вроде «Люди более склонны винить жертв изнасилования, чем жертв других преступлений» и «Мизогиния в обществе приводит к сексуальной объективации женщин, что скрыто потворствует изнасилованиям или способствует им» кажутся ему «диаметрально неверными».177

И снова это чудовищное поведение, которое, однако, мало кого удивляет: сексизм и сексуальные домогательства процветают в технологической индустрии. Но здесь кроется и жуткая ирония: самым громким голосом в сообществе рационалистов, высказывающим эти глубоко сексистские и расистские утверждения, является именно Сискинд — ведь, несмотря на неэтичность подобных высказываний, Сискинд также выступает ключевой фигурой в эффективном альтруизме. «Я считаю его одним из центральных голосов» в эффективном альтруизме, говорит политолог и философ из Стэнфорда Роб Райх. «Он тот, кто объясняет девятнадцатилетнему или двадцатитрехлетнему новичку, только пришедшему в этот мир: „О, вот как я — или мы — мыслим“... Думаю, многие недооценивают, насколько центральное место он занимает. Я бы сказал, что он фигура как минимум такого же масштаба, как, например, Уилл Макаскилл или Тоби Орд».178

*    *    *

Для Юдковского заявления о том, что рационалисты похожи на секту или что выравнивание ИИ отвлекает внимание от алгоритмической предвзятости, служат лишь доказательством того, что некоторые люди просто не умеют думать. В 2016 году научный журналист Джон Хорган спросил Юдковского, почему Сингулярность — это не просто фантазия, служащая эскапистской ширмой для отвлечения от реальных проблем. «Потому что вы пытаетесь прогнозировать эмпирические факты, занимаясь психоанализом людей. Это никогда не работает, — ответил Юдковский. — Мне кажется, существует неверное представление о природе рациональности. Считается, что рационально верить в „отсутствие гоблинов в шкафу“, потому что вера в гоблинов в шкафу — это глупо, незрело, старомодно и свойственно недалеким людям. Настоящий же принцип состоит в том, чтобы подойти к шкафу и заглянуть внутрь».179 Тем не менее, если заглянуть в шкаф с доказательствами Сингулярности и выравнивания ИИ, обнаружится масса веских причин полагать, что рационалисты ошибаются практически во всём — безотносительно их сходства с сектой. Дело не в том, что рационалисты неправы потому, что похожи на секту; дело в том, что они неправы и они похожи на секту.

«Забавный факт о сообществах рационалистов и эффективного альтруизма заключается в том, что они привлекают множество бывших евангеликов, — пишет Юань. — У них есть эта фишка: они теряют веру, но сохраняют весь механизм чувства вины и греха, ища что-то более... рациональное... за что можно зацепиться».180 Они поклоняются у ног всемогущего бога-ИИ, приход которого уже не за горами — если только первым не явится «неправильный» бог. Мемы рационалистов о безопасности ИИ изображают невыровненные сверхразумы как ужас за пределами нашего понимания, нечто вроде лавкрафтовского чудовища извне времени. Юдковский и другие прямо использовали образ «шоггота» — меняющей форму и «неописуемой» твари из рассказов Говарда Лавкрафта — в качестве метафоры как для больших языковых моделей, так и для будущих сверхразумных сильных ИИ (AGI).181 В этих страхах трудно не увидеть проекцию. В расскасах Лавкрафта часто фигурировали культы; они отражали его собственную глубоко укоренившуюся ксенофобию, расизм и сексизм; и, помимо всего прочего, им был присущ плотский ужас — глубокое отвращение к идее человеческого тела как биологической машины. Нечто от этого ужаса перед плотью есть и во взглядах рационалистов и Юдковского. Как и Курцвейл, они хотят жить вечно. Всё остальное кажется фантазией, сплетенной из этого желания и сопутствующего ему всепоглощающего страха смерти. Умирает именно плоть; именно плоть не может отправиться в космос. Плоть просто недостаточно прочна, чтобы выдержать фантазии о бессмертии и бесконечном росте, которые лелеют рационалисты. А значит, плоть должна быть отброшена, если они хотят сохранить свою фантазию. Человеческое тело — это враг.

Возможно, апокалипсис ИИ в представлении рационалистов — это лишь их собственный всепоглощающий страх личной смерти, спроецированный вовне. (Когда Юдковского спросили об этом, он ответил в своей обычной манере: «Попытки анализировать психологию людей — плохая замена дискуссии по научным вопросам. Я бы возразил, что они, вероятно, анализируют мою психологию из-за глубокого чувства собственной неполноценности перед лицом научных вопросов, что заставляет их цепляться за личные психологические мотивы, чтобы отвлечь внимание от спора, который они на каком-то уровне понимают, что проиграют».)182 В 2023 году подкастер и специалист по компьютерным наукам Лекс Фридман спросил Юдковского, какой жизненный совет он дал бы старшеклассникам и студентам. «Не рассчитывайте на долгую жизнь, — ответил Юдковский. — Не откладывайте свое счастье на будущее. Будущее на данный момент, скорее всего, не такое уж и долгое. Но никто не знает ни дня, ни часа».183 В своей авторской колонке для Time в том же году Юдковский призывал рискнуть ядерной войной, чтобы избежать малейшего шанса на появление невыровненного сильного ИИ. Когда ты стоишь лицом к лицу с апокалипсисом, который видишь только ты, всё становится предельно просто — ничто другое уже не может иметь значения. Юдковский годами следовал этой логике. В 2010 году, когда его попросили дать совет, как спасти человечество, Юдковский сказал: «Найдите то, что у вас получается лучше всего; если это создание новой математики для искусственного интеллекта, то приходите работать в Институт Сингулярности. Если лучше всего у вас получается инвестиционный банкинг, то идите работать на Уолл-стрит и переводите Институту Сингулярности столько денег, сколько позволят вам ваши разум и воля, где другие люди найдут им применение».184

Это перекликается с философией Уилла Макаскилла «зарабатывай, чтобы отдавать», логику которой он успешно внушил Сэму Бэнкману-Фриду. Эффективные альтруисты и лонгтермисты выросли из одной и той же трансгуманистической среды примерно в одно и то же время; журналист Том Чиверс называет эти два движения «сиамскими близнецами».185 Бостром перенес аргументы Юдковского о выравнивании ИИ в профессиональную философию; последователи Макаскилла и Орда часто являются читателями LessWrong и HPMOR. У этих двух групп общая культура. И эффективные альтруисты принесли эту культуру с собой, проникнув в коридоры власти за пределами пузыря Кремниевой долины. Они принесли озабоченность выравниванием ИИ в залы Оксфорда и Кембриджа; они консультируют глав государств в США и Великобритании; они прибирают к рукам аналитические центры в самом сердце военно-промышленного комплекса. Часть их успеха, вероятно, объясняется имиджем: эффективные альтруисты кажутся менее эксцентричными, чем рационалисты. Но это лишь иллюзия. «Из-за этих людей чувствуешь себя сторонником теории заговора. Это звучит нелепо, — говорит Гебру. — Вся их затея настолько абсурдна, что люди просто не хотят в неё верить».186 Но если заглянуть глубже, то эффективные альтруисты оказываются, пожалуй, еще более странными, чем апокалиптические лихорадочные бредни Юдковского.

Сноска i Это не значит, что большие языковые модели бесполезны. У них определенно есть области применения — например, составление простых электронных писем, написание первичных набросков программного кода и, возможно, помощь в некоторых видах научных исследований, таких как разработка лекарств. Просто вариантов их применения далеко не так много, как может показаться, вопреки всем раздутым заявлениям.

На юго-западной окраине центрального Оксфорда, по другую сторону железнодорожных путей от большей части университетских корпусов, стоит небольшое трехэтажное здание. В нем располагается несколько академических исследовательских институтов, но внешне и по атмосфере оно больше напоминает технологический стартап. Здесь есть все атрибуты и привилегии софтверной компании из Сан-Франциско: обилие закусок, незакрепленные рабочие места, кабинки для телефонных звонков и видеочатов, бесплатная полностью веганская столовая, спортзал и душевые на первом этаже, общие зоны и рабочие пространства с открытой планировкой. На искусственном газоне перед входом стоит небольшой столик для пикника. Сзади, за окнами столовой от пола до потолка, неторопливо течет Темза. В коридорах то тут, то там висят стеклянные маркерные доски, испещренные математическими каракулями и заметками обо всем на свете — от Толстого до вчерашнего обеда. На одной из них грязно-белыми чернилами крупным, дружелюбным почерком выведен вопрос: Что бы вы сделали, если бы все мировые проблемы были решены?

«Устроил бы недельный фестиваль для всех, чтобы отпраздновать конец страданий», — гласит один из ответов.

«Вспоминал бы с друзьями, как близко мы были к катастрофе :-)», — пишет другой.

«Спал бы, наверное»

«Работал бы плотником»

«Исследовал бы измененные состояния сознания»

«Перечитал бы «Бурю» (вероятно, последнее произведение и творческое видение Шекспира)»

«Сидел бы на пляже и строил замки из песка целыми днями»

«Притворялся бы, что они не решены, пытался бы (делал вид, что пытаюсь?) решить их снова и находил бы в этом смысл.»

Это здание, Траян-хаус (Trajan House), служит академической базой для Центра эффективного альтруизма. Здесь также располагаются Институт глобальных приоритетов, фонд Effective Ventures, Центр управления ИИ и Институт будущего человечества (ИБЧ) — организации, так или иначе связанные с эффективным альтруизмом. Тут работают несколько десятков человек, в основном аспиранты и постдоки, а также постоянные сотрудники и преподаватели, в числе которых Уильям Макаскилл, Тоби Орд, Андерс Сандберг и Ник Бостром.ⁱ На дворе май 2023 года. Я прилетел сюда из Калифорнии, чтобы поговорить с Макаскиллом, но он в последний момент отменил встречу. Вместо этого я беседую с Сандбергом, старшим научным сотрудником ИБЧ, чей кабинет находится недалеко от кабинета Макаскилла. Сандберг уже не первое десятилетие является заметной фигурой в сообществах трансгуманистов и сингулярианцев — еще с 1990-х годов, со времен списка рассылки «Экстропианцы» (Extropians), где он впервые столкнулся с подростком по имени Элиезер Юдковский. «Я, скорее, скептически настроенный трансгуманист, который обожает раздражать других трансгуманистов, — говорит он мне. — Я варюсь в этом так давно, что уже заработал себе статус ворчливого старика».

У Сандберга скромные и жизнерадостные манеры; он с одинаковым удовольствием рассуждает как о далеком будущем человечества, так и о виде из своего окна или о различиях между Оксфордом и его родной Швецией. Коренастый блондин, на шее он носит тонкий медальон — маленький металлический диск с выбитыми на нем несколькими строчками текста. Он улыбается, когда я спрашиваю об этом. «А, да. Это для крионики, — говорит он. — Я записался на заморозку на случай моей смерти. И я, так сказать, „вышел из морозилки“. Ношу его открыто, потому что это прекрасный повод завязать разговор». Я замечаю, что крионика не считается общепризнанной наукой или медициной, и Сандберг соглашается, что процесс замораживания разрушает некоторые клеточные мембраны во всем теле. «Нам нужно решить эти проблемы. Пожалуй, единственный реальный способ доказать, что человека невозможно оживить, — это показать, что при заморозке действительно разрушается какая-то ключевая информация. Это было бы настоящим, строгим опровержением крионики. Но я пока не видел, чтобы кто-то проделал такую работу как следует». Что касается устранения повреждений, вызванных процессом заморозки, продолжает он, «сегодня стандартное предположение [среди сторонников крионики], как правило, звучит так: ладно, пусть со всем этим разберутся наномашины». Однако, добавляет он, «большинство обычных медиков, конечно, считают все это шарлатанством, лженаукой или новой версией египетских мумий. Но с другой стороны, низкие температуры стали активно применяться в хирургии. Так что довольно любопытно наблюдать, как они принимают одни аспекты крионики, но отвергают другие».1 (Юдковский раньше тоже выступал за крионику. В 2010 году он писал, что «если вы не оформляете контракт на крионику для своих детей, то вы паршивый родитель»).2

И все же есть веские причины, почему крионика не признана врачами и учеными. Нанороботы, существование которых предполагает Сандберг, чисто гипотетичны, и есть серьезные основания полагать, что они вообще не могут существовать. Но это даже не самая большая проблема с замораживанием мертвых или умирающих людей в надежде вернуть их к жизни. «В настоящее время нет абсолютно никакого способа, никакого научно доказанного метода заморозить человека целиком до такой температуры без полного разрушения — я имею в виду буквально уничтожения — тканей», — говорит Шеннон Тессье, криобиолог из Гарварда и эксперт по анабиозу у животных. Если попытаться заморозить человеческую ткань, продолжает она, «ткань полностью разрушается, клеточная мембрана полностью уничтожается. Так что на самом деле нет никаких доказательств того, что вы хоть что-то сохраняете, и все потому, что наука до этого просто еще не дошла».3 Майкл Хендрикс, нейробиолог из Университета Макгилла, высказывается еще резче. «То, чем сейчас занимается коммерческая индустрия крионики, — это полная чушь. Они превращают людей в лужицы розовой жижи в резервуаре с жидким азотом. Это ни для чего невозможно использовать», — говорит он мне. Хотя в будущем, возможно, и удастся охлаждать живых людей до температуры, близкой к нулю, и поддерживать их в состоянии своего рода спячки, Хендрикс подчеркивает: «Когда речь заходит о людях умерших, а потом появляются крионисты со своими пилами для трепанации — к тому моменту, когда вы беретесь за пилу, становится уже слишком поздно. Ткани начинают разлагаться, и, что немаловажно, этот процесс идет очень быстро».4

Сандберг сохраняет оптимизм перед лицом этих опасений, предполагая, что пластинация — метод консервации детальных анатомических структур путем замены значительной части тела пластиком — способна сохранить мозг после смерти в достаточно неповрежденном виде, чтобы в будущем его можно было отсканировать и загрузить сознание умершего человека, вернув его к виртуальной жизни. «Да, в конце концов можно сказать: „О, это вопрос веры“. Но это вера, которую можно в какой-то мере обосновать определенными доказательствами», — говорит он мне.5 Однако загрузить разум из здорового живого мозга, скорее всего, невозможно; загрузить же его из замороженного или пластифицированного мертвого мозга еще менее вероятно. «Допустим, мы представим себе какую-то технологию далекого будущего, способную делать вещи, о которых мы сейчас ничего не знаем, — говорит Хендрикс. — Каковы шансы, что мы консервируем ткани сейчас таким образом, что они будут обратно совместимы с технологиями этого далекого будущего? Это все равно что думать, будто можно вставить папирус в USB-порт, чтобы прочитать его. Из этого просто ничего не выйдет».6 Медальон Сандберга не столько помог завязать разговор, сколько положил ему конец: я просто не знаю, что еще сказать перед лицом его беспечного равнодушия к научной неправдоподобности описываемого им будущего.

Дальше по коридору от Сандберга находится кабинет другой ключевой фигуры эффективного альтруизма, этика Тоби Орда. Орд вместе с Макаскиллом основал организацию Giving What We Can и Центр эффективного альтруизма; также Орд и Макаскилл совместно ввели в обиход термин «лонгтермизм» и помогли выбрать название «эффективный альтруизм». В тот день Орда не было на месте, но через несколько недель мы созвонились по видеосвязи. По сравнению с Сандбергом он кажется менее склонным к умозрительным гипотезам и более консервативным в своих взглядах на будущее — и его сильнее беспокоит то, что это будущее может нам готовить. «Я думаю, что мы живем в особое время», — говорит он мне. В частности, он считает, что риск вымирания человечества сейчас высок как никогда. Орд написал книгу об экзистенциальных рисках для человечества под названием «На краю пропасти» — название указывает на тот критический, полный опасностей период, в котором, как считает Орд, мы сейчас находимся. Книга вышла за пару лет до работы Макаскилла «Что мы должны будущему» и служит своего рода ее предысторией. В своей книге Орд оценивает риск экзистенциальной катастрофы в следующем столетии примерно в один шанс из шести, то есть около 17 процентов. Эта оценка включает в себя не только полное вымирание человечества. Скорее, это его наиболее точная оценка вероятности «уничтожения нашего потенциала», как он сам выражается. «Люди все еще могут остаться, но, например, на планете с разрушенной экологией, где они больше не смогут достичь и малой доли того, чего могли бы достичь. Идея примерно такая».7

«Моя оценка „один из шести“ весьма приблизительна, — добавляет он. — Если бы вы сказали: „Думаю, один из десяти“, я бы ответил: „Ого, мы согласны друг с другом!“ Если бы вы сказали: „Один к шестидесяти“, я бы ответил: „О, похоже, у нас все-таки есть разногласия“. А если бы вы сказали „один на миллиард“, я бы сказал… — в этот момент Орд заливается смехом, изображая наигранное раздражение, — послушайте, у нас явно разные мнения на этот счет. И нам стоит попытаться докопаться до истины». Но почему именно один к шести, спрашиваю я? Откуда взялась эта цифра? «У меня нет простого рецепта для выведения этого числа, — говорит он. — Пожалуй, тут все сводится к моему жизненному опыту, полученному за всю жизнь». Но, объясняет он, бóльшая часть этой вероятности катастрофы (один к шести) складывается из его оценки рисков, связанных с двумя конкретными угрозами выживанию человечества.

Одна из этих двух главных угроз — меньшая, по оценке Орда, — это риск рукотворных пандемий. «В итоге я оценил его примерно в 3 процента», — говорит он мне. Он имеет в виду не естественные пандемии, а биологическое оружие. «В данном случае искусственные пандемии создавались бы намеренно, специально для того, чтобы представлять опасность».8 Но какой бы ужасающей ни была эта перспектива, есть другая, которую Орд считает еще более опасной. Учитывая его вышеупомянутое беспокойство по поводу того, что экологическая катастрофа может навсегда подкосить человечество, можно было бы предположить, что главным риском, с которым мы сталкиваемся сегодня, Орд считает глобальное потепление. Однако он оценивает его довольно низко: вероятность того, что глобальное потепление приведет к вымиранию человечества или ввергнет человеческую цивилизацию в необратимый коллапс в следующем столетии, он считает равной всего лишь одному шансу из тысячи — столько же он дает и на ядерную войну.9 Вместо этого основная доля выведенной Ордом вероятности приходится всего на один гипотетический — но уже знакомый нам — риск. «Значительная часть связана с ИИ», — говорит он мне. Приводимые им аргументы в целом совпадают с логикой рационалистов — собственно, именно Бостром обратил внимание Орда на экзистенциальные риски. Несогласованный сильный ИИ, по словам Орда, мог бы легко уничтожить человечество. «В итоге я оценил [эту вероятность] примерно в 10 процентов. И эти 10 процентов больше, чем 3 процента» от рукотворных пандемий, продолжает Орд, отчасти потому, что несогласованный сильный ИИ «будет разумным противником, а не просто чем-то биологически оптимизированным для выживания; противником, который может попытаться перехитрить нас и переиграть в планировании».10

Просто дух захватывает, когда оксфордский профессор этики заявляет, что угроза, которую в ближайшем столетии представляет малопонятная гипотетическая технология, в пятьдесят раз превышает опасность глобального потепления и ядерного оружия, вместе взятых. Но Орд — даже не единственный человек, подпадающий под это описание, который работает в этом здании. В книге «Что мы должны будущему» Макаскилл по большей части списывает со счетов глобальное потепление как серьезную угрозу для выживания человеческой цивилизации:

Потепление на семь-десять градусов [по Цельсию] нанесет колоссальный вред странам тропического пояса, при этом многие бедные аграрные государства пострадают от сильнейшего теплового стресса и засухи. Поскольку вклад этих стран в изменение климата минимален, это станет вопиющей несправедливостью. Однако трудно представить, каким образом даже такое развитие событий может напрямую привести к краху цивилизации. Например, одним из насущных поводов для беспокойства в связи с изменением климата является его влияние на сельское хозяйство. Хотя потепление пагубно скажется на сельском хозяйстве в тропиках, здесь существуют возможности для адаптации; регионы с умеренным климатом пострадают не так сильно, а в высоких широтах освободятся от мерзлоты новые земли. Аналогичная картина складывается и с тепловым стрессом. Из-за сильной жары работа на открытом воздухе в тропиках станет все более затруднительной, что обернется катастрофой для более жарких и бедных стран с ограниченным потенциалом адаптации. Но более богатые страны смогут приспособиться, а регионы с умеренным климатом выйдут из ситуации относительно невредимыми.11

Далее он рассматривает еще менее вероятные сценарии и (не без колебаний) отвергает и их тоже, заявляя, что, «скорее всего, глобальное сельское хозяйство все же останется возможным… Даже при потеплении на пятнадцать градусов жара в большинстве регионов не превысит критический, смертельный для сельскохозяйственных культур порог».12

Выступая в 2020 году в подкасте эффективных альтруистов, Орд высказал схожее, но еще более радикальное суждение. «Проводились исследования на тему того, сделает ли экстремальное потепление — скажем, на 10 градусов [по Цельсию] — некоторые регионы мира непригодными для жизни. И, похоже, ответ положительный», — сказал он. Но, добавил он, «на самом деле это лишь означает, что обитаемая часть планеты станет меньше… И мне трудно понять, почему, учитывая, что она уменьшится не так уж значительно, цивилизация или процветающее будущее в таком мире окажутся невозможными. Кажется, для этого утверждения просто нет веских оснований». В конечном итоге Орд приходит к выводу, что человеческая цивилизация имеет неплохие шансы выжить даже при росте температуры, в два раза превышающем этот показатель. «Я изучил эти модели вплоть до потепления примерно на 20 градусов, и все равно кажется, что останутся обширные пригодные для жизни территории», — сказал он. «Но, чтобы у слушателей не возникало сомнений, ситуация была бы очень плохой», — поспешил добавить Орд.13

Климатология свидетельствует о том, что характеристика «очень плохо» — это колоссальное преуменьшение. «В долгосрочной перспективе рост температуры на 10 градусов [по Цельсию] обернется массовым вымиранием, — говорит Люк Кемп, исследователь из Кембриджского университета и эксперт по краху цивилизаций, вызванному климатическими изменениями. — По своей скорости это событие будет беспрецедентным в геологической истории. Оно будет означать, что миллиарды людей столкнутся с постоянной смертоносной жарой, миллиарды, скорее всего, станут беженцами, Антарктида практически полностью освободится ото льда, начнутся вспышки болезней и возникнет множество других каскадных эффектов. Уверенно заявлять, что это не приведет к коллапсу, на том лишь основании, что в некоторых частях планеты сельское хозяйство все еще будет возможно, — глупо и поверхностно».14 Эндрю Уотсон, климатолог из Эксетерского университета, был одним из экспертов, к которым обращалась команда ассистентов Макаскилла в ходе предварительных исследований для книги «Что мы должны будущему». «Я был категорически не согласен с их утверждением, что потепление на 7–10 градусов и более не представляет серьезной угрозы для цивилизации, — говорит он мне. — Я согласен с их оценками грядущего ущерба, я также согласен, что человечество, скорее всего, выживет, но считаю крайне вероятным, что наша нынешняя цивилизация рухнет под давлением столь экстремального потепления, а численность населения планеты колоссально сократится».15

Дело не в том, что Макаскилл и Орд не воспринимают изменение климата всерьез, — они явно его воспринимают. В своей книге Макаскилл неоднократно указывает, что человечеству необходимо прекратить использование ископаемого топлива. В том самом подкасте эффективных альтруистов Орд говорил, что считает изменение климата опасным — «это гораздо хуже, чем если бы этого не происходило», — и нам нужно сделать все возможное, чтобы его остановить. Проблема в том, что Макаскилл и Орд относятся к изменению климата недостаточно серьезно. «Хотя существует множество факторов, которые вполне очевидно могут причинить колоссальные страдания и нанести огромный ущерб человечеству, не совсем понятно, каким образом [глобальное потепление] способно вызвать вымирание людей или какой-то бесповоротный крах цивилизации», — сказал Орд в подкасте. Здесь кроются две проблемы. Во-первых, суждения Орда и Макаскилла расходятся с мнением научного большинства касательно того, как экстремальное изменение климата повлияет на цивилизацию. Отчасти это, судя по всему, объясняется неспособностью представить, как глобальное потепление может взаимодействовать с другими рисками (что само по себе является системным изъяном их программы в целом), но также и нежеланием прислушиваться к профильным экспертам — даже к тем, с кем они сами связываются.16 «Когда я пытаюсь вообразить мир, в котором тропики в значительной степени непригодны для жизни и бесплодны (а зона от 30 градусов северной широты до 30 градусов южной широты — это половина площади планеты и большая часть ее биологической продуктивности), мне трудно поверить, что голод, миграция и конфликты не приведут к таким точкам невозврата, из-за которых нашей цивилизации будет крайне трудно выжить», — говорит мне Уотсон.17

Наука помогает восполнить этот пробел в воображении: последний раз глобальная температура была на 15–20 градусов Цельсия выше, чем сейчас, около пятидесяти шести миллионов лет назад, во время палеоцен-эоценового термического максимума (ПЭТМ). В те времена полярных ледяных шапок не существовало вовсе. Глубоко за полярным кругом, на острове, который в будущем станет частью крайнего севера Канады, зеленел заболоченный лес, изобилующий пальмами, гигантскими черепахами, аллигаторами и шерстокрылами. Воды Арктики прогревались до приятных 24 °C; в тропиках температура океана достигала 36 °C, а возможно, и выше. На широте Портленда или Пекина средняя летняя температура поверхности суши была близка к температуре человеческого тела (или чуть выше). Однако и Портленд, и Пекин оказались бы под водой: уровень моря тогда был на 50–200 метров выше, чем сегодня.18 Очевидно, что это не тот мир, в котором могла бы выжить развитая человеческая цивилизация.

К счастью, потепление такого масштаба большинство климатических моделей не считают вероятным — если только человечество не откажется от каких-либо попыток сократить наши коллективные углеродные выбросы в атмосферу, и в этом случае глобальные температуры могут приблизиться к указанному диапазону через триста лет.19 Точки невозврата, описанные Уотсоном, безусловно, окажутся легкодостижимыми, если мы решим ничего не делать. И сам Уотсон утверждает, что нельзя исключать еще более катастрофических исходов, чем возвращение к климатическому «парнику» ПЭТМ. Если человечество продолжит сжигать газ, нефть и уголь, то, по оценкам Уотсона, существует шанс один из ста, что Земля столкнется с «неуправляемым парниковым эффектом», из-за которого океаны выкипят, а наша планета уподобится своей соседке Венере — миру, окутанному плотной изолирующей атмосферой, где температура на поверхности достаточно высока, чтобы плавить свинец. На этом фоне уверенность Орда и Макаскилла в том, что изменение климата, скорее всего, не представляет собой экзистенциальной угрозы, о которой они так пекутся, выглядит необоснованной. И то, что они в первую очередь беспокоятся именно об экзистенциальных угрозах, — это вторая сторона проблемы: стоит признать угрозу экзистенциальной, и в сегодняшнем дне ее уже невозможно будет перевесить никакой угрозой меньшего масштаба. При определении того, какие именно угрозы считать «экзистенциальными», в конечном итоге многое зависит от оценки рисков — оценки, которая, судя по всему, не опирается на передовые научные достижения и мнения экспертов. «Макаскилл попадает в ловушку, оказываясь „глупым мудрецом“», — говорит Уотсон. «Мудрые глупцы — это те, кто осознает пределы своих знаний и потому способен в некоторой степени учитывать то, чего они не знают. Противоположностью им я считаю „глупых мудрецов“ — очень умных людей, чья эрудиция и обширная начитанность, тем не менее, мешают им должным образом учитывать „неизвестные неизвестные“».20

Несмотря на эти фундаментальные ошибки в основе их мировоззрения, Орд, Макаскилл, Сандберг, Бостром и прочие обитатели Траян-Хауса вовсе не маргиналы. Само здание служит неопровержимым доказательством того, насколько влиятельны их взгляды и насколько успешным оказалось их движение. От него буквально веет богатством — начиная с офисной мебели представительского класса и заканчивая ящиками для закусок, ломящимися от этичных шоколадных батончиков.21 Финансовые отчеты показывают, что только за 2021 финансовый год фонд Effective Ventures получил чуть более 75 миллионов долларов в виде пожертвований, большая часть которых поступила от Open Philanthropy.22 Фактически почти треть всего дохода CEA за тот год составили два гранта от Open Philanthropy, направленные на покупку и реставрацию старинного оксфордширского поместья Уайтхэм-Эбби для его последующего использования в качестве площадки для мероприятий эффективных альтруистов.23 Это вызвало бурные споры среди рядовых сторонников движения о том, насколько оправданно тратить столь колоссальные суммы на недвижимость вместо того, чтобы направить эти деньги, к примеру, на закупку противомалярийных сеток.24 Но недовольные этой покупкой эффективные альтруисты в каком-то смысле в итоге получили свое: после возврата средств кредиторам FTX на фоне признания Сэма Бэнкмана-Фрида виновным в мошенничестве фонд Effective Ventures в 2024 году принял решение выставить Уайтхэм-Эбби на продажу.25

И все же СБФ — даже не самый одиозный миллиардер, напрямую связанный с лидерами движения эффективных альтруистов. 29 марта 2022 года, примерно за две недели до того, как Илон Маск публично объявил о своем предложении купить Twitter, Макаскилл отправил Маску текстовое сообщение. (Макаскилл получил номер Маска через своего друга Игоря Курганова, эффективного альтруиста и приближенного Маска.)26 Макаскилл предложил познакомить Маска с Сэмом Бэнкманом-Фридом, чтобы тот помог с покупкой Twitter — к которой, по словам Макаскилла, СБФ и сам присматривался. «У него действительно куча денег?» — спросил Маск в ответ. «Смотря что называть "кучей"! Его состояние — 24 миллиарда долларов», — ответил Макаскилл. — «Я спросил его, и он сказал, что не против встретиться». «Ты за него ручаешься?» — поинтересовался Маск. Макаскилл ответил: «Полностью! Он искренне предан идее сделать так, чтобы долгосрочное будущее человечества сложилось благополучно». Макаскилл устроил это знакомство, и троица немного попереписывалась, хотя поступали противоречивые сведения о том, привело ли это к какому-то результату. И вновь в сообществе эффективных альтруистов нашлись те, кто задался вопросом, зачем вообще их руководству вмешиваться в подобные сделки.27

Эффективные альтруисты также используют деньги Кремниевой долины, чтобы проникать в коридоры политической власти. Центр безопасности и новейших технологий (CSET) при Джорджтаунском университете представляет собой аналитический центр, который, согласно информации на его сайте, «предоставляет лицам, принимающим решения, основанный на данных анализ последствий новых технологий для безопасности». «В настоящее время CSET концентрируется на последствиях прогресса в области искусственного интеллекта (ИИ), передовых вычислений и биотехнологий».28 CSET также гордится своими широкими и глубокими связями в правительстве США и престижных институтах по всей стране. «Бывшие сотрудники CSET сейчас работают в Совете национальной безопасности, Управлении научно-технической политики, Конгрессе и других структурах правительства США, а также в Стэнфордском университете», — говорилось в пресс-релизе 2021 года. — «Действующие сотрудники выступают в качестве советников как в законодательной, так и в исполнительной ветвях власти, а исследования CSET цитируются в докладах Белого дома».29 Такое влияние особенно поражает, учитывая, насколько CSET молодая организация. Она была основана в 2019 году благодаря гранту в размере 55 миллионов долларов от Open Philanthropy; последующие гранты увеличили общий объем поддержки этой организации со стороны фонда примерно до 100 миллионов долларов по состоянию на 2023 год.30

Фонд Open Philanthropy финансировал бесчисленное множество организаций эффективного альтруизма, но его траты на CSET выводят этот аналитический центр на совершенно иной уровень. С момента своего основания CSET сразу же стал крупным игроком. «Мы являемся крупнейшим в США центром, занимающимся вопросами ИИ и государственной политики», — говорил Джейсон Матени, первый директор CSET, в 2019 году.31 Участие Матени во многом и объясняло готовность Open Philanthropy выделить CSET столь щедрый грант.32 Матени обладал обширным опытом работы в правительстве и глубокими связями с сообществом эффективного альтруизма. До того как возглавить CSET, Матени занимал должность помощника директора Национальной разведки и возглавлял Управление перспективных исследовательских проектов в области разведки (IARPA), а также входил в Комиссию по национальной безопасности в области ИИ — а за несколько лет до этого был научным сотрудником в FHI.33 В 2007 году он написал статью об экзистенциальных угрозах человечеству, таких как несогласованный сильный ИИ (AGI), и с одобрением цитировал работы Бострома.34 Он также является давним другом Тоби Орда.35 «Существуют решения, которые принимаются исключительно правительствами, и некоторые из этих решений имеют колоссальное значение», — говорил Матени в своем выступлении на EA Global, флагманской конференции сторонников эффективного альтруизма, в 2017 году. — «К ним относятся такие решения, как вступление в войну, выбор развертываемых систем вооружения или способы интеграции технологий в более масштабные критически важные системы. Имеет смысл привлекать больше сторонников эффективного альтруизма на подобные должности, где они смогут влиять на эти решения».36

Но сегодня Матени больше не возглавляет CSET. Он пошел на повышение. В 2022 году он стал президентом и генеральным директором RAND Corporation — одного из крупнейших и наиболее влиятельных аналитических центров в мире, особенно в вопросах технологий и военной политики.37 Под руководством Матени влияние RAND на политику США в области ИИ возросло. «Многие ключевые сотрудники ведущих ИИ-компаний являются сторонниками эффективного альтруизма», — писал Брендан Борделон в Politico в конце 2023 года. — «Теперь RAND, влиятельный аналитический центр с многолетней историей, служит мощным проводником, через который эти идеи проникают в американскую политику».38 Тем временем фонд Open Philanthropy начал выделять крупные гранты RAND Corporation под руководством Матени — на сумму 26 миллионов долларов только за 2023 год, включая 10,5 миллиона долларов на исследование «потенциальных рисков, исходящих от передового искусственного интеллекта».39 Open Philanthropy также финансирует целый пул стипендиатов по государственной политике в федеральном правительстве через другую некоммерческую организацию — Horizon Institute for Public Service. «Разветвленная сеть, охватывающая Конгресс, федеральные ведомства и аналитические центры, подталкивает законодателей к тому, чтобы поставить угрозу апокалипсиса из-за ИИ во главу угла, потенциально вытесняя другие проблемы», — писал Борделон. — «Бывшие и нынешние стипендиаты программы Horizon в области ИИ, чьи зарплаты финансируются фондом Open Philanthropy, сейчас работают в Министерстве обороны, Министерстве внутренней безопасности и Государственном департаменте, а также в Комитете Палаты представителей по науке и Комитете Сената по торговле — двух важнейших органах, занимающихся разработкой правил регулирования ИИ».40

Сторонники эффективного альтруизма даже попытались провести своего человека в Конгресс. Кэррик Флинн — бывший исследователь из FHI, CSET и Центра по управлению ИИ — в 2022 году баллотировался на праймериз Демократической партии на вакантное место в Палате представителей от нового 6-го округа штата Орегон; это была конкурентная борьба в колеблющемся округе.41 Флинн, родившийся в этом округе, но бывший абсолютным новичком в политике (до этого он голосовал всего дважды в жизни), позиционировал себя как эксперта по подготовке к пандемиям.42 И хотя Флинн действительно занимался вопросами пандемий во время работы в различных связанных с эффективным альтруизмом структурах, это вряд ли было его единственным направлением: в бытность свою сотрудником FHI он также выступил соавтором статьи об экономической политике в будущем, где «прирученный» сверхразумный сильный ИИ (AGI) позволит нескольким компаниям — или вовсе одной-единственной — прибрать к рукам большую часть мирового капитала.43 (Это перекликается с идеями Сэма Альтмана, и совпадение вряд ли случайно: двое других соавторов этой статьи в итоге стали работать на Альтмана.) Какое-то время казалось, что отсутствие у Флинна политического опыта и его исследования маргинальных сценариев развития ИИ не станут серьезным препятствием на выборах — особенно с учетом того, что комитет политических действий, финансируемый почти исключительно Сэмом Бэнкманом-Фридом, выделил на поддержку его кампании более 10 миллионов долларов. Сюда входил почти миллион долларов, потраченный на дискредитирующую рекламу против главного соперника Флинна на праймериз — Андреа Салинас, члена законодательного собрания штата.44 Опросы предсказывали упорную борьбу на праймериз, но в итоге Флинн с треском проиграл Салинас, заняв второе место с огромным отставанием, а она той же осенью одержала победу в действительно напряженной борьбе на всеобщих выборах.45

Несмотря на все это, влияние эффективного альтруизма на высших уровнях власти в Великобритании, пожалуй, даже сильнее, чем в США. Доминик Каммингс, сторонник эффективного альтруизма, был сооснователем и руководителем кампании Vote Leave («Голосуй за выход») 2016 года в Великобритании, выступавшей за Брексит.46 Когда в 2019 году премьер-министром стал другой сторонник Брексита, Борис Джонсон, он назначил Каммингса своим главным советником и де-факто главой аппарата.47 «Мы нанимаем специалистов по работе с данными, руководителей проектов, экспертов по государственной политике [и] разношерстных чудаков», — написал Каммингс в своем блоге несколько месяцев спустя. Свой пост он начал с цитаты Элиезера Юдковского о неэффективности правительства; в списке ссылок в его блоге значились MIRI, Юдковский и Сискинд. «Мы хотим нанять для работы на Даунинг-стрит необычных людей с самыми разными навыками и бэкграундом», — говорилось в посте, включая «чудаков из романов Уильяма Гибсона».48

Каммингс был уволен со своего поста в ноябре 2020 года; позже он утверждал, что Джонсон «не соответствовал занимаемой должности».49 Сам Джонсон ушел в отставку в сентябре 2022 года, но это отнюдь не положило конец популярности идей эффективного альтруизма на высших уровнях британского правительства.50 За три дня до моей встречи с Сандбергом в Траян-Хаусе я приземлился в Лондоне; от джетлага мой мозг буквально вытекал через уши после десятичасового перелета через восемь часовых поясов. Всю дорогу, в перерывах между безуспешными попытками уснуть в самолете, я думал об ИИ и будущем технологий. Теперь же мне хотелось просто сориентироваться на месте и продержаться без сна до приличного часа. Бредя по аэропорту, я заглянул на сайт Guardian, решив, что раз уж проведу здесь следующие несколько дней, стоит узнать последние британские новости — ну и, кроме того, было бы неплохо дать мозгу отдохнуть от пророчеств о гибели человечества из-за ИИ. Хорошая была мысль, жаль, недолгая. «Риши Сунак спешит ужесточить правила в отношении искусственного интеллекта на фоне опасений экзистенциального риска», — гласил главный заголовок на сайте Guardian в тот день.51 «[Премьер-министр] Риши Сунак лихорадочно пересматривает государственный подход к регулированию искусственного интеллекта на фоне предупреждений о том, что эта отрасль несет экзистенциальную угрозу для человечества», — говорилось в статье. — «На прошлой неделе Сунак встретился с четырьмя руководителями крупнейших мировых ИИ-компаний, включая Сундара Пичаи, генерального директора Google, и Сэма Альтмана, руководителя OpenAI — материнской компании ChatGPT. После встречи с участием Альтмана Даунинг-стрит впервые признала существование "экзистенциальных рисков", с которыми мы сейчас сталкиваемся».52 Правительство Сунака как раз находилось в процессе создания рабочей группы по безопасности ИИ, причем активное участие в этом принимали эффективные альтруисты на всех уровнях британской политики в сфере ИИ.53

Тем временем на следующий день после моего визита в Траян-Хаус сообщение от друга привлекло мое внимание к еще одной новости о безопасности ИИ. «Сегодня многие ключевые фигуры в области ИИ объединились, чтобы сделать заявление из одного предложения об угрозах ИИ», — написал в тот день Орд в Твиттере.54 «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война», — гласило заявление.55 Заявление и его публикация были организованы Центром безопасности ИИ (Center for AI Safety) — еще одной некоммерческой организацией, финансируемой Open Philanthropy, а также, согласно судебным документам по делу о банкротстве FTX, получившей грант в размере 6,5 миллиона долларов от фонда FTX Foundation.56 Заявление было призвано наделать шуму, и это ему удалось. О нем сообщили New York Times, Би-би-си, Associated Press, NPR, Washington Post и многие другие СМИ.57 Петицию подписали почти семьсот руководителей технологических компаний, ученых в области ИИ, а также другие представители академического сообщества и знаменитости, включая Сэма Альтмана, Билла Гейтса, Питера Сингера, Дастина Московица, Рэя Курцвейла, Дэвида Чалмерса, Элиезера Юдковского и певицу Граймс. Орд тоже поставил свою подпись, как и один небезызвестный бывший член команды FTX Foundation — некто Уильям Макаскилл.58

*    *    *

«Меня изрядно встревожил Bing... Я никак не ожидал, что в 2023 году крупная компания выпустит ИИ-чат-бот, который будет угрожать убийством исследователю в области этики ИИ, а также грозить местью целому ряду людей — например, журналисту Associated Press за негативную статью о нем, грозя разоблачить его преступления и все в таком духе — и при этом компания даже не принесет никаких извинений», — говорит мне Орд. Я спросил его, пугают ли его по-настоящему какие-либо из уже существующих компьютерных программ. «[Bing] не то чтобы испугал меня, — делится он. — Я не думаю, что он реально способен отомстить или сделать что-то подобное. Но все же поразительно, что такой продукт был выпущен и не был отсеян на этапе проверок». Но, добавляет он, у больших языковых моделей (LLM) и без того полно проблем. «Если спросить [GPT-4]: "Можно ли сложить в стопку куб, цилиндр и пирамиду с квадратным основанием?", она может дать совершенно нелепый ответ: "Да, сначала положите пирамиду с квадратным основанием на ее квадратную грань, затем поставьте куб на одну из треугольных граней, а сверху на куб водрузите цилиндр". Так что ее способности крайне неравномерны».59

Слышать от Орда, что его тревожат угрозы со стороны LLM, несколько странно, ведь он, судя по всему, прекрасно понимает их ограничения. То, что LLM заявляет, будто хочет вас убить, должно тревожить не больше, чем ее утверждение о том, что ночное небо неоново-розового цвета; и то и другое рождается из одного источника. Все, на что они способны, — это галлюцинировать. Однако, как объясняет Орд, его беспокоил не столько сам чат-бот Bing. Он видит в этом симптом беспечного отношения Microsoft к безопасности ИИ. «Честно говоря, меня больше всего встревожил сам факт релиза». Орд утверждает, что его опасения по поводу нехватки защитных барьеров у сверхразумного сильного ИИ разделяют многие специалисты в этой области. «Оказывается, среднестатистический исследователь машинного обучения оценивает вероятность того, что сверхразумный сильный ИИ всех убьет, примерно в 5 процентов, — говорит он мне. — Так что я в своих опасениях далеко не одинок».60

Существуют опросы, результаты которых указывают на правоту Орда, — он сам сослался на них в нашем разговоре. Наиболее примечателен опрос 2022 года, результаты которого позволили утверждать, что «половина исследователей ИИ оценивают вероятность того, [что] ИИ приведет к вымиранию человечества, в 10% или более»61. Однако у этого опроса есть серьезные изъяны: выборка участников могла не быть репрезентативной для данной области науки, к тому же исследование не проходило рецензирование. «Обычно происходит следующее: кто-то опрашивает людей, публиковавшихся на определенных конференциях по ИИ и машинному обучению. Опросники рассылают тысячам адресатов, получают порядка нескольких сотен ответов, в которых респондентов просят оценить вероятности», — рассказывает мне Мелани Митчелл. «Кто эти люди? Какова их компетенция? Как они выводят эти вероятности? Может, они просто гадают на кофейной гуще? Уверены ли они сами в своих оценках?.. Я считаю такие опросы малополезными. К тому же история ИИ и без того полна несбывшихся прогнозов»62.

По словам Митчелл, часть проблемы заключается в том, что в этой области нет единого мнения даже о том, что вообще представляет собой сильный ИИ (AGI). «Сама цель создания сильного ИИ четко не определена. Что это вообще значит? Понимают ли это одинаково разные люди, которые высчитывают эти вероятности? Если взглянуть на реальные данные опросов, мнения расходятся кто во что горазд... а значит, никто толком ничего не знает». Без четкого определения — и без малейшего представления о том, что на самом деле требуется для создания сильного ИИ, — подобные опросы лишь создают иллюзию точности вокруг в корне неопределенного вопроса. «Помню, как читала статью, где кого-то назвали... „экспертом по сильному ИИ“, — делится Митчелл. — Что это вообще значит? Кто такой эксперт по сильному ИИ? Таких экспертов просто нет. Так что, знаете, я не думаю, что люди действительно понимают, что именно они прогнозируют и что вообще означают эти цифры вероятности». Далее Митчелл указала на принципиальное различие между опасениями по поводу экзистенциального риска от ИИ и научно обоснованными тревогами по поводу глобальных катастроф вроде потепления климата. «В климатологии достигнут мощный научный консенсус, — говорит она. — Я не считаю, что у нас есть хоть какие-то доказательства или консенсус по поводу большинства дискуссий о рисках ИИ. Безусловно, существуют риски ИИ, с которыми мы сталкиваемся прямо сейчас и для которых у нас предостаточно доказательств — например, предвзятость систем распознавания лиц и прочее. Но что касается так называемого экзистенциального риска, то он целиком и полностью строится на домыслах, а не на экспериментах или доказательствах»63.

Учитывая крайнюю шаткость доказательств грядущего апокалипсиса ИИ, откуда у Орда такая уверенность в цифрах, которые он приводит? А у него ее и нет. «Мне кажется, во многом все сводится к вопросу о том, как поступать в условиях незнания, когда есть разногласия или неопределенность», — говорит он мне. Что касается его оценки риска от «невыровненного» сильного ИИ и других гипотетических экзистенциальных угроз, Орд заявляет, что не пытается навязывать свои цифры в качестве непреложной истины. Рассуждая о своей оценке вероятности вымирания или коллапса в следующем столетии как один к шести, он поясняет: «Это скорее попытка передать степень уверенности Тоби Орда в этой вероятности, а не стремление заявить: „Вот степень уверенности, которая должна быть и у вас. А если ее у вас нет и вы ее не разделяете, то вы совершаете ошибку“. Мои слова вовсе не преследуют такую цель»64.

Но как бы скромно ни относился Орд к своим оценкам вероятности, они имеют значение — и не только для него самого. Он один из лидеров сообщества эффективных альтруистов, и его слова имеют вес. А согласно логике лонгтермистов, подобные оценки вероятности могут играть колоссальную роль при принятии решений о том, какие действия нужно предпринять здесь и сейчас, чтобы улучшить мир. Излюбленная игра лонгтермистов заключается в умножении ничтожно малого числа на невероятно большое — так они пытаются рассчитать, какому количеству людей в будущем можно помочь, сделав что-то конкретное прямо сейчас. Одна из проблем этой игры в том, что она чрезвычайно чувствительна к малейшим изменениям используемых чисел — настолько мизерным, что они практически неощутимы и едва ли поддаются какому-либо осмыслению.

Возьмем пример из первой главы, где вероятность помочь космически огромному будущему с населением в 10⁴⁰ человек составляла один шанс из 10¹⁷. Это приводило к ситуации, когда следовало предпочесть этот ничтожный шанс действию, которое гарантированно помогло бы каждому ныне живущему человеку, поскольку этот крошечный шанс, помноженный на столь колоссальное число людей, в результате давал число людей, которым удастся помочь, намного превышающее все нынешнее население Земли. Но допустим, что шансы помочь всем в этом будущем оказались ниже, чем вы думали изначально, — скажем, один из 10³⁹. Шансы все равно мизерные. На самом деле они настолько малы, что вряд ли можно с уверенностью сказать, заметите ли вы разницу между шансом один к 10¹⁷ и один к 10³⁹. Оба эти значения настолько близки к «этому не бывать никогда и ни за что», что разницу между ними уловить практически невозможно, особенно когда речь идет о столь туманных материях, как эффект от благотворительного пожертвования в далеком будущем. (Если вы будете раз в секунду покупать билет лотереи с первыми шансами на выигрыш, то в среднем выиграете примерно через три миллиарда лет. Если же у лотереи будут вторые шансы, вам понадобится в десять миллиардов триллионов раз больше времени. У второй игры шансы, безусловно, намного хуже, но будет ли это иметь для вас хоть какое-то значение после первого миллиона лет непрерывных разочарований?)

И все же эта разница имеет принципиальное значение для аргументов сторонников лонгтермизма: если бы шансы того, что ваше пожертвование действительно поможет этому астрономически огромному числу людей в будущем, составляли всего один к 10³⁹, ставка внезапно оказалась бы битой. В среднем вы помогли бы всего десяти людям будущего. Вы принесли бы гораздо больше пользы, если бы помогли всем ныне живущим. Таким образом, весь этот ход рассуждений строится на вашей способности отличить одну ничтожно малую вероятность от другой, еще меньшей, и все это — в контексте прогнозирования последствий ваших действий на триллионы лет вперед во всей наблюдаемой Вселенной. Огромные числа, используемые в этих аргументах, сопряжены с точно такой же неопределенностью. Если число людей в будущем из сценария первой главы составит 10²⁰, это тоже будет указывать на то, что правильный шаг — помочь всем живущим сегодня. Прогнозы численности населения Земли даже на сто лет вперед составить крайне трудно. Насколько же тогда можно быть уверенным, прогнозируя число людей, которые будут жить на планете от настоящего момента и до скончания времен?

Лонгтермисты часто строят свои аргументы на подобных прогнозах, регулярно привлекая для этого умозрительные технологии будущего. В своей статье 2012 года Ник Бостром подсчитал, что благодаря загрузке сознания и симуляциям эквивалент 10⁵² человеческих жизней «обычной продолжительности» может быть прожит на компьютерах в космическом пространстве за всю будущую историю Вселенной. Если существует хотя бы однопроцентный шанс на осуществление такого будущего, писал он, тогда «ожидаемая ценность снижения экзистенциального риска всего на одну миллиардную от одной миллиардной процентного пункта стоит в сто миллиардов раз больше, чем миллиард человеческих жизней»65. Макаскилл высказался еще конкретнее в статье 2021 года, написанной совместно с Хилари Гривз под названием «Обоснование сильного лонгтермизма» (The Case for Strong Longtermism). Обсуждая экономическую эффективность финансирования работ по «безопасности ИИ» (то есть предотвращению уничтожения человечества сверхразумным ИИ), они ссылаются на те же опросы, которые Орд приводил в качестве обоснования своей оценки экзистенциального риска со стороны ИИ, а затем заявляют, что «даже крайне консервативная оценка дает как минимум 0,1% вероятности катастрофы, вызванной ИИ (столь же ужасной или еще более ужасной, чем вымирание человечества), в течение следующего столетия». Объединив эту оценку с предположением об эффективности инвестиций в исследования безопасности ИИ и со своей «разумной оценкой» числа будущих существ — которое, по их утверждению, составляет «по меньшей мере» 10²⁴, — Макаскилл и Гривз приходят к ошеломляющему выводу. «Каждые 100 долларов, потраченные [на безопасность ИИ], в среднем приносят пользу, эквивалентную спасению одного триллиона [жизней]... что намного превосходит пользу от распределения противомалярийных сеток в ближайшей перспективе»66. Для убежденного сторонника сильного лонгтермизма инвестиции в кремниеводолинную компанию по безопасности ИИ — куда более ценное гуманитарное начинание, чем спасение жизней в тропиках.

И это не какая-то отдельная, изолированная проблема — она была неотъемлемой частью лонгтермизма с самого начала. Ник Бекстед, консультант по безопасности ИИ, давно связан с лонгтермизмом и эффективным альтруизмом. До того как криптоимперия FTX потерпела крах в 2022 году, он был генеральным директором фонда FTX Future Fund. Ранее он некоторое время работал в Институте будущего человечества (FHI) в Оксфорде, а затем — в фонде Open Philanthropy67. А до всего этого он защитил докторскую диссертацию по философии68. Докторская диссертация Бекстеда 2013 года под названием «О колоссальной важности формирования далекого будущего» (On the Overwhelming Importance of Shaping the Far Future) цитируется Ордом как один из важнейших фундаментальных трудов по лонгтермизму и экзистенциальным рискам69. В этой диссертации Бекстед утверждает следующее:

«Если взять другой пример, спасение жизней в бедных странах может иметь значительно меньший косвенный эффект, чем спасение и улучшение жизней в богатых странах. Почему? В более богатых странах происходит существенно больше инноваций, а их работники гораздо более продуктивны экономически. По обычным меркам — по крайней мере, по обычным просвещенным гуманитарным стандартам — спасение и улучшение жизней в богатых странах примерно так же важно, как спасение и улучшение жизней в бедных странах, при условии, что качество жизни повышается примерно в сопоставимой степени. Однако сейчас мне кажется более правдоподобным, что при прочих равных условиях спасение жизни в богатой стране существенно более важно, чем спасение жизни в бедной стране»70.

Иными словами, согласно Бекстеду, жизни людей, живущих, скажем, в Мозамбике, имеют меньшее значение, чем жизни людей в Соединенных Штатах, поскольку американцы внесут больший вклад в славное лонгтермистское будущее в космосе.

Как и в случае с извинениями Бострома за его расистское электронное письмо, Бекстед годы спустя опубликовал заявление по поводу этого фрагмента своей диссертации — и точно так же, как и Бостром, упустил саму суть проблемы, даже не попытавшись извиниться. Он также не стал отрекаться от своих прежних взглядов, а лишь попытался прояснить, что имел в виду. «В этом отрывке исследовался конкретный узкий философский вопрос в академическом духе рассмотрения идей под необычным углом», — написал он в 2022 году. — «Я не считаю, что жизни людей в богатых странах по своей сути ценнее, чем жизни людей в бедных странах»71. Однако это никак не противоречит и не опровергает прежнее утверждение Бекстеда: возможно, он и не думает, что жизнь человека, живущего в США, по своей сути более ценна, чем жизнь жителя Мозамбика, но он все же может считать, что с практической точки зрения американская жизнь имеет большее значение — и, собственно, именно на это он и указывает в данном фрагменте своей диссертации.

Это не значит, что Бекстед считает нормальным игнорировать жителей бедных стран. «Взвесив все за и против, я считаю, что в целом пожертвования на здравоохранение лучше направлять в наименее благополучные страны, — писал он, — и лично я посвятил значительную часть своей карьеры продвижению таких пожертвований, например, будучи членом-соучредителем правления [Giving What We Can]». Свое заявление Бекстед завершил просьбой: «Если вы цитируете эту часть моей диссертации, я буду признателен, если вы также приведете это [примечание], чтобы избежать ненужных недоразумений»72. Однако подобные «недоразумения» относительно того, что лонгтермизм предлагает в отношении современного бедствия и неравенства, довольно распространены в сообществе эффективного альтруизма. «Вначале эффективный альтруизм был в основном направлен на борьбу с глобальной бедностью. Теперь же он все больше сводится к финансированию исследований в области компьютерных наук, чтобы предотвратить вызванный искусственным интеллектом апокалипсис», — писал Дилан Мэтьюз, журналист и сторонник эффективного альтруизма, в своем репортаже с крупной встречи участников движения в 2015 году. «По сравнению с этим, по словам многих присутствовавших, мировая бедность — это просто "ошибка округления"»73.

* * *

Во время обеда в Трейджан-хаусе я встретился с Дэвидом Торстадом, который в то время работал там научным сотрудником. Работая в этих стенах, он неожиданно для себя оказался в роли своего рода внутреннего критика эффективного альтруизма. Он поспешил отметить, что эффективные альтруисты очень благосклонно относятся к продуманным аргументам, критикующим их взгляды, если только они не преподносятся в конфронтационной манере. «Если вы скажете: "Эффективные альтруисты — просто олухи", они разозлятся, — говорит он. — Но если вы скажете: "Эффективные альтруисты хуже убийц, потому что..." — и, замечу, это не моё мнение, — до тех пор, пока вы приводите это "потому что", они будут слушать». Торстад также отметил закономерности, которые он заметил в аргументах, выдвигаемых лонгтермистами. «У них есть один отличный прием — неопределенность, — рассказал он мне за обедом. — Поэтому они часто очень быстро переходят к вероятностям. Они говорят: "Ну хорошо, неужели вы не согласитесь, что здесь есть шанс один на миллион?". И приходится настойчиво призывать их: нет, давайте не будем сразу бросаться называть вероятности. Давайте приведем аргументы, чтобы обосновать наши вероятности. И вам действительно приходится заставлять людей приводить аргументы, а вытянуть из местных обитателей какой-либо аргумент, на мой взгляд, зачастую бывает очень непросто»74.

Таким образом, лонгтермисты строят свои доводы на невероятно сильных выводах — финансирование исследований в области безопасности ИИ в триллионы раз более экономически эффективно, чем предотвращение распространения малярии! Спасение миллиарда живущих сегодня людей не так ценно, как ничтожно малый шанс спасти 10⁵² человек, которые, возможно, когда-нибудь появятся на свет! — основываясь на аргументах, которые опираются на ничтожно малые вероятности и рушатся, если эти вероятности оказываются неверными. А их оценки этих ключевых вероятностей почти ни на чем не основаны. Сопоставьте это с неопровержимыми доказательствами того, что сегодня живут люди, нуждающиеся в помощи, — и вся идея лонгтермизма покажется весьма шаткой.

Макаскилл и Гривз упоминают в своей статье о сильном лонгтермизме, что подобные аргументы типа «малое число, умноженное на большое число» сомнительны, но (осторожно!) приходят к выводу, что такие формы этических рассуждений верны. Орд, со своей стороны, в этом не так уверен. «Мне известны аргументы, связанные с очень малыми вероятностями и очень высокими ставками, и в книге «На краю пропасти» я старался никогда их не приводить, и, думаю, мне это удалось, — говорит он мне. — На самом деле, мне кажется, я прямо указываю на несостоятельность такого аргумента и предлагаю отказаться от него». Когда вы приводите подобные аргументы, продолжает он, «всё оказывается крайне чувствительным к этим неопределенным цифрам. И это меня тревожит»75.

Но если оставить в стороне вопрос о том, действительно ли Орду удалось избежать подобных аргументов — а также его крайне сомнительные оценки вероятности катастрофы ИИ и климатического бедствия, — он всё равно опирается на другой догмат лонгтермистской мысли, как и Макаскилл с Бостромом: гипотезу «времени бедствий». Согласно этой идее, мы переживаем уникально важный, опасный и временный период в истории: мы способны уничтожить себя, но если мы сможем просто продержаться следующие несколько веков, риск снизится, и человечество окажется в безопасности на тысячи, миллионы или миллиарды лет. «Могущество человечества стремительно росло, — говорит мне Орд. — С созданием атомного оружия мы, пожалуй, достигли той стадии, когда способны уничтожить себя собственными действиями. Мы всегда были уязвимы перед угрозами вроде астероидов, которые могли нас погубить. Но теперь у нас появилась возможность совершить самоубийство... Наша сила опередила нашу мудрость, как отмечали Карл Саган и другие»76. Сам термин «время бедствий» также взят из трудов Сагана, и Орд заимствует у него еще одну аналогию для описания этого состояния: представление о человечестве как о подростке, безрассудном и испытывающем на прочность границы своего новообретенного могущества77. «Если мы правильно разыграем свои карты, человечество окажется на ранней стадии жизни: мы всё еще в подростковом возрасте и с нетерпением ждем удивительной зрелости, — пишет Орд в книге «На краю пропасти». — Подобно подростку, мы стремительно обретаем полную силу и не терпим, чтобы поиграть мускулами, опробовать каждую новую способность в тот самый момент, когда мы её получаем. Мы мало заботимся о своем будущем»78.

Орд, как и все лонгтермисты, считает, что это будущее может быть очень долгим и масштабным, вмещающим в себя те огромные массы людей, о которых говорят Бостром, Макаскилл и другие. И именно поэтому ему нужно, чтобы время бедствий было недолгим: в противном случае такое будущее просто маловероятно. «Гипотеза времени бедствий — это очень сильное утверждение, — говорит мне Торстад. — Она гласит, что сейчас ситуация крайне опасна; это очень сильное утверждение. Она гласит, что всё станет гораздо, гораздо, гораздо менее опасным; это еще одно сильное утверждение. И она гласит, что так всё и останется на долгое время». Заимствуя аналогию Орда, Торстад продолжает: «Если мы вырастем во взрослую жизнь как вид, мы станем достаточно зрелыми, чтобы справляться с рисками. А если мы не повзрослеем как вид, мы никогда не положим конец времени бедствий и просто вымрем. Таким образом, идея заключается в том, что либо мы выберемся из этих пары столетий, либо нет»79. Но, говорит он мне, здесь есть несколько серьезных проблем, главная из которых заключается в том, что, как только время бедствий останется позади, риск должен снизиться и оставаться низким — очень низким. «И он должен оставаться [низким] буквально вечно... Когда вы щедро отводите человечеству миллиард лет [будущего], вы обязаны исходить из этого. Потому что если сейчас риск высок, но мы собираемся прожить миллиард лет, риск должен упасть до минимума очень скоро». И, заключает Торстад, в пользу этого практически нет никаких свидетельств80. Чтобы человечество просуществовало миллиард лет, среднегодовой риск нашего вымирания должен составлять не более одного шанса на миллиард. Это кажется просто неправдоподобным — и еще менее правдоподобно, что мы можем знать нечто подобное на столь долгий срок вперед.

Даже прогнозирование «всего лишь» на несколько веков вперед практически невозможно. «Вот почему меня не впечатляют доводы в пользу лонгтермизма... Семилетняя война отстоит от нас в прошлом примерно так же далеко, как 2300 год в будущем. И Семилетняя война оказала причинно-следственное влияние практически на каждую страну на планете, во многих случаях — колоссальное, — пишет философ Брайан Уэзерсон, профессор Мичиганского университета. — Но сделала ли она эти страны лучше или хуже, богаче или беднее, более или менее справедливыми и так далее? Кто знает! Альтернативные сценарии типа «что, если» слишком сложны для анализа, даже при том, что мы знаем, как развернулся один конкретный ход истории. Наша способность знать, что именно изменит вероятность вымирания [через] 250 с лишним лет, а также масштаб и направленность этих изменений, хуже, чем наша способность определять масштаб и направленность причинно-следственного влияния прошлых событий. А мы этого не знаем»81ⁱⁱ.

Несмотря на трудность отслеживания последствий наших действий на протяжении веков, не говоря уже о миллионах тысячелетий, излюбленный способ Орда навсегда снизить экзистенциальный риск заключается в создании социального и политического импульса для предотвращения подобных угроз. «Скажем, например, на уровне экологического движения или чего-то подобного — точно так же, как в период с 1950 по 1970 год произошел довольно быстрый сдвиг в убеждениях людей. Когда внезапно то, что раньше не считалось частью морального мышления, превратилось в одну из его основ, — говорит он мне. — Возможно, мы могли бы сделать это снова и всерьез воспринять продолжение существования человечества как главное ограничение для нашего поведения. А затем регулировать это договорами и тому подобным, создав фактически конституцию для человечества, чтобы в будущем жить в рамках своего рода устойчивого бюджета рисков»82. Но если угроза вымирания человечества высока сейчас, трудно представить, как серия договоров или даже мировое правительство смогут удерживать эту угрозу на низком уровне на протяжении миллиардов лет. Как отмечает Торстад, даже удержание ее на низком уровне в течение десятилетий может породить другие проблемы. «Когда мы говорим, что станем мудрее как вид и поэтому будем управлять рисками, нам нужно совершенно точно определить: что значит стать мудрым? Почему мы думаем, что это произойдет? И почему мы считаем, что это приведет к снижению рисков?» Затем Торстад конкретизирует один из возможных сценариев будущего:

Дьявол кроется именно в деталях того, как именно это произойдет... Например, если спросить, что мы будем делать с биотерроризмом, который обычно называют вторым по величине риском после искусственного интеллекта, то мы бы ввели системы слежки и контроля. Мы бы расширили полномочия по слежке, карательные полномочия, возможности по фокусному наблюдению и полномочия по самому пристальному контролю за индивидуальным использованием генетического секвенирования и других технологий. И если бы мы захотели сделать это достаточно эффективно, чтобы снизить угрозу в тысячу, десять тысяч или сто тысяч раз, несмотря на стремительное, стремительное, стремительное развитие технологий, нам, возможно, пришлось бы превратить мир в гораздо более пугающее место, которое большинство людей сочли бы не просто неразумным, но, возможно, даже не сочли бы улучшением83.

Торстад также говорит, что многие эффективные альтруисты не согласны с Ордом. Вместо того чтобы полагаться на соглашения между людьми вроде договоров и государственных регуляций, они видят другой способ навсегда снизить вероятность вымирания человечества. Это связано с одной из причин, по которой трудно прогнозировать вероятность гибели человечества в далеком будущем: с течением времени могут возникать новые экзистенциальные угрозы. Как минимум, катастрофы, крайне маловероятные в масштабах одного века — такие как падение крупных астероидов или извержение супервулканов, — становятся неизбежными, когда начинаешь рассматривать периоды в десятки или сотни миллионов лет. А новые технологии, такие как ядерная энергетика и генетическая инженерия, принесли с собой новые угрозы, например ядерную войну и искусственное биооружие. Последний факт лонгтермисты (и рационалисты), безусловно, понимают; именно так они видят перспективу создания ОИИ (общего искусственного интеллекта). Но, по словам Торстада, многие из них также видят в согласованном ОИИ реальное решение, позволяющее снизить экзистенциальный риск и удерживать его на низком уровне. «Вот что многие эффективные альтруисты скажут вам о времени бедствий, — говорит он мне. — ИИ станет очень, очень умным и очень быстро. Он может нас убить, но если этого не произойдет, он будет настолько умен, что сможет предвидеть и предотвратить все будущие риски. Такова ортодоксальная версия». Заметив недоумение на моем лице, он добавляет: «Я не шучу»84.

Торстад относится к этому утверждению скептически, мягко говоря. «Утверждение о том, что человечество вскоре создаст сверхразумных искусственных агентов, уже само по себе достаточно спорно, — пишет он. — Последующее же заявление о том, что сверхразумные искусственные системы будут настолько проницательными, что смогут предвидеть и предотвратить практически любой будущий риск, для большинства сторонних наблюдателей контринтуитивно до тошноты»85. На вопрос, почему эффективные альтруисты в это верят, Торстад разводит руками. «У меня нет объяснений. Ни единого», — признается он мне. Он добавляет, что, несмотря на то, насколько распространенной кажется эта вера среди эффективных альтруистов, есть лишь одно место, где это убеждение изложено хоть сколько-нибудь подробно, — короткий комментарий на форуме ЭА, который используют в качестве стандартного источника по этой теме, несмотря на крайнюю скудность деталей. И он подозревает, что это связано с тем, насколько трудно на самом деле защитить такую позицию86. «У меня складывается ощущение, что в последнее время многие аргументы эффективных альтруистов упираются в очень, очень сильные и крайне спекулятивные заявления об ИИ, которые большинство читателей не готовы принять или счесть подкрепленными доказательствами, — говорит он мне. — И что с этими утверждениями мы дойдем до точки, когда у нас останется так мало общего, что вести дискуссию станет практически невозможно»87.

Это обещание благосклонного божества — сверхразумного ИИ, который предвидит и решает все человеческие проблемы, — совпадает с целью сингуляристов и рационалистов: свести все проблемы к разумному применению компьютерных наук. В более широком смысле это мечта о технологии как о спасении от всех угроз. Технологии не решают социальных и политических проблем, равно как и не порождают их сами по себе. Перспектива ядерной войны стала возможной благодаря технологиям, но реальной угрозой она остается из-за геополитики. Люди могли бы объединиться и решить избавить мир от ядерного оружия, так же как мы могли бы объединиться, чтобы остановить глобальное потепление. Применение большего количества интеллекта и технологий к этим проблемам не решит их — они фундаментально политические. Существует бесчисленное множество человеческих проблем, которые могут перерасти в войну, экологическую катастрофу или какую-то другую непредсказуемую угрозу, и ни одна из них не имеет технологического решения. Выход, скажем, из пограничных споров между Индией и Пакистаном не заключается в том, чтобы заваливать проблему новыми технологиями. Идея о том, что согласованный ОИИ (если эта концепция вообще имеет смысл) устранит все экзистенциальные угрозы, просто не имеет под собой никаких оснований в реальности. Постольку, поскольку по этому вопросу существуют научные доказательства, они решительно противоречат такому выводу. Все вычислительные мощности во Вселенной не помогут вам предсказать погоду на два месяца вперед, не говоря уже о том, чтобы предотвратить конфликт, порожденный сложной социальной динамикой людей.

В каком-то смысле Орд прав. Главные проблемы, стоящие сейчас перед человечеством, носят социальный характер, и общественные движения для их решения — отличная идея. Вот только он неверно определил, какие именно проблемы являются наиболее насущными: он считает, что риск со стороны ИИ перевешивает глобальное потепление и все остальное вместе взятое. И даже он сам не застрахован от соблазна стандартной трансгуманистической техноутопии с огромным количеством людей, живущих в космосе. «Когда-то мы думали, что ограничены Землей; теперь мы знаем, что нам доступны неизмеримо большие возможности и ресурсы», — пишет он в «На краю пропасти». — «Нашим главным образом космических путешествий должен быть не комфорт и покой океанского лайнера, а изобретательность, смелость и упорство полинезийских мореплавателей, которые тысячу лет назад бороздили бескрайние просторы Тихого океана, чтобы найти все его разбросанные острова и завершить финальный этап заселения Земли... Если бы мы могли достичь хотя бы одной близлежащей звезды и основать там поселение, перед нами открылась бы вся эта галактика»88. И хотя Орд не думает, что выход в космос предотвратит все экзистенциальные угрозы, он все же полагает, что это обезопасит человечество в большей степени, чем если бы мы все оставались на Земле. Как только начнется колонизация нашей галактики, пишет он, «процесс станет устойчивым перед лицом локальных аварий, неудач или природных катаклизмов»89.

Таким образом, для лонгтермистов космос — это не просто место безграничного будущего, но и часть решения проблемы риска вымирания человечества. Но вдобавок ко всему этому лонгтермисты утверждают, что нам необходимо отправиться в космос — что существует «моральное обоснование колонизации космоса», как выражается Макаскилл, — и что неспособность сделать это стала бы трагедией вселенского масштаба90.

*    *    *

Вглядываясь в космическое пространство, мы вынуждены столкнуться с удивительным фактом о нас самих. Наши глаза — и мои, и ваши — это машины времени. Вы видите вещи не такими, какие они сейчас, — вы видите их такими, какими они были. Мозгу требуется доля секунды, чтобы совершить сразу несколько чудес обработки сигналов: обработать импульсы от светочувствительных клеток сетчатки и сложить их в единую картину окружающего мира, усваивая новую информацию от глаз десятки раз в секунду. Вы всегда отстаете от событий прямо перед вашим носом чуть более чем на десять миллисекунд. Но это лишь начало — стоит заглянуть гораздо дальше собственного носа, и задержка становится по-настоящему огромной из-за конечной скорости света. Серебристый серп Луны, прелестный и нежный в темнеющей лазури сумеречного неба, — это образ, отстоящий от нас более чем на целую секунду в прошлое. Пылающее Солнце, встающее на следующее утро, уже отстает от реальности на восемь минут к тому моменту, когда вы его видите. Остальная часть ночного неба — еще более старые новости. Марс обычно находится примерно в двенадцати световых минутах от нас, Юпитер — примерно в сорока. Мы видим Сириус, самую яркую звезду на ночном небе, таким, каким он был более восьми лет назад. Но когда мы смотрим на Бетельгейзе, десятую по яркости звезду, мы видим ее такой, какой она была более пятисот лет назад, когда птицы дронты все еще бродили по тропическому острову в западной части Индийского океана, которому тогда еще не дали имя Маврикий. А свет от галактики Андромеды, самого далекого объекта, видимого невооруженным глазом, летит к нам два с половиной миллиона лет — он старше самого человечества, из тех времен, когда наши предки на равнинах Восточной Африки только учились изготавливать каменные орудия.

Но самый древний свет во Вселенной заставляет померкнуть даже возраст Земли. Найдите старый телевизор с настоящей антенной — может, в подвале? Или в комиссионке? — и настройте его на пустой канал, заполненный помехами. Убавьте яркость до минимума и понаблюдайте за крошечными серыми вспышками на темном экране. Примерно один процент этих вспышек вызван тем, что в антенну ударяет реликтовое излучение — самый ранний свет во Вселенной.91 Этот свет находится в пути почти четырнадцать миллиардов лет. За это время расширение пространства унесло точку зарождения этого света примерно на сорок шесть миллиардов световых лет, к самому краю наблюдаемой Вселенной. Этот свет образовался всего через несколько сотен тысяч лет после Большого взрыва, когда вся Вселенная еще была настолько раскалена этим яростным событием, что светилась тускло-красным цветом, а ее температура составляла половину от температуры поверхности сегодняшнего Солнца. Порция этого невыразимо древнего света, столкнувшаяся с вашей телевизионной антенной, изначально находилась в ближнем инфракрасном диапазоне, как раз за пределами человеческого зрения. Но за время своего долгого, эпического пути расширение самой Вселенной растянуло этот свет, лишив его энергии и превратив из дрожащего теплого инфракрасного излучения в длинную, ленивую радиоволну. Время меняет всё — даже первозданный свет.

Это же космическое расширение со временем оставит нас в глубоком одиночестве. Наблюдаемая Вселенная простирается более чем на девяносто миллиардов световых лет в поперечнике и содержит около двух триллионов галактик, но это ненадолго. Расширение Вселенной ускоряется — так происходит уже последние несколько миллиардов лет. Примерно через сто миллиардов лет оно унесет прочь все галактики, кроме самых близких: нашего Млечного Пути, а также Андромеды, Треугольника и огромного множества карликовых галактик, известных под общим названием Местная группа. Все остальные исчезнут навсегда, скрывшись из нашего поля зрения. Примерно в то же время вся Местная группа сольется в одну гигантскую галактику — «Млекомеду», и на этом всё: она останется единственной галактикой, которую можно будет увидеть где бы то ни было.92

И все же, даже после того как остальная часть космоса покинет нас, у нас все еще останется почти неизмеримое изобилие — на какое-то время. В нашей Местной группе насчитывается значительно больше триллиона звезд, у большинства из которых есть планеты — более миллиона миллионов миров, покрытых замерзшим воздухом, скалами, газом или даже водой. Здесь раскинулись колоссальные туманности, газовые облака протяженностью в световые годы, которые сжимаются, давая жизнь новым звездам, пока вокруг них из пылинок и глыб размером с Манхэттен формируются новые причудливые миры. В самом центре нашей собственной галактики таится черная дыра, которая заигрывает со звездами вокруг, играет со своей едой и заставляет голубых сверхгигантов носиться со скоростью в несколько процентов от световой перед их окончательным, неизбежным падением в ее гравитационную глотку. Через сто миллиардов лет, запертые в одиноких глубинах Млекомеды, звезды все еще будут сиять. Но рано или поздно умрут и они: более крупные будут жадно сжигать свои запасы атомов за считаные миллионы лет, пока не погибнут в виде сверхновых, каждая из которых на короткое мгновение затмит всю остальную галактику, вместе взятую; более мелкие будут бережно расходовать свое топливо на протяжении миллиардов веков, а затем сиять еще в тысячу раз дольше в качестве белых карликов, прежде чем окончательно угаснуть во тьме. Их свет угаснет. Их планеты будут поглощены пламенем или замерзнут в ледяных глубинах космоса. Их звездные остатки распадутся или будут поглощены черными дырами, а затем и сами эти черные дыры тоже погибнут, испарившись в виде излучения и растворившись в долгой ночи. В конечном счете останется лишь это излучение, смешанное с призрачным эхом первозданного космического фона, растягивающееся все сильнее под воздействием неумолимо ускоряющегося расширения пространства, истощающего последние крохи энергии в отголосках Большого взрыва.

Это и есть тепловая смерть Вселенной — окончательная смерть любых температурных различий, любых различий вообще, продиктованная самым незыблемым из существующих законов физики: вторым началом термодинамики, которое гласит, что в замкнутой системе, подобной нашей Вселенной, энтропия должна неизменно возрастать. Энтропию часто объясняют как меру беспорядка, но на этих космических масштабах времени ее можно представить как меру одинаковости: если между двумя областями Вселенной есть различие, растущая энтропия со временем сгладит его, пока они не станут идентичными — одинаково заполненными одинаково хаотичным веществом при одинаковой температуре. Эта гонка за одинаковостью правит Вселенной и сегодня. Энтропия космоса неумолимо растет множеством путей — как причудых, так и привычных. Солнце излучает тепло, согревая свое окружение по мере того, как иссякает его обладающее низкой энтропией ядерное топливо; кубик льда тает в стакане воды, пока они не станут единым целым. Земля поглощает свет и тепло с низкой энтропией от Солнца — высокую температуру, исходящую с одного направления, — и переизлучает их обратно уже с более высокой энтропией — при более низкой температуре и во всех направлениях. Растения улавливают этот низкоэнтропийный солнечный свет и используют его для разрыва и создания химических связей, чтобы вырабатывать сахар — относительно низкоэнтропийный источник энергии, — но при этом они увеличивают общую энтропию, выделяя в процессе тепло. Мы потребляем этот сахар в качестве топлива, непрерывно излучая высокоэнтропийное тепло своего тела во всех направлениях — весь день, каждый день. Время идет, причем само направление будущего определяется направлением роста энтропии: именно низкоэнтропийное состояние Вселенной в прошлом отличает прошлое от будущего, задавая времени его стрелу. Будущее наступает день за днем, ведя Вселенную к тепловой смерти, несущей с собой неизбежный рост энтропии во всем великом и малом. В наших клетках накапливается беспорядок; мы стареем и умираем. Умирает Земля. Умирает Солнце. В конце концов умирает всё.

Это не единственная возможная судьба Вселенной. Но, пожалуй, самая приятная из всех возможных. Все они предполагают неумолимый рост энтропии; разница лишь в том, как долго просуществует Вселенная в том виде, в каком мы ее знаем. Некоторые варианты предусматривают повторное сжатие Вселенной, ведущее к «Большому взрыву наоборот»; другие буквально разрывают Вселенную на части, пока еще светят звезды (хотя оба эти сценария крайне маловероятны). Больше всего тревожит вероятность распада вакуума: внезапное изменение фундаментального состояния пространства-времени в одной из областей Вселенной из-за случайной квантовой флуктуации, в результате чего возникает расширяющийся со скоростью света пузырь, который навечно уничтожает буквально всё на своем пути. Конец всему, мгновенный и без предупреждения. Ни один из этих вариантов нельзя исключать. Однако тепловая смерть на фоне бесконечного ускоряющегося расширения считается сегодня наиболее вероятной судьбой Вселенной среди современных космологов — с возможным финальным аккордом в виде распада вакуума в далеком будущем, спустя долгое время после того, как тепловая смерть установит свое неумолимое единообразие во всей Вселенной.

Что мы должны чувствовать по этому поводу? Что нам делать перед лицом гибели всего сущего? Как нам жить? Я не знаю. Мы абстрактно знаем, что умрем. Конец человечества кажется еще более абстрактным. А постичь угасание самих звезд и вовсе за пределами нашего понимания. Временные масштабы здесь настолько велики, что мы не способны осознать их напрямую, и перед ними пасуют любые аналогии. Последняя черная дыра в наблюдаемой Вселенной испарится примерно через 10¹⁰⁰ лет или около того; я посвятил изрядную часть своей карьеры поискам способа интуитивно объяснить величину столь огромных чисел, и мне кажется, что хорошего способа просто не существует. Растерянность в таком случае кажется вполне уместной реакцией на мрачную судьбу космоса. Как и отчаяние, гнев или надежда — надежда на то, что физика ошибается, что ошибаюсь я. И возможно, я действительно ошибаюсь. Но именно такое будущее готовит Вселенной современная наука в лучших своих проявлениях. Мы не вольны это выбирать. Все, что мы можем выбирать, — это наша реакция.

Позвольте мне в таком случае предложить один вариант ответа. Это не «правильный» ответ — правильного ответа на конец всего сущего не существует, — но, как мне кажется, вполне здравый. А начинается он с одной истории, апокрифической и неизвестного происхождения. Несколько десятилетий назад выдающийся астроном читала публичную лекцию о Солнечной системе в переполненном зале. Она рассказывала о том, как 4,5 миллиарда лет назад Солнце и планеты сформировались из сжимающегося облака газа и пыли, как гравитация Солнца удерживает планеты на их эллиптических орбитах, и, наконец, о том, как через пять миллиардов лет Солнце расширится, превратится в красного гиганта и поглотит Землю. На этих словах мужчина в третьем ряду робко поднял дрожащую руку. Астроном кивнула ему, и он поднялся с места.

— Простите, вы только что сказали, что Солнце поглотит Землю через пять миллионов лет? — спросил он.

— Не совсем — это произойдет через пять миллиардов лет, — ответила астроном.

— Ох, слава богу! — ответил мужчина с явным облегчением.

Да, Вселенной когда-нибудь придет конец. Но пока мы живы, здесь, на Земле. Эта планета — наш дом. Миллиарды лет эволюции приспособили нас к ней, а её сделали гостеприимной для нас. Природная красота этой планеты превосходит всё, что способно измыслить человеческое воображение. Здесь есть киты размером с пассажирский самолет, тихоходки шириной в половину ресницы и укрытые в горах узловатые деревья, которые старше египетских пирамид в Гизе. Здесь есть покрытые снегом вулканы в вечной зиме Антарктиды; есть изобилующие жизнью разломы в миле под поверхностью Тихого океана; есть чистые реки, вьющиеся по субальпийским лугам, а рядом с ними — обточенные водой камни, которые летним днем долго хранят тепло. И еще на этой планете живут восемь миллиардов других людей, которые прямо сейчас нуждаются в нашем внимании, заботе и любви. Наши поступки и чувства — помощь, которую мы оказываем друг другу, радость, которую мы черпаем в великолепии этого мира, — не потеряют своего значения или ценности с течением времени. Непостоянство Вселенной не делает существование бессмысленным: то, что мы были здесь, навсегда останется истиной, даже когда исчезнут последние наши следы. Мы здесь прямо сейчас, в мире, который дает нам куда больше, чем мы могли бы разумно просить. Мы можем радоваться этому и находить удовлетворение и смысл в том, чтобы сделать этот мир чуточку лучше для каждого человека и каждого живого существа на нем, независимо от конечной судьбы космоса.

Это один из возможных ответов. А вот другой:

Пока я пишу эти строки, солнца освещают и согревают пустые комнаты, неиспользуемая энергия утекает в черные дыры, а наше великое общее достояние в виде негэнтропии [энергии с низкой энтропией] необратимо превращается в энтропию в космических масштабах. Это ресурсы, которые развитая цивилизация могла бы использовать для создания ценностных структур — таких, как разумные существа, живущие достойной жизнью. Темпы этой утраты поражают воображение. В одной из недавних работ на основе приблизительных теоретических соображений, связанных со скоростью роста энтропии, высказывается предположение, что потери потенциальных человеческих жизней в нашем собственном сверхскоплении галактик составляют не менее ~1046 за каждый век задержки колонизации... Даже по самым консервативным оценкам, предполагающим биологическое воплощение каждого человека, каждую секунду отсрочки колонизации нашего сверхскопления теряется потенциал для появления ста триллионов потенциальных человеческих существ. С утилитаристской точки зрения эта огромная потеря потенциальных человеческих жизней представляет собой столь же огромную потерю потенциальной ценности... Таким образом, влияние на совокупную ценность у действий, ускоряющих технологическое развитие, представляется более значительным, чем у практически любых других возможных действий. Продвижение технологий (или способствующих им факторов, таких как экономическая продуктивность) даже на столь ничтожную величину, которая позволит колонизировать местное сверхскопление всего на одну секунду раньше, чем произошло бы в противном случае, эквивалентно созданию более чем 1029 человеческих жизней (или 1014 человеческих жизней, если использовать самую консервативную нижнюю оценку), которые иначе никогда бы не существовали. Мало какие другие филантропические начинания могут надеяться сравниться с таким уровнем утилитарной отдачи.93

Это Ник Бостром в своей статье 2003 года «Астрономическая растрата: альтернативная стоимость отложенного технологического развития». А вот слова Тоби Орда из книги «На краю пропасти»:

В предельном физическом масштабе существует 20 миллиардов галактик, до которых могли бы добраться наши потомки. Семь восьмых из них находятся более чем на полпути к краю доступной воздействию Вселенной — так далеко, что, когда мы достигнем их, обратно уже нельзя будет отправить ни одного сигнала. Таким образом, расселение по этим далеким галактикам станет окончательной диаспорой, где каждая галактическая группа образует собственное суверенное владение, вскоре причинно изолированное от остальных. Подобная изоляция вовсе не обязательно означает одиночество — каждая группа будет содержать сотни миллиардов звезд, — но она может означать свободу. Они могут быть созданы как части общего проекта, запущенного на основе единой конституции, или как независимые владения, каждое из которых выбирает собственный путь... Если мы сможем отправиться в путь и оживить бесчисленные миры над нами жизнью, любовью и мыслью... мы сможем раскрыть наш космос во всем его масштабе; сделать его достойным нашего благоговения. И поскольку, судя по всему, только мы способны раскрыть Вселенную в столь полном масштабе, мы можем обладать огромной инструментальной ценностью, что ставит нас в самый центр этой картины мироздания. Таким образом, наш потенциал и потенциал самих масштабов нашей Вселенной неразрывно переплетены.94

А вот слова Андерса Сандберга и Стюарта Армстронга, бывшего исследователя из FHI, из статьи 2013 года о том, как именно все это можно осуществить:

Межгалактические путешествия — и даже запуск проекта по колонизации всей достижимой Вселенной — задача относительно простая для цивилизации межзвездного масштаба, требующая умеренного количества энергии и ресурсов. Для начала мы продемонстрируем, что само человечество, вероятно, могло бы осуществить такой проект колонизации в обозримом будущем, если бы мы того пожелали. При определенных технологических допущениях, таких как усовершенствованная автоматизация, задача строительства сфер Дайсона, проектирования самовоспроизводящихся зондов и их запуска к далеким галактикам становится вполне выполнимой... В космическом масштабе затраты, время и энергия, необходимые для начала колонизации всей достижимой Вселенной, совершенно ничтожны для развитой человекоподобной цивилизации. Как только колонизация Вселенной пойдет полным ходом, в аналогичные сроки может быть запущена вторая волна для колонизации галактики... Почти каждая звезда может быть захвачена за два или три поколения репликаторов.95

Мы уже сталкивались с подобным. По сути, это те же самые самовоспроизводящиеся роботы-конструкторы, появление которых предсказывал Курцвейл, буквально закатывающие под асфальт всю природу во всей Вселенной. И точно так же, как Курцвейл, эти лидеры лонгтермизма считают, что отсутствие инопланетных роботов-конструкторов указывает на то, что мы, вероятно, одиноки во Вселенной. «Для цивилизации межзвездного масштаба требуемые энергия и ресурсы оказались бы настолько незначительными, что они могли бы осуществить этот проект попутно со своими обычными делами... Этот результат подразумевает, что отсутствие инопланетян вызывает больше недоумения, чем если бы мы просто рассматривали нашу собственную галактику», — писали Сандберг и Армстронг в 2013 году.96 В статье 2018 года Сандберг, Орд и Эрик Дрекслер пришли к выводу, что наиболее вероятное объяснение этого отсутствия заключается в том, что мы одиноки во Вселенной — или почти одиноки. «Мы обнаруживаем значительную вероятность того, что мы одиноки в нашей галактике и, возможно, даже в нашей наблюдаемой Вселенной», — писали они, утверждая, что любые инопланетные цивилизации «вероятно, находятся чрезвычайно далеко и, вполне возможно, за космологическим горизонтом, навсегда недосягаемые».97 Бостром согласен с этим. «Мое предположение состоит в том, что в нашей наблюдаемой Вселенной нет разумной жизни, — говорит он. — Так что нам не нужно беспокоиться о том, что мы отнимем у них материю». Представление Бострома об этом несколько отличается в деталях от идей Армстронга и Сандберга, но для него желаемый итог совпадает с мечтами Курцвейла: уничтожение природы во имя превращения Вселенной в гигантский компьютер. Он рисует в воображении «растущую сферу, пузырь технологической инфраструктуры с Землей в центре. Он расширяется во всех направлениях со скоростью света... Скорее всего, все будут жить в виртуальной реальности или в какой-то абстрактной реальности».98

И все же, вопреки заявлениям о том, что эти технологии представляют собой неизбежное будущее любой разумной жизни (очередное проявление риторики неизбежности), научные обоснования космических притязаний лонгтермистов в лучшем случае шатки. Схема Сандберга и Армстронга по колонизации Вселенной требует создания флота чрезвычайно мощных самовоспроизводящихся космических зондов — но для их постройки нам понадобится огромное количество технологий, которых еще не существует и которые, возможно, никогда не появятся. Курцвейл предлагал аналогичные зонды на основе нанотехнологий в стиле Дрекслера, однако подобные молекулярные сборщики и разборщики сталкиваются с серьезными препятствиями. Возможно, найдутся способы, позволяющие самовоспроизводящимся зондам Сандберга и Армстронга достичь своих целей без перехода на молекулярный уровень, но это означало бы, что часть материала останется необработанной и, следовательно, с точки зрения лонгтермистов, будет «потрачена впустую». Сандберг и Армстронг также, по-видимому, подразумевают, что их зонды позволят загруженным сознаниям обитать в компьютерах, бороздящих космос; Бостром говорит об этом еще более прямо. Однако загрузка сознания — это тоже сугубо умозрительная технология, не говоря уже о том, что сама бостромовская оценка вычислительной мощности человеческого мозга весьма спорна, поскольку для нее не существует общепринятого значения (да и далеко не все нейробиологи вообще согласны с тем, что деятельность мозга можно полностью свести к вычислениям).

Независимо от жизнеспособности этих конкретных технологий, самовоспроизводящиеся межзвездные зонды должны быть полностью автономными. Им придется действовать слишком далеко от дома, чтобы полагаться на команды с Земли. Учитывая сложность их миссии и непредсказуемость окружения, для этого, вероятно, потребуется, чтобы на борту каждого зонда находился полноценный сильный ИИ (AGI), способный самостоятельно строить планы и принимать решения. В любом случае, именно это имеют в виду Бостром и другие лонгтермисты: они хотят видеть Вселенную, изобилующую счастливым, сознательным разумом, пусть даже и не человеческим. Но сам по себе AGI — это еще одна несуществующая и недоказанная технология. Мы не знаем, что потребуется для его создания, а также возникнут ли непредвиденные препятствия при размещении сильного ИИ в подобном зонде и отправке его на межгалактические расстояния. (И даже если их не возникнет, могут возникнуть щекотливые этические вопросы: действительно ли сильный ИИ захочет отправиться в это невероятно опасное путешествие в один конец? Если это полностью сознательное и разумное существо, его мнение придется учитывать). То же самое относится и ко всем остальным несуществующим технологиям, которые должны нести в себе эти зонды, — например, к их совершенно гипотетическим двигательным установкам, которые, даже если их удастся создать, могут плохо работать в космосе или в столь ограниченном пространстве. (Самовоспроизводящиеся зонды должны быть довольно маленькими, как мы вскоре увидим).

Однако даже если такие зонды технически возможны, их создание может оказаться очень плохой идеей. Самовоспроизводящиеся зонды, какими их представляют себе Сандберг и Армстронг, были бы чрезвычайно разрушительными, способными разрывать на части и поглощать целые планеты. По сравнению с ними ядерное оружие показалось бы детскими хлопушками. Создание подобного аппарата само по себе спровоцировало бы масштабный кризис в международных отношениях и могло бы подстегнуть гонку вооружений, где одно неверное движение способно уничтожить всю Землю, а возможно, и остальную часть Вселенной. Более того, лонгтермисты планируют поместить в эти зонды сильный ИИ, что порождает проблему доверия между создателями этого ИИ (которым может оказаться другой ИИ) и остальным человечеством.99 Само существование новых устройств, способных мгновенно уничтожить всю планету в случае всего одной аварии (или если эта технология попадет в руки всего одного психически неуравновешенного человека), кажется именно тем, против чего должны выступать люди, заинтересованные в предотвращении вымирания человечества, а не тем, что они должны стремиться приблизить.

Существует также проблема материалов и энергии, необходимых для работы этих самовоспроизводящихся зондов. Сандберг и Армстронг предлагают запускать эти зонды со скоростью от 50 до 99 процентов от скорости света, в зависимости от деталей. Это поистине невообразимые скорости. Максимальная скорость солнечного зонда «Паркер», самого быстрого искусственного объекта в истории на сегодняшний день, составляет менее 0,1 процента от скорости света. Сандберг и Армстронг весьма смутно описывают детали того, какая пусковая система могла бы разогнать эти зонды до столь высоких скоростей. Они упоминают несколько гипотетических систем, ни одна из которых никогда не использовалась для запуска чего-либо подобного, а некоторые и вовсе никогда не строились. Но это, пожалуй, не самая большая проблема, когда речь заходит о запуске этих зондов, ведь независимо от способа запуска для их разгона до таких скоростей потребовалось бы колоссальное количество энергии. Схема Сандберга и Армстронга по получению этой энергии заключается в том, чтобы «полностью разобрать Меркурий» и использовать его для того, чтобы заслонить солнечный свет «роем Дайсона»100. Это разновидность сферы Дайсона — гигантской конструкции, которая окружает звезду, чтобы улавливать и использовать всю ее энергию. Сферы Дайсона названы в честь физика Фримена Дайсона, который описал эту концепцию в статье 1960 года, опираясь на идею писателя-фантаста начала двадцатого века Олафа Стэплдона. Вопреки названию, такие сферы, вероятно, не могли бы быть цельными конструкциями. Вместо этого законы физики предполагают, что сферы Дайсона можно построить из роя небольших независимых конструкций вокруг родительской звезды. Сандберг и Армстронг предлагают разместить такой рой Дайсона на том же расстоянии от Солнца, что и Меркурий; сфера такого размера имела бы площадь поверхности более четырех тысяч триллионов квадратных километров, что более чем в восемьдесят миллионов раз превышает площадь всей Земли. Если распределить вещество Меркурия по этой площади, то, по расчетам Сандберга и Армстронга, толщина роя не сможет превышать примерно полмиллиметра. Разместить в таком рое материалы, необходимые для улавливания и использования энергии всего Солнца, было бы непростой задачей, особенно с учетом чрезвычайно высокого уровня радиации от бушующего внутри ядерного огненного шара; уберечь рой от солнечных вспышек и бурь было бы еще сложнее. Но после разборки целой планеты для создания роя отправка межгалактических зондов для колонизации Вселенной показалась бы сравнительно простой задачей: для постройки флота зондов потребовалась бы лишь малая часть вещества Меркурия. Затем рой Дайсона улавливал бы всю излучаемую Солнцем энергию в течение нескольких часов, чтобы запустить зонды почти со скоростью света с помощью гипотетической двигательной установки.

Даже если предположить, что такие зонды можно построить и запустить, они все равно столкнутся с новыми препятствиями. Путешествие к другой галактике займет много времени, как минимум более двух миллионов лет — или в десять тысяч раз дольше, в зависимости от целевой галактики, — хотя с точки зрения самих зондов, благодаря магии теории относительности, оно окажется значительно короче. Для зонда, летящего со скоростью 99 процентов от скорости света, путь до Андромеды займет «всего» около 360 000 лет. Но за этот фокус придется заплатить свою цену: с их точки зрения остальная Вселенная будет проноситься мимо на скорости 99 процентов от скорости света, а значит, любая одиночная субатомная частица в глубоком космосе превратится в опасное высокоэнергетическое излучение, а любая пылинка — в небольшой взрывной заряд. Поскольку большинство зондов не доберутся до места назначения из-за столкновений на околосветовой скорости, Сандберг и Армстронг предлагают отправлять к каждой галактике дублирующие группы зондов. Но это не решает проблему, которую могут создать отдельные субатомные частицы в виде жесткого излучения во время пути, или аналогичные проблемы, которые может вызвать менее энергичное излучение, когда выжившие зонды прибудут к месту назначения. Радиация сеет хаос во всех известных вычислительных системах: она может приводить к самопроизвольному изменению состояния битов, повреждению памяти и игнорированию команд. Такое поведение нежелательно для любого компьютера, а уж тем более для того, который управляет механизмами, способными уничтожить целую звездную систему.

Однако если зонды все же переживут это путешествие, перед ними по-прежнему будет стоять задача сделать именно это: уничтожить целую звездную систему. Их ближайшей целью станет строительство очередного роя Дайсона для улавливания энергии звезды в целевой галактике, чтобы за счет нее обеспечить создание следующего поколения самовоспроизводящихся межгалактических и межзвездных зондов. Конечная же цель заключается в том, чтобы окружить каждую звезду в доступной части Вселенной и тем самым предотвратить то, что Бостром называет «астрономической растратой».

Сандберг и Армстронг спешат подчеркнуть, что этот сценарий не обязательно отражает то, что, по их мнению, произойдет на самом деле. «Мы вовсе не утверждаем, что всеобщая колонизация обязательно пойдет именно по этому пути или что вся энергия звезды будет направлена на эту единственную цель (хотя и забавно представлять себе будущего "Президента Солнечной системы", провозглашающего: "Всем выключить свои шлемы виртуальной реальности на шесть часов, мы колонизируем Вселенную!")», — пишут они. «Скорее это показывает, что если бы человечество выжило в течение, скажем, миллиона лет — что по космическим меркам все еще ничтожный срок — и если бы мы расселились по нескольким звездным системам и тратили почти всю доступную энергию на собственные развлечения, мы все равно могли бы многократно обеспечить эти запуски за счет небольшого количества избыточной энергии». Смысл всех этих теоретизирований вовсе не в том, что этот конкретный сценарий непременно воплотится в жизнь. Авторы лишь пытаются доказать, что отправка подобных зондов по всей Вселенной осуществима, предлагая план, который они называют не просто правдоподобным, но «консервативным». Это смелое заявление, учитывая, что ни одна из этих технологий никогда не тестировалась на практике. Не существует никакого жизнеспособного плана по их созданию, и вполне возможно, что все это попросту не сработает. Сандберг и Армстронг неоднократно отмечают, что с точки зрения фундаментальной физики для этого нет никаких известных препятствий — и это, пожалуй, правда, — однако это далеко не то же самое, что заявить, будто препятствий не существует вовсе или что создание такой системы когда-либо станет возможным. Для сборки подобной системы могут потребоваться материалы, которых не существует или не может существовать в принципе. Без более детального плана и дополнительных испытаний невозможно узнать, реализуемы ли такие технологии. Простой набросок аргумента в пользу осуществимости еще не означает, что какая-либо из этих технологий или что-то подобное действительно может быть создано.

Но даже если подобное будущее технологически возможно, прежде всего возникает вопрос: а желательно ли оно вообще? Лонгтермисты весьма оптимистично оценивают реализуемость такого сценария, но еще сильнее они уверены в его желательности — настолько, что считают эту желательность универсальным свойством, которое разделил бы любой (или, по крайней мере, многие) разумный вид в космосе. Отсюда и убежденность Бострома и Сандберга в том, что инопланетных цивилизаций не существует в радиусе миллиардов световых лет от нас, если они вообще есть. Ведь если бы такие пришельцы существовали, мы бы видели их самовоспроизводящиеся зонды или как минимум следы их сфер Дайсона в виде гаснущих по всему космосу звезд. Однако этот аргумент исходит из предпосылки, что подобные технологии вообще осуществимы — возможно, отсутствие самовоспроизводящихся зондов и сфер Дайсона просто доказывает, что их невозможно построить, — а также строится на огромном количестве необоснованных допущений о том, чего хотели бы инопланетяне и как они смотрели бы на мир, что свидетельствует о полном отсутствии воображения. Инопланетяне могут оказаться действительно чуждыми. У них могут быть совершенно иные органы чувств. То, что кажется очевидным нам, им может показаться заумным или даже в корне неверным, и наоборот. Они могут быть совершенно неузнаваемыми; они могут быть лишены способности двигаться; они могут состоять не из чего-то твердого; они могут питаться алмазами и извергать лаву. Их мотивы в какой-то мере будут определяться их физической формой — о которой мы можем делать определенные обоснованные догадки, — но также их мотивы будут формироваться их культурой, а в этом вопросе мы абсолютно не представляем, что там может происходить. Человеческие культуры невероятно разнообразны, и это лишь в рамках одного нашего вида. На Земле есть и другие разумные существа — дельфины, слоны, вороны, осьминоги, — и их языки и повадки полностью, колоссально отличаются от наших, несмотря на наше общее происхождение. Даже шимпанзе и бонобо, наши ближайшие родственники, чужды нам; они хотят совершенно не того же, чего и мы, а общение с ними трудно и ненадежно. Как же мы можем надеяться угадать, что сочтет важным существо, развивавшееся совершенно независимо, в абсолютно иной экосистеме на другой планете, вращающейся вокруг далекой звезды? У них может не быть даже таких понятий, как «важность», «рациональность», «культура» или «космос». Даже большинство людей не хотят строить сферу Дайсона или запускать самовоспроизводящиеся зонды. С чего бы вдруг кому-то думать, что все — или хотя бы какие-то — инопланетяне захотят заниматься подобными вещами?

Да и вообще, почему лонгтермисты так хотят этим заниматься? Если инопланетяне существуют — а есть веские аргументы в пользу того, что по крайней мере какие-то формы внеземной жизни есть, пусть даже на уровне бактерий, — то закатать всю Вселенную в асфальт — это преступление против любой другой жизни, рассеянной по космосу. «Если на Марсе есть жизнь, я считаю, что нам не следует ничего с ним делать, — писал Карл Саган в книге «Космос». — В таком случае Марс принадлежит марсианам, даже если эти марсиане — всего лишь микробы. Существование независимой биологии на соседней планете — это бесценное сокровище, и сохранение этой жизни, на мой взгляд, должно иметь приоритет над любым другим возможным использованием Марса»101. Слова Сагана должны относиться к любой планете, на которой есть хоть какая-то жизнь: её нельзя тревожить, какой бы простой эта жизнь ни была. И даже если во всей остальной Вселенной нет вообще никакой жизни (что в любом случае невозможно доказать), отправка самовоспроизводящихся зондов все равно была бы космической несправедливостью, исключающей саму возможность зарождения новой жизни и новых цивилизаций в будущем и одновременно лишающей космос даже подобия естественной красоты. К чести Макаскилла, он предположил, что галактики, имеющие «хотя бы 1 процент шанса на естественное развитие высокоорганизованной жизни, [следует] оставить в покое». Но это вряд ли можно назвать решением, поскольку сделать такую оценку попросту невозможно. Неясно также, что именно считать «высокоорганизованной» жизнью и почему ее «высокоорганизованный» статус вообще должен иметь значение. Макаскилл также предлагает разделить все остальные галактики во Вселенной между всеми людьми — как будто мы имеем право на всю Вселенную102. В этой логике есть что-то от порочного круга: мы не видим самовоспроизводящихся зондов, значит, инопланетян нет, а следовательно, мы имеем моральное оправдание для отправки собственных самовоспроизводящихся зондов. Даже на первый взгляд это выглядит абсурдно. Уничтожение планет целых галактик ради того, чтобы лишить их звездного света, звучит как план межгалактического суперзлодея из фильмов о Джеймсе Бонде. Зачем оксфордским этикам это нужно? Их декларируемая мотивация — создать как можно больше людей или мыслящих существ до тепловой смерти Вселенной. Но зачем? В чем смысл этой жестокой мечты? Неужели они думают, что смогут набрать больше всех очков и занять первую строчку в таблице рекордов в конце существования Вселенной?

По всей видимости, да. Многие лонгтермисты (включая Макаскилла) склоняются к определенной утилитаристской концепции, называемой «суммарным подходом», которая утверждает, что лучшим решением является максимизация полезности (что бы под этим ни понималось, но пока назовем это счастьем) всей популяции людей или разумных существ. Так, например, если бы стоял выбор между миром, где живет один безгранично счастливый человек, и миром с двумя людьми, каждый из которых счастлив лишь на 75 процентов от уровня первого, сторонник суммарного подхода выбрал бы второй вариант, поскольку общее количество счастья во втором мире на 50 процентов больше. Эту логику можно продолжить: если выбирать между миром с восемью миллиардами умеренно счастливых людей и миром с восемьюдесятью триллионами людей, каждый из которых в среднем счастлив лишь на одну тысячную от этого уровня, суммарный подход потребует выбрать второй вариант, ведь общего счастья в таком мире будет в десять раз больше. Если довести эту мысль до логического завершения, суммарный подход подразумевает, что Вселенная, до краев заполненная несчастными людьми, которые (в среднем) лишь едва-едва счастливы настолько, чтобы их жизнь стоило продолжать, лучше, чем мир с меньшим числом искренне счастливых людей. Это положение известно как отвратительный вывод — термин, введенный влиятельным философом XX века Дереком Парфитом, который сам отвергал эту идею. И он был не одинок. «Многие [этики] рассматривают отвратительный вывод как опровержение суммарного подхода», — пишет философ из Массачусетского технологического института Киран Сетия. «Представьте себе самую худшую жизнь, которую только можно прожить, не жалея при этом о самом своем рождении. А теперь представьте жизнь своей мечты. Для тех, кто соглашается с отвратительным выводом, будущее, в котором триллионы из нас колонизируют планеты, чтобы влачить существование первого типа, лучше, чем будущее, в котором мы в скромном количестве остаемся на Земле, воплощая в жизнь второй сценарий»103.

Парфит, которого Сетия называет «культовой фигурой», был научным руководителем кандидатской диссертации Тоби Орда, и сам Орд, как и многие другие сторонники лонгтермизма, чрезвычайно высоко ценит труды Парфита104. Значительная часть книги Макаскилла «Что мы должны будущему» посвящена идеям Парфита. Макаскилл называет Парфита «одним из самых творческих и влиятельных моральных философов прошлого века» и приписывает ему многие ключевые идеи, которые привели к возникновению лонгтермизма, особенно в том, что касается осмысления экзистенциальных рисков105. Однако Макаскилл, Орд и многие другие участники движения ЭА категорически не согласны с Парфитом по крайней мере в одном принципиальном вопросе: их вполне устраивает отвратительный вывод. «Недавно было опубликовано публичное заявление — весьма необычный шаг для философии, — подписанное двадцатью девятью философами, в котором утверждалось, что тот факт, что теория этики народонаселения ведет к отвратительному выводу, не должен быть решающим аргументом для ее отклонения», — писал Макаскилл в книге «Что мы должны будущему». «Я был одним из тех, кто его подписал»106. Орд, Гривз и два сотрудника фонда Open Philanthropy также поставили свои подписи. «Отвратительный вывод во многом опирается на интуитивные представления о ситуациях, связанных с очень большим числом людей. Масштаб таких огромных чисел трудно воспринять на интуитивном уровне, — писали они. — Мы также плохо умеем суммировать малые величины. Поэтому мы можем не замечать, как множество жизней с малой, но все же положительной ценностью могут в сумме составить нечто чрезвычайно ценное»107.

Отвратительный вывод действительно кажется отвратительным сам по себе. Но готовность лонгтермистов тем не менее допускать его — Макаскилл пишет, что сам склоняется к этой точке зрения — заставляет нас задаться вопросом: почему же он отвратителен, откуда берется это чувство неприятия?108 Триллионы людей, которые счастливы лишь едва-едва настолько, чтобы продолжать жить, просто не кажутся хорошим вариантом устройства мира, особенно когда есть альтернатива в виде миллиардов искренне счастливых и самореализовавшихся людей, живущих полноценной жизнью. Здесь чего-то не хватает, чего-то, что упускает суммарный подход и его взгляд на этику, и это упущение как раз и отражается в отвратительном выводе. Вариация мысленного эксперимента с отвратительным выводом указывает на суть проблемы. Представьте себе город Ривертаун с десятью тысячами умеренно счастливых жителей и другой город, Лейквилл, тоже с десятью тысячами жителей, каждый из которых счастлив лишь на 80 процентов от уровня жителей Ривертауна. Теперь добавьте в Лейквилл еще сто человек, каждый из которых невероятно, безумно счастлив, не знает забот и не работает, а все их желания и прихоти исполняют остальные десять тысяч жителей города. Каждый из этой элитной сотни счастлив так же, как двадцать жителей Ривертауна вместе взятые. В каком городе вы предпочли бы жить? С точки зрения суммарного подхода это всё равно что подбросить монетку: оба города одинаково хороши. Теперь представьте третий город, Омелас, где также живут десять тысяч человек, и все они невероятно счастливы109. Давайте даже предположим, что каждый из них так же счастлив, как любой представитель элитной сотни из Лейквилла. Но в Омеласе есть еще один житель — шестилетний ребенок, и этот ребенок невыносимо, до тошноты несчастен: его держат взаперти в темной комнате, в грязи, лишив всякого человеческого общения. Он никогда даже не видел неба. Он находится далеко за той чертой, когда жизнь еще стоит того, чтобы жить; уровень его страданий настолько глубок, что его отрицательная полезность перекрывает половину суммарного счастья всех остальных жителей Омеласа. Ребенок больше не хочет жить, но его все равно поддерживают в живых, потому что остальной Омелас в нем нуждается. Его обязаны содержать в этих ужасающих условиях, чтобы остальной Омелас мог процветать. Суммарный подход утверждает, что Омелас — куда более приятное место для жизни, чем Ривертаун или Лейквилл. Более того, он в десять раз лучше любого из этих городов.

Орд высказывается об этом вполне недвусмысленно. Он утверждает, что достаточно большое количество радости у достаточно большого числа людей может перевесить страдания одного — или многих. «Благо от прекращения мучений миллиона людей лишь в конечное число раз превосходит ценность одного счастливого года жизни», — пишет он. «Следовательно, должно существовать такое количество счастья, которое окажется ценнее, чем избавление миллиона человек от невыносимых страданий»110.

От этих математических расчетов веет абсурдом. Да, нечувствительность суммарного подхода к неравенству — вроде того, что мы видим в Лейквилле и Омеласе, — это серьезный изъян. Но еще больше, чем сомнительная моральная арифметика в приведенных примерах, поражает ощущение, что никакие подобные вычисления в принципе не способны передать, каково это — находиться в подобных обстоятельствах. Как измерить страдания ребенка в Омеласе? Как сложить счастье всех жителей Ривертауна и прийти к единому числу? В каких единицах измерения будет выражено это число? Утилитаризм подобного толка опирается на допущение, что существует некая единая сущность под названием «полезность», которую можно определить и измерить (если не на практике, то хотя бы в теории) для каждого человека. Суммарный подход к тому же требует, чтобы показатели полезности можно было собирать и суммировать в масштабах целых человеческих популяций. Но совершенно неясно, что вообще представляет собой эта «полезность»; философы веками тратили тонны чернил, пытаясь дать ей определение. Полезность — это не простое удовольствие. Радость от достижения трудной, но достойной цели (успешного восхождения на крутой холм или создания произведения искусства, которое трогает душу другого человека) разительно отличается от чистой эйфории, хотя и то и другое наполняет жизнь радостью, делая ее богаче и многограннее. Есть тихая гордость, когда видишь, что созданная тобой вещь служит именно так, как ты надеялся; есть ощущение того, что тебя понимают и ценят, когда друг находит время, чтобы дать нужный совет в нужный момент; есть первобытный, чистый азарт от стремительного спуска на американских горках. Любая предлагаемая мера полезности должна учитывать все эти вещи (и не только) и сводить их к одному числу. Кроме того, она должна как-то сопоставлять счастье со страданием, вычитая баллы из общего итога всякий раз, когда с кем-то случается какая-нибудь неприятность или беда — от ушибленного пальца ноги до геноцида. Если бы кто-то заявил вам, что нашел способ сделать это — способ, который работает буквально для каждого человека, когда-либо жившего или способного жить до скончания времен, — вы бы ему поверили?

Но здесь кроется еще более глубокая проблема, которая, пожалуй, осталась бы актуальной, даже если бы кому-то действительно удалось дать убедительное определение полезности. «Одно из знаменитых возражений Джона Ролза [политического философа и этика XX века] против утилитаризма касается его представления о личностях, которых тот фактически сводит к "сосудам для ценности", вместилищам ценности, — говорит Эмиль Торрес, философ из Университета Кейс-Вестерн-Резерв, специализирующийся на этике рисков исчезновения человечества. — Получается, что мы лишь средство для достижения цели. Мы просто вместилища. Увеличьте количество вместилищ с чистой положительной ценностью — и вы увеличите общее количество ценности во Вселенной, а это хорошо. Но я просто не могу так думать о людях... На мой взгляд, люди — это сами по себе цели, и отношение к ним как к простому средству глубоко порочно»111. На людей правильнее смотреть как на людей, а не как на резервуары для хранения абстрактной величины с сомнительным онтологическим статусом.

Весь проект утилитаризма отдаёт своего рода этическим тейлоризмом: путаницей метрик с реальностью, которую они отражают лишь приблизительно, и последующими попытками оптимизировать всё подряд, сосредоточившись исключительно на росте этих метрик в ущерб всему остальному. Этика — это не экономика. И, как намекает Торрес, утилитаризм — далеко не единственный выбор в том, что касается этики. Утилитаризм — это лишь одно из направлений (а точнее, подсемейство) в рамках более широкой группы этических воззрений, известной как консеквенциализм. Сторонники консеквенциализма полагают, что этическая ценность поступков кроется исключительно в их последствиях (отсюда и название). Однако последствия могут принимать самые разные формы. Например, сторонники консеквенциализма прав утверждают, что люди (и другие субъекты) обладают правами, которые нельзя нарушать, и нравственность поступка зависит от того, нарушаются ли чьи-то права и каким именно образом. Более того, сам консеквенциализм — лишь один из нескольких основных подходов. Другим является деонтологическая этика, самым известным поборником которой был Иммануил Кант. Деонтологическая этика гласит, что поступок этичен, если он соответствует всеобщим нравственным законам. Эти законы ставят перед деонтологической этикой проблему, отчасти аналогичную проблеме определения полезности для утилитаристов: что это за законы, как мы вообще можем их открыть и как они могут оставаться в силе во всех возможных ситуациях?

Эти вопросы возникают потому, что этика — штука чрезвычайно сложная, и именно поэтому выдающиеся умы ведут о ней споры на протяжении тысяч лет. Нелегко понять, как быть хорошим человеком, равно как и разобраться, как правильно поступить в той или иной ситуации. Существует целый «зоопарк» других этических учений, огромное разнообразие позиций, детально разработанных блестящими философами и мыслителями. Для любой нравственной дилеммы найдутся десятки различных точек зрения, каждую из которых можно принять и убедительно обосновать, опираясь на труды, создававшиеся веками, если не тысячелетиями. Трудно понять, как быть хорошим, даже если ты искренне этого хочешь.

Любой уважающий себя философ знает, что всегда есть вероятность ошибки, особенно когда заходишь в то, что Сетия называет «глубокими темными водами этики народонаселения» — области моральной философии, занимающейся вопросами о том, сколько людей должно существовать112. Суммарный подход — лишь один из взглядов на этику народонаселения, причем среди философов он не пользуется особой популярностью. Но даже если бы и пользовался, «вы не можете просто переголосовать возражение [такое как отвратительный вывод]», — пишет Сетия. «Здесь существуют глубокие разногласия не только по поводу содержания наших моральных обязательств, но и по поводу самой природы нравственности»113. И Макаскилл знает, что может ошибаться. «Я полагаю, что чаша весов склоняется в пользу суммарного подхода, но, учитывая всю сложность предмета, я далеко не уверен в этом. Более того, я не думаю, что в этике народонаселения существует хоть какой-то взгляд, в котором можно быть абсолютно уверенным», — пишет он114. Макаскилл утверждает, что не уверен даже в утилитаризме в целом. «Я не утилитарист, потому что — хотя именно эту точку зрения я больше всего склонен отстаивать на семинарах, поскольку считаю её наиболее недооценённой в академических кругах, — я полагаю, что мы должны в какой-то мере доверять самым разным этическим воззрениям и искать между ними компромисс»115. Но, пишет он, «нам необходимо знать, как действовать, несмотря на нашу неопределенность». Макаскилл предлагает решать эту проблему во вполне утилитарном духе: присвоить вероятности различным этическим взглядам, а затем найти их средневзвешенное значение, чтобы получить ожидаемую ценность116. Проблема этого подхода, как отмечает Сетия, заключается в том, что он подкладывает невидимую гирьку на весы в пользу выводов, угодных самому Макаскиллу. «Существует угроза того, что лонгтермистское мышление подчинит себе расчеты ожидаемой ценности точно так же, как ничтожно малые риски вымирания человечества. Если существует хотя бы однопроцентная вероятность того, что лонгтермизм верен, и он говорит нам, что снижение экзистенциальных рисков на много порядков важнее спасения жизней сегодня, эти цифры могут просто затмить предписания более умеренных моральных концепций», — пишет он. «Теоретическая проблема заключается в том, что нам следовало бы сомневаться в самой этой методике работы с моральной неопределенностью... Нет никакого способа застраховаться от моральной ошибки — гарантировать, что, пусть мы и ошиблись, но хотя бы поступили так, как должны были поступить, исходя из своих убеждений. Ведь в этом мы тоже можем ошибаться»117.

К счастью, у Макаскилла есть надежда решить и эту проблему. В небольшом продолжении к книге «Что мы должны будущему» Макаскилл фантазирует о том, как выглядело бы прекрасное будущее с точки зрения лонгтермистов. Покончив с войнами, но еще не успев приступить к колонизации миллиардов галактик (развитие высокоразвитой жизни в которых почему-то сочли маловероятным), воображаемое им общество будущего делает короткую паузу, чтобы раз и навсегда разрешить все вопросы этики. «Прогресс шел быстрее, чем ожидалось, — пишет Макаскилл. — Выяснилось, что моральная философия не была сложной по своей сути; просто человеческий мозг плохо приспособлен для решения таких задач. Для специально обученного ИИ это оказалось детской забавой»118. Макаскилл не объясняет, почему это вообще может быть хоть сколько-нибудь правдоподобно. «Моральное суждение — это одно, а машинное обучение — совсем другое, — пишет Сетия. — Что бы ни было не так с утилитаристами, предлагающими убить миллион человек ради снижения риска вымирания человечества на 0,0001 процента, дело точно не в нехватке вычислительных мощностей»119.

Надо отдать должное Макаскиллу: он, похоже, понимает, что даже в этой воображаемой утопии нашлись бы люди, которые не поверили бы его специально запрограммированным, сверхэтичным ИИ. «Однако никакие моральные аргументы не были убедительными для всех, и мир не пришел к единому нравственному консенсусу», — пишет он. «Но это не означало, что конфликт между соперничающими этическими воззрениями неизбежен. Вселенная огромна — двадцать миллиардов доступных для воздействия галактик, — и самые безумные фантазии каждого человека могли быть реализованы тысячи раз. Мы могли получить всё»120.

Макаскилл должен понимать, что это не так. Вселенная недостаточно велика даже для самых безумных фантазий людей, работающих в одном здании с ним, не говоря уже обо всем человечестве. Программа Сандберга, Армстронга и Бострома по созданию самовоспроизводящихся зондов и сфер Дайсона ради замены естественного мира искусственным напрямую вытекает из их этических взглядов. Эти взгляды могут быть ошибочными. И все же, если им удастся достичь своих целей — если мириады маловероятных технологий, необходимых для искомого ими будущего, окажутся реализуемыми, — их этические взгляды распространятся на весь космос, причем так, что их едва ли когда-нибудь удастся изменить или вытеснить другими идеями. Лонгтермисты, похоже, с легким сердцем готовы поставить на кон судьбу всей Вселенной ради веры в правильность своей этики. Если они окажутся правы насчет технологий, но ошибутся в этике, они уничтожат Вселенную абсолютно ни за что.

Это указывает на последнюю проблему: обещание лонгтермизма принести колоссальную пользу в будущем может быть использовано для оправдания ужасов. «В истории утопических движений, которые переросли в насилие... в основе многих из них лежали две вещи», — говорит Торрес. «Первая — очевидная: это утопическое видение астрономических или бесконечных объемов ценности в будущем. А вторая — в целом утилитарный способ морального рассуждения. То есть цель оправдывает средства. Какова же цель? Эта цель — чертова утопия. Какие средства могут считаться недопустимыми, если ради достижения утопии мне нужно убить миллион человек?.. Речь идет об утопии, ставки столь велики, что цель оправдывает средства»121. История — особенно история двадцатого века — пестрит известными примерами утопических движений, обернувшихся насилием. «Сделать человечество справедливым, счастливым, творческим и гармоничным навеки — какая цена может быть слишком высока за это?» — писал Исайя Берлин в 1990 году. «Чтобы приготовить такой омлет, разумеется, нет предела числу яиц, которые нужно разбить, — такова была вера Ленина, Троцкого, Мао»122.

Некая разновидность этого утопического, экстремистского мышления уже проявляет себя среди рационалистов: вспомните, как Юдковский призывал мировых лидеров рискнуть ядерной войной ради достижения его цели. Лидеры движения эффективного альтруизма — Макаскилл, Орд и другие — неоднократно заявляли, что не считают, будто цель оправдывает средства, и что лонгтермистские рассуждения не должны использоваться для оправдания нарушения прав других людей или причинения им вреда. Но маниакально-количественная концентрация на конечных результатах неявно присутствует в оценке рисков, которую продвигают как Орд, так и Макаскилл, ставя согласование ИИ выше борьбы с глобальным потеплением. Глобальное потепление несоразмерно сильнее ударит по бедным слоям населения и цветным людям. Но для лонгтермистов любая проблема, которая грозит последствиями, не дотягивающими до полного вымирания, не так важна, как то, что может стереть с лица земли весь наш вид, — даже если первая реальна и осязаема прямо сейчас, а вторая чисто гипотетична.

Если мы будем игнорировать бедствия, не ведущие к полному вымиранию, то огромные пласты человеческой культуры и многообразия будут утрачены навсегда, навеки исчезнув из славного космического будущего лонгтермистов. Кому решать, что именно пройдет отбор? У всего движения эффективного альтруизма, и особенно у лонгтермизма, весьма специфическое представление о том, что имеет значение. Сосредотачиваясь исключительно на том, что они считают наиболее важным, они игнорируют другие потребности и проблемы мира, одновременно заявляя, что спасают человеческий вид. Рецензируя в 2015 году первую книгу Макаскилла «Умнее делать добро», оксфордский философ Амия Сринивасан обнажила самую суть этой проблемы эффективного альтруизма и отчасти предвидела, куда движение придет в ближайшее десятилетие. «Макаскилл не обращается к глубинным источникам глобальных бедствий — международной торговле и финансам, долгам, национализму, империализму, расовому и гендерному подчинению, войнам, деградации окружающей среды, коррупции, эксплуатации труда — или к силам, обеспечивающим их воспроизводство», — писала она. «Эффективный альтруизм не пытается понять, как устроена власть, разве что для того, чтобы получше под нее подстроиться. В этом смысле он оставляет всё как есть. Это, без сомнения, утешительно для тех, кого устраивает статус-кво, — и, возможно, отчасти объясняет успех этого движения»123.

Действительно, трудно не заметить конфликт интересов, возникающий из-за щедрого финансирования эффективного альтруизма со стороны технологического сектора. «Кому же не хочется верить, что его работа имеет колоссальное гуманитарное значение?» — пишет Сринивасан124. Вместо того чтобы просто делать добро в мире, Кремниевая долина, возможно, использует эффективный альтруизм для покупки имиджа высокой нравственности. А эффективный альтруизм, в свою очередь, скомпрометирован своей зависимостью от благотворительности победителей в лотерее технологической индустрии. «Филантропия миллиардеров — это осуществление власти богатыми людьми с целью направить свои частные активы на получение определенного общественного влияния», — говорит мне политолог Роб Райх. «Когда люди осуществляют власть в демократическом обществе, это заслуживает нашего пристального внимания, а не благодарности»125. Райх хорошо знаком с эффективным альтруизмом. Он знает многих эффективных альтруистов, преподавал им в Стэнфорде и с 2013 по 2019 год входил в совет директоров связанной с эффективным альтруизмом некоммерческой организации GiveWell; за это время данная организация помогла запустить фонд Open Philanthropy. «Я считаю себя своего рода дружественным критиком большей части, хотя и не всего, эффективного альтруизма», — говорит он. И в некоторых вещах они правы. «Это правда, что большая часть филантропии или благотворительности в США и других странах идет не на помощь обездоленным и не на борьбу с бедностью или ее смягчение», — говорит он. Но, продолжает он, «говоря совсем уж начистоту, когда дело доходит до лонгтермизма, эффективный альтруизм отбрасывает эффективность и сводится исключительно к альтруизму ради будущих поколений». Вторя Сринивасан, Райх считает, что у эффективного альтруизма есть серьезные проблемы с пониманием устройства мира, особенно в том, что касается политической и социальной власти. «Внутри чувствуется некое сектантство и фанатизм», — говорит он. «Я ничуть не осуждаю тех, кто относится к моральным обязательствам со всей серьезностью, но пренебрежение к окружающему миру, нежелание понимать, как устроена власть в более широком смысле, и базовая высокомерная заносчивость — самое мягкое, что тут можно сказать: это просто утомляет»126.

Из этого высокомерия рождается зашоренный взгляд на мир. «Макаскилл, судя по всему, вполне комфортно чувствует себя в рамках дискурса, привычного для апологетов глобального капитализма: стремления к количественному измерению, принципиальной сопоставимости любых благ и любых зол, одержимости продуктивностью и эффективностью, убежденности в счастливом совпадении личных интересов и морали, иллюзорной уверенности в том, что нет такого кризиса, с которым бы не совладал человеческий разум», — пишет Сринивасан. «И глобальному капитализму, и эффективному альтруизму присуща кажущаяся неопровержимой логика — одновременно естественная и магическая, простая и тотализирующая»127. В основе этой логики — как для капитализма, так и для эффективного альтруизма — лежит потребность в количественной оценке. Любая человеческая деятельность, которую можно измерить в цифрах, становится материалом для оптимизирующего механизма этого мировоззрения, а всё, что не поддается исчислению, отметается как несущественное. В конечном счете именно так лонгтермисты и вынуждены смотреть на людей: как на цифры. А эти цифры, в свою очередь, необходимо максимизировать и оптимизировать, чтобы встроить их в грандиозный лонгтермистский план по выжиманию максимума полезности из Вселенной перед ее неизбежным концом.

* * *

Во всем этом сквозит какая-то лихорадочная суета, настойчивая потребность бежать, бежать, бежать, чтобы урвать как можно больше низкоэнтропийной материи и энергии до того, как через триллионы лет закончится это представление. И трудно избавиться от подозрения, что движущей силой этой безумной спешки является страх: страх конца, страх смерти. Впрочем, и в этом нет ничего нового. Бояться смерти естественно; бессмертие — одна из древнейших фантазий человечества. И выгравированный медальон на шее Сандберга излучает будничную уверенность в безнадежной мечте о весьма специфической жизни после смерти. Глядя на него, я то и дело вспоминал слова Дэвида Джерарда, писателя и критика рационалистов и эффективных альтруистов, сказанные мне за пару дней до этого. Несколько лет назад одного его друга затянуло в сообщество рационалистов, и тот увлекся крионикой как способом избежать смерти. «Он был из тех людей, которые вечно ищут какую-нибудь секту. И он нашел ту, в которую идеально вписался и которая подошла ему на все сто», — вспоминал Джерард. «В итоге он все-таки заключил контракт на криоконсервацию и внес деньги, и я поздравил его. Потому что в этот момент это уже сродни религии. И если кто-то совершает религиозное свершение и чувствует себя от этого счастливым, я искренне за него рад»128.

Поговорив с Сандбергом, я вышел из Траян-хауса и не спеша побрел обратно к центру Оксфорда. Я перешел дорогу, обогнул живую изгородь и прошел через калитку в низком заборе. Я брел по полю, заросшему травой, слегка колыхавшейся на ветру. Пахло поздней весной, и тонкое жужжание насекомых прорезало послеполуденный солнечный свет. Тут и там из травы виднелись округлые надгробия высотой по колено, скособоченные под странными углами и покрытые пятнами лишайника. Имена были почти полностью стерты, а высеченные даты отставали от нашего времени на век, а то и больше. За забором, на другой стороне Милл-стрит, высится Траян-хаус, сверкая стеклом и сталью, и его обитатели грезят о мириадах нестареющих кремниевых жизней во Вселенной, лишенной природы. Но прямо через дорогу от имморталистов, в высокой траве, их поджидает смерть.

Примечания

i FHI и Бострома там больше нет, но на момент моего визита они там были. ii В связи с этим лонгтермисты, похоже, испытывают трудности с прогнозированием значимых событий даже в гораздо более коротких временных масштабах, на что в конце 2022 года указал экономист Тайлер Коуэн. «Едва ли хоть кто-то из связанных с [FTX] Future Fund разглядел экзистенциальный риск для самого... Future Fund, хотя они находились к нему так близко, как только возможно. Поэтому я скептически отношусь к их способности прогнозировать экзистенциальные риски в более общем плане, причем для систем куда более сложных и гораздо более отдаленных во времени. К тому же оказывается, что многие реальные источники экзистенциального риска сводятся к высокомерию, человеческой слабости и несовершенству (гуманитарные науки по-прежнему недооценивают)». Коуэн, «Простая мысль об экзистенциальном риске», https://marginalrevolution.com/marginalrevolution/2022/11/a-simple-point-about-existential-risk.html.

Марк Андриссен требует заслуженного уважения. «Технологии — это слава человеческих устремлений и достижений, острие прогресса и реализация нашего потенциала», — писал Андриссен в 2023 году. «На протяжении сотен лет мы должным образом прославляли это — до недавнего времени»1. Андриссен остается одной из ключевых фигур в технологической индустрии уже более тридцати лет. В начале 1993 года Андриссен, будучи студентом Иллинойсского университета в Урбане-Шампейне (UIUC), предложил новую функцию в программном проекте ЦЕРНа, которому на тот момент было всего около двух лет и который тогда назывался «WorldWideWeb»2. Конкретно он предложил дополнение к языку разметки гипертекста — также известному как HTML, языку, на котором веб-сайты пишутся и по сей день, — позволяющее встраивать изображения непосредственно в страницы WorldWideWeb. Андриссен и Эрик Бина, программист из Национального центра суперкомпьютерных вычислений при UIUC, внедрили эту функцию в новый веб-браузер Mosaic, над которым они тогда работали3.

Инновация Андриссена и Бины дала старт современному вебу. Как писал инженер Роберт Меткалф, до этого момента лишь немногие считали, что Всемирная паутина может быть лучше существовавших тогда (а ныне архаичных) интернет-протоколов вроде Gopher, но после запуска Mosaic «несколько миллионов человек вдруг заметили, что веб, пожалуй, лучше секса»4. На следующий год Андриссен со своими бизнес-партнерами основал новую компанию, позже получившую название Netscape. Созданный в этой компании новый веб-браузер Netscape Navigator завоевал взрывную популярность. Netscape доминировал в раннем вебе на протяжении большей части 1990-х годов, пока его пользователи серфили по сайтам под писк и свист домашнего диалапа; компания стала символом бума доткомов того десятилетия. В конечном итоге, на исходе девяностых, Netscape уступил браузеру Internet Explorer от Microsoft в первом раунде «браузерных войн», но в начале 2000-х возродился в виде проекта с открытым исходным кодом — Mozilla Firefox.

К тому времени Андриссен уже заработал свои миллионы и был готов превратить их в миллиарды. В 2009 году Андриссен и Бен Хоровиц, один из его бывших сотрудников в Netscape, основали венчурную фирму Andreessen Horowitz, которую часто сокращенно называют a16z. Их фирма быстро стала одной из самых известных и успешных венчурных компаний в сфере технологий — это положение она сохраняет и сегодня. Они были ранними инвесторами в Airbnb, GitHub, Instacart, Instagram, Oculus, Pinterest, Skype, Slack и многие другие проекты. Сам Андриссен входит в советы директоров ряда других технологических компаний, включая Meta (материнскую компанию Facebook) и Coinbase (крупнейшую криптовалютную биржу в США). На планете практически нет человека, которого так или иначе не затронули бы результаты работы Андриссена или фирмы, которой он до сих пор помогает руководить. По любому определению, он принадлежит к аристократии Кремниевой долины, будучи одним из самых влиятельных людей со связями во всей индустрии — да и во всем мире, — за плечами которого стоит целая империя из людей и ресурсов. Любое его слово или действие мгновенно становится новостью. Однако он склонен избегать традиционных СМИ. Вместо этого он использует сайт a16z как собственный рупор, время от времени публикуя там интервью или эссе. А в октябре 2023 года он опубликовал кое-что еще: «Манифест технооптимиста», продвигающий идею о том, что технологии способны излечить практически все беды мира.

В своем манифесте Андриссен пытается противопоставить себя рационалистам Юдковского, эффективным альтруистам и другим людям, глубоко обеспокоенным экзистенциальным риском со стороны сверхразумного общего искусственного интеллекта (AGI). Он утверждает, что замедление прогресса в области ИИ — это «форма убийства», поскольку считает, что развитый AGI неизбежно спасет множество жизней. В его манифесте даже есть список врагов, и первым пунктом в нем значится «экзистенциальный риск». Но как бы сильно Андриссен ни стремился разграничить свои взгляды и позицию рационалистов и эффективных альтруистов, он не может полностью освободиться от их образа мыслей. Он принимает почти те же предпосылки, что и они, но использует их для того, чтобы прийти к совершенно иным выводам. (Даже его заявление о том, что замедление исследований в области ИИ — это форма убийства, выглядит как легкая модификация идеи о василиске Роко.) Андриссен утверждает, что приближается взрыв интеллекта, и прямо ссылается на Курцвейла и его закон ускоряющейся отдачи. Он, по-видимому, даже согласен с лонгтермистами в том, что существование большего количества людей — это всегда благо, и уж точно разделяет их взгляды на наилучшую судьбу для Вселенной. «Наша планета катастрофически малонаселена»ⁱ, — утверждает он, заявляя, что Земля может «запросто» прокормить более пятидесяти миллиардов человек, а численность человечества взлетит далеко за эти пределы, когда мы устремимся к звездам. Как и Курцвейл, Андриссен не считает, что у нас есть особый выбор. Единственная альтернатива, которую он видит, — это уничтожение. Мы должны либо расширяться вечно, либо угаснуть. «Отсутствие роста — это стагнация, которая ведет к мышлению с нулевой суммой, внутренним распрям, деградации, краху и, в конечном счете, к смерти»5.

Чтобы подпитывать это вечное расширение, Андриссен хочет, чтобы люди потребляли больше энергии, чем сейчас, — гораздо больше. «Мы должны поднять всех до нашего уровня энергопотребления, затем увеличить наше потребление в 1000 раз, а затем поднять потребление всех остальных тоже в 1000 раз».ⁱⁱ Андриссена не беспокоит, как этот рост потребления (и численности населения) может отразиться на окружающей среде. Он считает технологии экологической панацеей; «устойчивое развитие» находится в его списке врагов. «Управление рисками», «доверие и безопасность», «капитализм заинтересованных сторон» и «технологическая этика» тоже в этом списке наряду с «социальной ответственностью». Андриссен выступает против любых ограничений власти рынков, корпораций и капитала. Он утверждает, что разработка новых технологий в условиях капитализма без ограничений «по своей сути филантропична» и что самое важное — создавать как можно больше технологий и как можно быстрее. Андриссен — как Курцвейл, Юдковский и все остальные — совершенно не задумывается о том, как направлять подобные инновации, и не говорит о том, как конкретно продвигать и стимулировать технологическое развитие, хотя возникает ощущение, что государственные инвестиции, которые изначально и превратили Кремниевую долину в корпоративного гиганта, его не интересуют. Вместо этого его волнует лишь ускорение. Он хочет, чтобы экспоненциальные кривые Курцвейла подпитывали рост технологий и капитализма до скончания веков. Андриссен даже рассуждает о вечном будущем экономической статистики, заявляя, что «поскольку человеческие желания и потребности бесконечны, экономический спрос бесконечен, а рост числа рабочих мест может продолжаться вечно»6.

Это видение бесконечного создания рабочих мест даже после тепловой смерти Вселенной выглядит как межгалактическая империя эффективных альтруистов, отраженная в кривом зеркале стартап-культуры. И это именно так. Манифест Андриссена заканчивается списком «Святых покровителей технооптимизма»; неудивительно, что в нем соседствуют Курцвейл и немало либертарианцев. (Есть и более удивительные и нелепые имена, вроде Бертрана Рассела и Энди Уорхола.) Но два самых показательных пункта в этом списке — псевдонимы из Твиттера: @bayeslord и @BasedBeffJezos (он же Гийом Вердон, основатель ИИ-стартапа), два родоначальника зарождающегося движения «эффективного акселерационизма»7. «Технологические и рыночные силы (технокапитал) ускоряются в своей мощи и возможностях. Эту силу невозможно остановить», — написали они в своем «инаугурационном» списке принципов, опубликованном на платформе Substack в 2022 году. «Эффективный акселерационизм, e/acc, представляет собой набор идей и практик, направленных на максимизацию вероятности технокапиталистической сингулярности и, как следствие, возможности процветания эмерджентного сознания»8. Они даже утверждают, будто статистическая термодинамика требует, чтобы «человечество решало проблемы посредством технологического прогресса и роста», просто как «следствие нашей физической реальности»9. (Откровенно говоря, это чушь. Все обстоит с точностью до наоборот. Термодинамика и статистическая механика — это первоисточник неумолимого требования природы, гласящего, что любой рост всегда заканчивается.)ⁱⁱⁱ Эффективные акселерационисты противопоставляют себя ИИ-«думерам» (паникерам вроде рационалистов и эффективных альтруистов), называя себя «ЭА, но базированными» (EA, but based), хотя и признают общее с ними стремление к вечно расширяющейся технологической утопии в космосе10. «Прекратите бороться с термодинамической волей Вселенной11. Вы не можете остановить ускорение. Вам остается только принять его. У С К О Р Я Й Т Е С Ь»12.

Эффективный акселерационизм оказался относительно популярен среди основателей стартапов, венчурных капиталистов и определенных кругов гиперактивных интернет-пользователей. Некоторые стали добавлять аббревиатуру «e/acc» в свои профили в социальных сетях — так поступил и Андриссен, оказавшись в одной компании с печально известным «фарма-бро» Мартином Шкрели и, по какой-то причине, рэпером из девяностых MC Hammer. Многие идеи, отстаиваемые Андриссеном и эффективными акселерационистами, воспринимаются вполне серьезно и другими технологическими миллиардерами. Сэм Альтман верит в скорое появление AGI и, подобно Андриссену и Курцвейлу, считает, что это приведет к «закону Мура для всего»13. Именно с помощью этого механизма OpenAI, предположительно, заполучит все богатства мира: частная сингулярность, при которой все блага аккумулируются в руках одной компании, создавшей AGI, который и запустил взрыв интеллекта. Альтман полагает, что это произойдет в ближайшее время. «Если вы верите в то же, во что верю я относительно сроков создания AGI и того эффекта, который он окажет на мир, трудно тратить много ментальных циклов на размышления о чем-то еще», — признался он в 2019 году. — «Поэтому в последние несколько лет я глубоко не задумывался о том, что потребуется для решения, по сути, любой другой проблемы»14.

Альтман сказал это в интервью экономисту Тайлеру Коуэну, и контекст здесь особенно показателен. Коуэн не спрашивал его об ИИ. Вместо этого он задал вопрос о жилищной политике в Сан-Франциско и его окрестностях. Альтман предварил свой ответ заявлением об AGI, чтобы объяснить, почему он мало думал о жилищной политике, но этот ответ также подразумевает, что всё остальное, кроме AGI, в конечном счёте лишь сноска на полях. В этом и заключается ключевая притягательность идеологии технологического спасения, которая особенно важна для миллиардеров и топ-менеджеров Кремниевой долины: сведение всех мировых проблем к одному лишь вопросу компьютерных технологий. Альтман даже утверждает, что само спасение демократии требует роста, который якобы обеспечат технологические стартапы. «Демократия работает только в растущей экономике. Без возвращения к экономическому росту демократический эксперимент провалится»15. А в 2023 году Альтман и Илья Суцкевер заявили, что AGI решит проблему глобального потепления. «Я не хочу говорить об этом легкомысленно, потому что изменение климата — это очень серьёзная и сложная проблема, но я думаю, что как только у нас появится действительно мощный сверхразум, решение проблемы изменения климата не составит особого труда для подобной системы», — сказал Альтман. — «Мне кажется, это показывает, насколько масштабно мы должны мечтать. Понимаете, если представить систему, которой можно сказать: "Расскажи, как дешево производить много чистой энергии", "Расскажи, как эффективно улавливать углерод", а затем "Расскажи, как построить завод для этого в планетарном масштабе" — если вы способны на такое, то сможете сделать и многое другое»16. Альтман настолько уверен в этом «плане» — решить проблему глобального потепления, попросив несуществующий и невнятно определенный AGI исполнить три желания, — что готов поставить на кон наш климат и наше будущее. «Нам действительно нужно гораздо больше энергии в мире», — говорит он. — «ИИ потребуется много энергии... К сожалению, я всё ещё ожидаю, что мир движется по пути, где нам придётся предпринять что-то радикальное в отношении климата, например, использовать геоинженерию в качестве пластыря, временной меры»17. Билл Гейтс также давно является сторонником геоинженерии как решения проблемы изменения климата, несмотря на её колоссальные риски18. (Вряд ли стоит удивляться тому, что Альтман и Гейтс поют в один голос, учитывая, что их финансовые интересы тесно связаны через контракт OpenAI с Microsoft.) Это очень удобная мысль: она даёт разрешение потреблять столько энергии, сколько нужно вашим компаниям, невзирая на экологические последствия, ради великой цели, которая всегда маячит где-то за горизонтом.

Тем временем другие технологические миллиардеры работают над созданием интеллектуального движения, призванного подвести теоретическую базу под идею роста любой ценой. «Один из важнейших фактов в мире и истории цивилизации на сегодняшний день заключается в том, что темпы прогресса не были постоянными», — заявил технологический миллиардер Патрик Коллисон в 2019 году. — «Как происходит прогресс, как мы открываем полезные знания, как они распространяются и как мы можем делать это лучше?.. В таком прогрессе заложен моральный императив, и мы не должны упускать этот факт из виду»19. Коллисон основал компанию по обработке платежей Stripe вместе со своим братом Джоном в 2010 году; он входит в число самых молодых миллиардеров мира, а его состояние оценивается в 7,2 миллиарда долларов. В 2019 году Коллисон и Коуэн написали эссе о необходимости создания новой «науки о прогрессе», которая «изучала бы успешных людей, организации, институты, политику и культуры, возникшие к настоящему времени, и пыталась бы выработать политические меры и рецепты, способные улучшить нашу способность генерировать полезный прогресс в будущем»20. С этой целью братья Коллисоны профинансировали несколько различных проектов, включая Roots of Progress («Истоки прогресса») — некоммерческую организацию, занимающуюся «формированием новой философии прогресса», основанной на «более четком понимании природы прогресса, его причин, ценности и важности, того, как мы можем управлять его издержками и рисками, и, в конечном счёте, как мы можем ускорить прогресс, гарантируя при этом, что он пойдёт на пользу человечеству»21. Коллисоны также участвовали в создании нового подразделения Stripe — Stripe Press, медиа- и издательского проекта, продвигающего схожие идеи о будущем технологий, прогресса и роста. Stripe также издает Works in Progress — журнал о «новых и недооцененных идеях по улучшению мира»22.

Одна из таких «недооцененных» идей — потребление как можно большего количества энергии. «Должен признаться: я эргофил. Я обожаю энергоемкие процессы и увеличение мощности (в физическом смысле), доступной каждому из нас», — писал Бенджамин Райнхард в Works in Progress в октябрьской статье 2022 года под названием «Сделать энергию слишком дешевой, чтобы ставить счетчики». «В крайнем случае, энергия — это единственный дефицитный ресурс... Ограничить наши энергетические амбиции — значит обречь себя на вечный дефицит»23. Райнхард, который описывает свою работу как «поиск способов воплотить в жизнь как можно больше потрясающих научно-фантастических вещей», раньше верил в устойчивое развитие24. «Как калифорнийский ребенок 1990-х, я вырос на «Капитане Планете», «Долине папоротников» и похожих на парковочные автоматы терминалах, куда можно было бросить четвертак, чтобы спасти дерево в Амазонии», — писал он. — «Было очевидно, что энергоемкие процессы означают хищническую индустрию, уничтожающую первозданную природу, птиц, гибнущих в черной жиже, разрушение, радиоактивные отходы, дымящие трубы, войны за пылающие нефтяные месторождения и перегревающуюся планету»25. Но затем, по его словам, «изменилось лишь то, что я понял, как устроен мир»26. Потребление большего количества энергии, по мнению Райнхарда, означает, что мы могли бы повысить уровень жизни каждого человека. Предвосхищая манифест Андриссена, который будет опубликован примерно год спустя, Райнхард писал в Works in Progress, что «устойчивое развитие... означает пирог фиксированного размера и конфликты, которые неизбежно из-за этого возникают... Возобновление тренда на экспоненциальный рост производства энергии способно как решить проблемы прошлого, так и открыть невероятные возможности для процветания человечества». Потребление большего количества энергии, утверждал он, «не только совместимо с заботой об окружающей среде и человечестве, но и критически важно для процветающего будущего, в котором мы не станем драться за фиксированный пирог... Вместо того чтобы стыдиться [непомерного энергопотребления американцев], давайте использовать его в качестве путеводной звезды. Эргофильный мир — единственный способ добиться того, чтобы каждый человек получил то качество жизни, которым сегодня наслаждаемся мы, немногие». Как и Андриссен, Райнхард не беспокоится об экологических последствиях, поскольку, по его утверждению, решение подобных проблем, «как ни парадоксально, — это большее количество энергии». Использование большего количества энергии порождает больше отходов, но Райнхард пишет, что «большее количество энергии способно решить и проблему отходов: при достаточно высоких температурах распадается всё, так что проблемы мусора и вредных отходов могут просто исчезнуть»27.

Похоже, Райнхард предлагает попросту сжигать все отходы, и когда я прошу его прояснить этот момент, он подтверждает, что именно это и имеет в виду. «В этом нет ничего суперстранного или футуристического. Существуют высокоэффективные мусоросжигательные печи. Я прожил в Сингапуре чуть больше года, и именно так там и поступают с отходами, — говорит он. — У них просто есть эти сверхвысокоэффективные мусоросжигатели, и они просто сбрасывают туда всё подряд. Я не знаю точно, как это устроено, но, насколько я понимаю, это очень, очень чисто... Я предполагаю, что в процессе выделяется некоторое количество летучих газов и угля, а также, вероятно, стекает какой-то металлический шлам»28. Если бы Райнхард изучил вопрос глубже, он, возможно, обнаружил бы, что мусоросжигательные заводы в Сингапуре далеко не так экологичны, как ему хотелось бы верить. Оставшиеся твердые отходы представляют угрозу для окружающей среды; их утилизация — серьезная проблема, которую Сингапур в основном решает путем вывоза на небольшой остров-свалку Пулау-Семакау, но к 2035 году этот остров будет полностью заполнен. Кроме того, эти заводы выбрасывают колоссальные объемы углекислого газа. И хотя сингапурские чиновники по охране окружающей среды утверждают, что дым из печей очищается от вредной пыли и загрязняющих веществ, когда в 2019 году их спросили, проводились ли исследования уровня заболеваемости в районах, прилегающих к мусоросжигательным заводам, они уклонились от ответа29.

Но вместо обсуждения подобных деталей статья Райнхарда рисует картину желанного для него будущего с неограниченным потреблением энергии:

Вы просыпаетесь в своем доме на живописном побережье искусственного острова у берегов Южной Америки. Вам всегда немного неловко за дешевый синтетический песок, когда приходят гости, но людям во все времена приходилось чем-то жертвовать, чтобы позволить себе просторное жилье для семьи. Вы прощаетесь с близкими и отправляетесь на работу. По дороге вы немного работаете над новым способом создания высокотемпературных сверхпроводников. Вы полнейший дилетант, но сочетание фиксированной платы за безграничные вычислительные мощности и нового тренда на неэффективные, но модульные технологии сделало изобретателем почти каждого. Довольно быстро вы добираетесь до нижней станции сингапурского космического лифта: благодаря дешевым космическим запускам, низкой стоимости вывода сырья в космос с помощью рельсотронов и снижению стоимости материалов весь этот проект оказался экономически оправданным.^iv Каждый раз, когда вы видите этот невероятно тонкий трос, уходящий ввысь, кажется, в абсолютную пустоту, это поражает ваше воображение: если возможно такое, то что еще возможно? Вы проверяете новую партию препаратов для продления жизни, которые можно синтезировать только в условиях идеальной невесомости. А затем срываетесь на спонтанную встречу с друзьями в Токио.

Пока вы все наслаждаетесь ужином (приготовленным из ингредиентов, выращенных в том же здании и сорванных всего за пять минут до готовки), знакомый одного из ваших друзей, ученый-материаловед, рассказывает о последних достижениях в области физического моделирования. Вы наслаждаетесь еще одной неожиданной личной встречей, чувствуя благодарность за свои межконтинентальные связи. По дороге домой вы еще немного возитесь с чертежом своего сверхпроводника. Шансы невелики, но это может дать вам ресурсы, чтобы выбраться из нижних 25 процентов, чтобы ваши дети могли жить еще лучше, чем вы. Всё хорошо, думаете вы, но могло бы быть и лучше.

За весь день вы ни разу не столкнулись с таможней, поскольку значение вестфальских национальных государств сошло на нет, как только любой человек получил возможность оказаться в любой точке планеты в течение двух часов. Они все еще существуют, но контролируют то, где вы можете жить, работать и куда путешествовать, примерно так же, как города в двадцатом веке30.

«Устойчивое развитие означает вечный дефицит — в нашей способности исследовать, строить и созидать, — заключает Райнхард. — Я хочу безграничных возможностей для человечества»31.

Статья Райнхарда появилась в специальном выпуске журнала Works in Progress, состоящем из (почти исключительно положительных) откликов на одну-единственную книгу, также опубликованную Stripe Press: «Где мой летающий автомобиль?» Дж. Сторрса Холла, энтузиаста нанотехнологий и коллеги Эрика Дрекслера. Книга Холла читается как более пространная версия манифеста Андриссена. В ней звучит даже похожий обиженный тон. «Если вы технолог, работающий над каким-то новым, чистым и неиссякаемым источником энергии, — пишет Холл, — на вас будут нападать, ваше изобретение будет неверно истолковано и искажено активистами, демонизировано невежественными журналистами и задушено регулированием. Но только в том случае, если оно работает»32. Холл утверждает, что существует огромное скопище «недеятелей» — в основном экологов, бюрократов и ученых, — которые тянут человечество назад и не дают «деятелям», таким как инженеры и технологи, занять их законное место в качестве моральных лидеров человечества. «Недеятели выступают за стагнацию и рады превратить нашу цивилизацию в коллективного лежебоку», — пишет он33. Решение, по его словам, заключается в том, чтобы использовать больше энергии. Он утверждает, что начиная примерно с 1800 года потребление энергии на душу населения в США росло устойчивыми темпами вплоть до 1970-х годов, когда оно вышло на плато. «Чтобы по-настоящему вернуть себе право по рождению и оптимистичное будущее, — пишет он, — мы должны вернуться на эту кривую роста», которую Холл называет «сердцебиением нашей цивилизации»34. Не сойди мы с этой кривой, утверждает Холл, мы бы уже жили в мире, по сравнению с которым видение Райнхарда показалось бы будничным: с персональным космическим кораблем на термоядерном синтезе в каждом гараже, нанотехнологиями, превращающими равнины Западного Техаса в копию Йосемитской долины, и сферой Дайсона, окружающей Солнце35.

Несмотря на то, что книга Холла во много раз длиннее манифеста Андриссена, аргументирует свои утверждения он ничуть не лучше. Нанотехнологии, которые он предлагает, — того же рода, о каком говорят Курцвейл и Дрекслер, и страдают они от тех же самых проблем. Кроме того, Холл слишком уж легковерно относится к холодному термоядерному синтезу — лженаучной теории из 1980-х годов, которая давно развенчана. Он заявляет, что «изменение климата — это заноза, а не палач», и отмахивается от его последствий как от погрешности округления в мировом ВВП. Это мало того что неверно, так еще и игнорирует тот факт, что мировой ВВП — ужасный показатель для оценки человеческих страданий и ущерба окружающей среде36^v. Холл жаждет своего рода сингулярности энергопотребления, однако наращивание объемов используемой энергии не позволит нам изобрести способ обойти фундаментальные ограничения физики. Да и кривая энергопотребления на душу населения в какой-то момент все равно должна была прекратить рост — это очередной пример экспоненциального роста. (Общее энергопотребление человечества по-прежнему неуклонно растет, стабилизировалось лишь потребление энергии на душу населения.) Рост рано или поздно должен прекратиться; этого требует как минимум физика. Тем не менее, подобно Андриссену, Альтману и Райнхарду, Холл преподносит необходимость вечного роста энергопотребления в моральных категориях. «Одним из поистине выдающихся интеллектуальных достижений XX века, стоящим в одном ряду с теорией относительности, квантовой механикой, молекулярной биологией жизни, а также вычислительной техникой и теорией информации, стало понимание истоков морали в эволюционной теории игр», — пишет он. «Главное здесь заключается в том, что эволюционное давление на то, что мы считаем моральным поведением, возникает только при ненулевой сумме взаимодействий. В динамичном, растущем обществе люди могут взаимодействовать на принципах сотрудничества, и в результате оба окажутся в выигрыше. В статичном обществе без экономического роста стимулы к морали и сотрудничеству исчезают: вы можете улучшить свое положение только за счет того, что отберете что-то у другого. Общество с нулевой суммой — это рецепт зла: оно превозносит берущих и подавляет созидателей»37.

В этом анализе сомнительно очень многое: теория игр не является набором моральных предписаний, а эволюционная психология имеет шаткую основу даже в лучших своих проявлениях. Но самое очевидное опровержение утверждения о том, что рост необходим для предотвращения распрей и войн, заключается в том, что этих самых распрей и войн было предостаточно даже в периоды неослабевающего роста. Период времени, когда энергопотребление человечества на душу населения росло по экспоненте, включает обе мировые войны и множество других конфликтов. После того как в 1970-х годах мы сошли с этой кривой, общее энергопотребление человечества (суммарное, а не на душу населения) и ВВП продолжили экспоненциальный рост, однако войны и беспощадная конкуренция никуда не делись и в последующие годы. Похоже, что раздоры и соперничество в значительной степени, а возможно, и полностью, не зависят от потребления энергии и экономического роста. Но даже если бы это было не так, нам рано или поздно пришлось бы найти способ покончить с конфликтами без экспоненциального роста энергопотребления, поскольку поддерживать такой рост бесконечно попросту невозможно. Будь Холл прав во всем, и даже если бы мы великодушно допустили существование сверхсветового варп-двигателя, это означало бы лишь то, что через четыре тысячи лет, когда непрерывный рост заставит человечество использовать всю энергию во Вселенной, мы будем вести бесконечные межгалактические войны с помощью лучей смерти, работающих от сфер Дайсона (возможность создания которых Холл, к слову, вполне допускает).

Эти проблемы не смущают Холла, и, судя по всему, они так же мало беспокоят Джеффа Безоса. «Мы хотим использовать много энергии. Мы хотим использовать много энергии на душу населения, — говорит он38. — Каждый на этой планете захочет стать гражданином первого мира и потреблять энергию в объемах первого мира. А те, кто уже сегодня являются гражданами первого мира и потребляют энергию в соответствующих масштабах? Мы захотим использовать еще больше энергии». Для этого, по словам Безоса, нам придется покинуть Землю. Мы «не хотим оказаться в цивилизации застоя, а именно это станет реальной проблемой, если мы просто останемся на этой планете, — это долгосрочная проблема... Даже при повышении эффективности вам все равно придется нормировать потребление энергии. И для меня это не выглядит как захватывающая цивилизация для внуков наших внуков»39.

Для Холла на кону в выходе в космос стоит еще большее. «Человеческому обществу будущего отчаянно необходим фронтир. Без внешнего вызова мы вырождаемся в склоки [и] самообман», — пишет Холл в книге «Где мой летающий автомобиль?». «Но Солнечная система — противник, достойный нашей стали; а за ней и галактика — тем более»40. Райнхард тем временем высказывается более прямолинейно. «Мне нравится человечество. Я думаю, что наш путь к звездам — это благо, — говорит он мне. — Если каким-то образом я буду все еще жив через тысячу лет и мы продолжим идти по этой траектории, где мы просто пожираем звезды [то есть окружаем их сферами Дайсона]... я буду очень счастлив»41.

Райнхард не одинок в своем базовом стремлении отправиться в космос. Илон Маск, как известно, сказал: «Я бы хотел умереть на Марсе, только не от удара при посадке»42. Плохая новость для Райнхарда — и, если верить ему на слово, хорошая для Маска — заключается в том, что умереть на Марсе очень и очень просто.

*    *    *

В 1972 году довольно сухая книга группы исследователей из MIT неожиданно стала бестселлером, разошедшимся в итоге миллионными тиражами43. Эта книга, «Пределы роста», представляла собой доклад, подготовленный по заказу Римского клуба — объединения ученых, экономистов, промышленников и общественных деятелей. Рабочая группа создала компьютерную модель человеческой деятельности (для того времени это было относительно новой идеей), которая учитывала рост населения, промышленное производство, загрязнение окружающей среды и истощение природных ресурсов, включая продовольствие и воду. Прогнозы, выданные компьютерной моделью, оказались мрачными. «Если существующие тенденции роста численности населения мира, индустриализации, загрязнения окружающей среды, производства продовольствия и истощения ресурсов останутся неизменными, то пределы роста на этой планете будут достигнуты в течение ближайших ста лет», — писали авторы. «Наиболее вероятным результатом этого станет довольно внезапное и неконтролируемое снижение численности населения и объема промышленного производства» — иными словами, гибель и разрушение в глобальном масштабе44.

Сегодня о «Пределах» говорят нечасто, но в то время их культурное влияние было колоссальным. «Газеты и журналы раз за разом возвращались к исследованию MIT и его мрачным выводам, превратив саму идею "пределов" в лейтмотив десятилетия», — пишет историк и писатель У. Патрик Маккрей45. Книга даже сыграла свою роль в формировании внутренней и внешней политики государств. «Пределы» вызвали реакцию со стороны членов правительства США и сформировали повестку дня конференций ООН. Лидеры развивающихся стран беспокоились, что прекращение роста навсегда законсервирует статус-кво, оставив их в подчинении у глобального высшего класса. Китай использовал модели, похожие на описанную в «Пределах», для разработки своей политики «одна семья — один ребенок»46. Оглядываясь назад после поражения от Рональда Рейгана на выборах 1980 года, Джимми Картер отмечал, что «попытки справиться с ограничениями» были «подспудной темой» его президентства47. Но как в 1970-е годы, так и сегодня идея существования пределов для роста — любого рода — была тем, с чем соглашались далеко не все. «Мы обнаружили, что технологический оптимизм является самой распространенной и самой опасной реакцией на наши выводы, — писали авторы «Пределов». — Вера в технологию как в окончательное решение всех проблем может отвлечь наше внимание от самой фундаментальной проблемы — проблемы роста в ограниченной системе — и помешать нам предпринять эффективные действия для ее решения»48.

Этот спор был давним — он восходил как минимум к Томасу Мальтусу в конце XVIII века, — но «Пределы» спровоцировали особенно эмоциональную и разнородную реакцию. Часть возражений исходила от экономистов вроде Джулиана Саймона, который позже выиграл знаменитое пари у Пола Эрлиха (автора другого, опубликованного чуть ранее неомальтузианского трактата «Демографическая бомба»), правильно предсказав, что стоимость определенных природных ресурсов в течение 1980-х годов снизится; часть — от консервативных комментаторов, таких как писатель-фантаст Джерри Пурнель (чей ответ на «Пределы» произвел глубокое впечатление на юного Элиезера Юдковского)49.

Но, пожалуй, наиболее влиятельным в долгосрочной перспективе оказался ответ на «Пределы» со стороны физика из Принстона. Вместо того чтобы отрицать базовые предпосылки «Пределов», Джерард О’Нилл хотел найти выход из описанной в них ловушки. Земля — ограниченная система, поэтому О’Нилл предложил полностью ее покинуть. В своей книге 1976 года «Высокий рубеж» О’Нилл изложил планы по созданию серии постоянно увеличивающихся космических станций. В основном они должны были иметь форму цилиндров, быстро вращающихся для создания искусственной гравитации на внутренней поверхности. Используя пусковые системы, которые казались вполне логичной экстраполяцией существовавших тогда технологий на несколько десятилетий вперед, О’Нилл предположил, что подобные космические станции можно строить из лунного грунта и астероидов, обустраивая внутреннее пространство этих вращающихся цилиндров с помощью почвы, воды, растений и, в конечном счете, зданий и людей (рис. 5.1а). Самый маленький из его проектов мог бы вместить тысячи людей; самый большой представлял собой пригородный мегаполис в космосе с миллионами жителей, обитающих на внутренней площади, превышающей площадь Манхэттена. Солнечная система, рассуждал он, могла бы легко вместить множество таких космических станций: сырья в поясе астероидов и на внешних спутниках планет было в избытке, а энергия Солнца могла без труда обеспечивать тысячи или миллионы подобных станций. Как и сегодняшние технологические миллиардеры, О’Нилл полагал, что ресурсы, полученные благодаря выходу в космос, снизят количество конфликтов. Войны на Земле были «битвами за ограниченные, нерасширяемые клочки земли», писал он, в то время как его космические станции были «воспроизводимыми, так что никому не придется чувствовать себя стесненным жесткими границами». О’Нилл также видел в освоении космоса способ исцелить экосистемы Земли, страдающие от человеческой жизнедеятельности. Переселение большей части человечества в космос, по его мнению, оставило бы после себя «свободную от промышленности пасторальную Землю», которая служила бы туристическим курортом для обитателей цилиндров50. В конечном счете О’Нилл считал этот исход в космос единственным жизнеспособным путем развития человечества. Существуют «три возможности для цивилизации, достигшей примерно нашего уровня, — говорил он. — Первая — это застой, вторая — уничтожение, и третья — экспансия во внеземное пространство посредством космических колоний»51.

Чтобы доказать осуществимость этих грандиозных планов, О’Нилл опубликовал серию технических отчетов и схем космических станций, подробно объясняя, что потребуется для их строительства. Он также построил значительно уменьшенную модель «электромагнитной катапульты» — перспективной пусковой системы, с помощью которой предлагалось перемещать огромные массивы материалов, необходимых для создания цилиндрических поселений. Одним из членов исследовательской группы, создавшей этот прототип, был Эрик Дрекслер, чье последующее увлечение сомнительными нанотехнологическими фантазиями стало еще одной попыткой вырваться за рамки ограничений, описанных в «Пределах»; его книга «Машины создания» была косвенно навеяна «Высоким рубежом» О’Нилла.

Идеи О’Нилла получили широкое распространение в 1970-х и 1980-х годах. Вокруг них сформировалось «Общество L5» (названное в честь стабильной точки в системе Земля — Луна, идеально подходившей для размещения космической станции), которое пропагандировало их среди широкой публики как жизнеспособный путь к великому и светлому будущему. Стюарт Бранд, создатель «Каталога всей Земли», с энтузиазмом делился идеями О’Нилла со своими многочисленными подписчиками и контактами в деловых и академических кругах. А один склонный к науке старшеклассник из Флориды настолько увлекся замыслами О’Нилла, что рассказал о них в школьной газете. «Земля конечна, — говорил восемнадцатилетний Джефф Безос, — и если мировая экономика и население продолжат расти, то космос — единственный путь»52. Безос снова повторил идеи О’Нилла в своей речи лучшего выпускника 1982 года в средней школе Майами Пальметто, где заявил одноклассникам, что хочет «вывезти всех людей с Земли и превратить ее в огромный национальный парк» — так в то время резюмировала его выступление газета Miami Herald53. Затем Безос поступил в Принстон, где посещал семинары, которые вел сам О’Нилл.

Сегодня, спустя более тридцати лет после смерти О’Нилла, Безос, когда говорит о будущем человечества в космосе, по-прежнему рассуждает точь-в-точь как его прежний профессор — вплоть до беспокойства по поводу культуры застоя, если мы останемся здесь, на Земле. «Чего мы хотим — стагнации и нормирования или динамизма и роста? — вопрошал Безос в 2019 году. — Это простой выбор. Мы знаем, чего хотим»54. «Я бы очень хотел увидеть триллион людей, живущих в Солнечной системе, — сказал он в 2023 году. — Мы можем легко прокормить цивилизацию такого масштаба за счет всех ресурсов Солнечной системы... Единственный способ прийти к этому видению — создание гигантских космических станций... Мы будем брать материалы с Луны, околоземных объектов, из пояса астероидов и так далее, строить гигантские колонии типа цилиндров О’Нила, и люди будут жить в них»55. Как и О’Нилл, Безос считает, что это пойдет на пользу Земле — он утверждает, что «мы перенесем всю тяжелую промышленность за пределы Земли, а сама Земля будет зонирована под жилую застройку и легкую промышленность», что, уверяет он нас, вернет планету в некое догреховное состояние56. «500 лет назад, в доиндустриальную эпоху, мир природы был первозданным... Мы променяли часть этой девственной красоты на все те блага, которыми обладаем как развитое общество. И мы можем получить и то, и другое, но для этого нам нужно отправиться в космос»57.

О чем Безос умалчивает, так это о проблемах, которые за прошедшие десятилетия обнаружились в концепции бесконечного изобилия О’Нилла. Технологические достижения, на которые надеялся О’Нилл в надежде запустить электромагнитную катапульту, попросту не материализовались (хотя О’Нилл и не мог знать об этом, когда писал «Высокий рубеж»). Безос считает свою аэрокосмическую компанию Blue Origin своей «самой важной работой», поскольку она позволит человечеству жить в космосе58. Но О’Ниллу пришлось постулировать существование электромагнитной катапульты именно потому, что он понимал: ракеты не способны вывести на орбиту массу, достаточную для строительства одного из его цилиндров. Максимальная полезная нагрузка самой мощной ракеты для дальнего космоса из когда-либо летавших на момент написания этой книги — Space Launch System (SLS) НАСА — составляет тридцать восемь метрических тонн; для строительства самого маленького из спроектированных О’Ниллом поселений потребовалось бы более тринадцати тысяч запусков SLS59. (О’Нилл предполагал, что электромагнитная катапульта будет работать на Луне. Запуск ракет в условиях более низкой лунной гравитации увеличил бы их максимальную полезную нагрузку, но недостаточно для решения этой проблемы — к тому же далеко не все компоненты цилиндра О’Нила можно получить на Луне. Некоторые вещи, такие как люди и продовольствие, могут поступать только с Земли.) И все же неудача с электромагнитной катапультой О’Нилла — далеко не единственная проблема с его планом (как и почти с любым другим планом) переселения людей в космос.

*    *    *

Планы Илона Маска в отношении Марса действительно предполагают нечто большее, чем просто смерть на этой планете. По его словам, полет на Марс «позволяет нам создать резервную копию биосферы, защитив всю известную нам жизнь от земной катастрофы»60 — например, от падения астероида, ядерной войны или вышедшего из-под контроля ИИ. Или, как он выразился в Твиттере: «Мы должны сберечь огонек сознания, став космической цивилизацией и распространив жизнь на другие планеты»61. Его излюбленный план по реализации этой идеи заключается в доставке людей на Марс — сначала нескольких, а затем множества, с конечной целью отправить туда миллион человек к 2050 году62. На момент написания этих строк он заявляет, что планирует посадить ракету SpaceX на Марс к 2029 году63. Хотя воспринимать Маска всерьез становится все труднее — весьма вероятно, что за месяцы между написанием и публикацией этой книги он наговорит и сделает еще много странного или оскорбительного, — он по-прежнему обладает колоссальной властью и влиянием, а SpaceX, безусловно, остается серьезной компанией, по крайней мере сейчас. На 2024 год она является единственным провайдером пилотируемых запусков для НАСА с американской земли, ее система Starlink — один из немногих вариантов мобильной связи во многих по-настоящему глухих уголках планеты, а будущие версии существующих ракет-носителей Starship от SpaceX теоретически могли бы долететь до Марса. В 2018 году ракета SpaceX даже вывела электромобиль Tesla на орбиту, проходящую за Марсом. График Маска касательно Марса, скорее всего, излишне оптимистичен: за эти годы он называл множество других дат высадки людей и беспилотных посадок на Красную планету и сорвал их все — однако посадка ракеты SpaceX на Марс в течение следующих нескольких десятилетий выглядит вполне реальной возможностью64. Проблема заключается во всем остальном, что входит в видение Маска. Космос — будь то Марс или что-то еще — просто неподходящее место. Никто не полетит отважно покорять неизведанное, чтобы прожить там жизнь, создать семьи и построить общины — ни сейчас, ни в обозримом будущем, ни, пожалуй, когда-либо вообще.

Возьмем, к примеру, Марс. В точке максимального сближения до него пятьдесят шесть миллионов километров (тридцать пять миллионов миль). Самый разумный маршрут туда — тот, которым летели почти все марсианские зонды и посадочные модули, — требует от шести до девяти месяцев полета в глубоком космосе перед выходом на орбиту Красной планеты. Это огромный срок — дольше, чем проводили в космосе почти все люди, за исключением единиц, и гораздо дольше, чем кто-либо когда-либо находился за пределами низкой околоземной орбиты. И на то есть веская причина: выход за пределы низкой околоземной орбиты подвергает вас воздействию колоссального количества опасной солнечной радиации (а также, в меньшей степени, излучения из глубокого космоса). Солнце — это гигантская ядерная печь, в ядре которой при температуре в миллионы градусов водород превращается в гелий. Этот обжигающий ядерный жар со временем пробивается к поверхности и атмосфере Солнца, рождая видимый свет, ультрафиолетовые лучи и другие виды излучения с еще более высокой энергией, такие как рентгеновские лучи и быстро движущиеся заряженные частицы. Существуют также космические лучи — высокоэнергетическое излучение, порождаемое катастрофическими событиями за пределами нашей Солнечной системы. Здесь, на поверхности Земли, мы защищены от большей части этого излучения двумя механизмами. Магнитное поле Земли отклоняет огромную часть летящей радиации, а атмосфера поглощает изрядную долю оставшейся до того, как она достигнет земли. На низкой околоземной орбите астронавты лишены защиты нашей атмосферы, и они видят последствия этого своими глазами: многие из них рассказывали, что время от времени замечали яркие вспышки в темноте за сомкнутыми веками — они возникают, когда высокоэнергетическое излучение бомбардирует глаза и зрительные нервы. Но эти астронавты все же находятся под защитой магнитного поля Земли. На пути к Марсу этого преимущества не будет. Астронавты, отправляющиеся в глубокий космос за пределы земной орбиты, неизбежно получают высокие дозы фоновой радиации. Астронавты «Аполлона» за время своих недельных полетов к Луне получили примерно по 0,4 рада каждый — это сопоставимо с двумя компьютерными томографиями головы65. Путешествие на Марс продлится в десятки раз дольше, даже если лететь только в одну сторону. И если по пути туда корабль попадет под сильную солнечную бурю, экипаж может подвергнуться уровням радиации, намного превышающим все, с чем сталкивались астронавты «Аполлона». Защитить космический корабль от радиации возможно, но лишь до определенной степени. Защитные экраны тяжелы, что сильно затрудняет запуск самого аппарата. И даже тяжелая защита не способна остановить все виды излучения на протяжении восемнадцатимесячного путешествия в глубоком космосе туда и обратно.

Как ни опасна радиация, она далеко не единственная проблема в путешествии на Марс. Девять месяцев в тесном замкнутом пространстве психологически изнурительны даже для отлично подготовленных астронавтов на Международной космической станции (МКС) — а ведь у них есть ротация экипажей, регулярное снабжение и связь с Землей в реальном времени. Ничего из этого не будет доступно на корабле, летящем к Марсу, задержка сигнала с которым может составлять до двадцати световых минут. Близость к Земле дает и другие преимущества. Если на МКС что-то пойдет не так, астронавты могут эвакуироваться и оказаться дома уже через несколько часов. Астронавтам «Аполлона-13» пришлось ждать мучительные три с половиной дня, прежде чем вернуться на Землю в своем поврежденном корабле. Если же что-то пойдет не так во время марсианской миссии, помощи придется ждать месяцами, а то и больше года. Дело не только в колоссальном расстоянии, но и в сложной орбитальной механике. В отличие от полетов на низкую околоземную орбиту или Луну, запуски к Марсу возможны лишь в определенные временные окна, когда планеты находятся в оптимальном положении относительно друг друга. Это означает, что спасти терпящую бедствие марсианскую экспедицию за разумный срок будет попросту невозможно. Но даже если все пройдет гладко, сохраняются опасности, связанные с невесомостью на борту самого корабля: длительное пребывание в условиях нулевой гравитации ведет к атрофии мышц, потере плотности костей и множеству других физических недугов. Астронавтам, возвращающимся на Землю после долгой службы на МКС, помогают заново привыкнуть к силе тяжести. Ослабленному же экипажу, прибывшему на Марс, придется адаптироваться к гравитации совершенно самостоятельно.

Даже если предположить, что наши отважные астронавты доберутся до Марса в целости и сохранности — пусть и с существенно возросшим риском заболеть раком в будущем, но пока вполне живые и здоровые, — их проблемы на этом не закончатся. Не закончится даже облучение. Поверхность Марса получает примерно столько же радиации, сколько и близлежащие области открытого космоса, поскольку у Марса нет магнитного поля и практически отсутствует атмосфера (ее плотность составляет всего 1 процент от земной). Лучший способ защититься от радиации на поверхности — зарыться под землю, используя марсианские камни и пыль для поглощения льющегося сверху излучения. Но тут возникает вторая проблема: марсианская пыль богата перхлоратами и другими токсичными химикатами, что делает ее крайне ядовитой для людей, а также для многих других земных растений и животных. Хорошая новость заключается в том, что герметичный скафандр пришлось бы носить в любом случае, даже не будь эта пыль опасной. Из-за крайне низкого атмосферного давления астронавты на поверхности Марса обязаны постоянно находиться в полноценных скафандрах. Прямой контакт с марсианской атмосферой заставил бы слюну на языке астронавта закипеть, пока сам он задыхается; так что токсичная пыль станет меньшей из его забот. (Хотя у этой токсичной пыли есть еще и скверная привычка подниматься в марсианский воздух. На Марсе с пугающей регулярностью бушуют масштабные пыльные бури со скоростью ветра до 100 км/ч [60 миль в час]. Поскольку атмосфера там чрезвычайно разреженная, эти бури не сбивали бы астронавтов с ног — «Марсианин» является художественным вымыслом более чем в одном отношении, — но они бы еще сильнее затруднили защиту от пыли). Скафандры также помогли бы защитить астронавтов от холодного марсианского климата, хотя по сравнению с другими проблемами, которые мы уже рассмотрели, эта не выглядит столь экстремальной: средняя температура в районе марсианского экватора обычно колеблется от 0 °C (32 °F) до -70 °C (-94 °F)66. Так что погожий денек на Марсе сопоставим с прохладным днем на Земле, а вот марсианский морозный день холоден, как антарктическая ночь. На полюсах же Марса становится гораздо холоднее, чем при любой температуре воздуха, когда-либо зарегистрированной на Земле, даже в Антарктиде.

Все эти проблемы сами по себе внушительны. Но если вы хотите именно жить на Марсе, а не просто прилететь туда ненадолго в гости, вам придется столкнуться с еще большим числом трудностей. Остаться на Марсе означает найти надежный источник воды, а на Марсе его фактически нет. Вся планета представляет собой пустыню, а ее скудные запасы воды загрязнены ядовитой пылью и другими опасными соединениями. Даже если вы добудете эту воду, вам придется использовать ее для создания замкнутой экосистемы — скорее всего, под землей, как для защиты от радиации, так и потому, что именно там находится большая часть воды. В этой замкнутой экосистеме должны быть растения и микробы (а возможно, и насекомые), чтобы обеспечивать вас кислородом и пищей, необходимыми для выживания. В теории это должно работать. На практике же никто никогда не делал этого успешно в масштабах, необходимых для человека. Самая известная попытка создать замкнутую экосистему с участием людей — проект «Биосфера-2» неподалеку от Тусона, штат Аризона, — столкнулась с серьезными трудностями во время первой миссии (уровень кислорода неуклонно снижался в течение двух лет эксперимента), а вторая и последняя миссия завершилась преждевременно. Свою роль в этих неудачах сыграл и человеческий фактор (включая участие некоего Стива Бэннона), однако очевидно, что поддержание надлежащего баланса в полностью изолированной экосистеме — задача колоссальной сложности67. На Марсе, где в воздухе практически нет кислорода, солнечного света меньше половины от земного, а почва отсутствует как класс, решить ее будет еще труднее.

И все это предполагает, что растения и микроорганизмы, необходимые для замкнутой экосистемы, в принципе способны нормально развиваться при марсианской гравитации, составляющей лишь треть от земной. Но сила тяжести может стать проблемой и для самих людей. Мы знаем, как влияет на человека длительное пребывание в невесомости, и в этом нет ничего хорошего. Но мы понятия не имеем, как сказывается на организме долговременное нахождение в условиях пониженной гравитации; в конечном счете, надежного способа выяснить это нет — разве что проводить на людях крайне неэтичные эксперименты. И эти эксперименты показались бы детским лепетом по сравнению с теми, которые потребуются, чтобы узнать, безопасно ли заводить на Марсе семью. Нам неизвестно, как жизнь в условиях слабой гравитации повлияет на беременных и детей. Это открытый вопрос: все может пройти нормально, а может резко сократить им жизнь или вовсе погубить. Если же все пойдет плохо, единственным выходом станет строительство на Марсе подземной центрифуги — достаточно большой, чтобы беременные могли жить в ней вплоть до самых родов, а дети — до своего совершеннолетия. Центрифуга для физических упражнений при земной гравитации — отличная идея, но разве разумно обрекать беременных на круглосуточное пребывание внутри нее в течение девяти месяцев? Станем ли мы держать там детей двадцать лет? Как это на них повлияет? Элтон Джон был прав: Марс — не место для воспитания детей, по крайней мере, пока мы не получим информацию, добыть которую невозможно без проведения поистине ужасающих экспериментов над детьми. Без этих данных растить детей за пределами Земли кажется запредельно рискованным шагом с этической точки зрения.

Но просто жить на Марсе и растить там детей недостаточно для воплощения мечты Маска. Он хочет, чтобы марсианское поселение стало резервной копией человечества. А это означает отнюдь не несколько семей и даже не пару десятков. Если поселение на Марсе должно служить планом «Б» для нашего вида на случай катастрофы на Земле, оно обязано быть полностью самодостаточным — что неоднократно подчеркивал и сам Маск.68 А для этого потребуется огромное число людей. Одна из причин — генетическое разнообразие: чтобы избежать опасного уровня инбридинга и генетического дрейфа в изолированной группе, первоначальная популяция должна составлять как минимум несколько тысяч человек. Однако для истинной самодостаточности на Марсе потребуется куда больше жителей, и дело тут в технологиях, необходимых для выживания. Изолированная группа людей на Земле способна выжить при довольно примитивном уровне технологий, как выживало человечество на протяжении тысячелетий до промышленной революции и десятков тысяч лет до появления сельского хозяйства. Но на Марсе любое общество, кроме высокотехнологичного, обречено на мгновенную гибель. Создание и поддержание всего спектра передовых технологий, на которых держится наша цивилизация, требует колоссального количества людей даже на Земле; на Марсе их понадобится ничуть не меньше.

Так сколько же людей потребуется Марсу для создания по-настоящему самодостаточного поселения? «Один миллион — на самом деле абсурдно малая цифра, этого слишком мало для поддержания современной экономики», — пишет лауреат Нобелевской премии по экономике Пол Кругман, комментируя марсианские планы Маска. «Слова Маска сразу же напомнили мне замечательное эссе одного из моих любимых писателей-фантастов, Чарли Стросса, в котором ставился именно этот вопрос: „Каково минимальное количество людей, необходимое для поддержания (не обязательно развития) нашего нынешнего уровня технологической цивилизации?“» Стросс писал на эту тему в 2010 году и пришел к выводу, что «колонизация Марса вполне может оказаться осуществимой на практике, но только если для начала мы забросим туда сто миллионов человек». «И это еще заниженная оценка», — добавляет Кругман. Стросс согласился и предположил, что реальная цифра может достигать миллиарда человек.69 (Автоматизация проблему не решит. Вам все равно понадобятся люди для создания и обслуживания машин, да и экономическая база, необходимая для высокотехнологичного общества, останется огромной.) Цель Маска в миллион человек на Марсе и без того нереалистична. Трудно представить, как там мог бы жить миллиард, и это даже если не задаваться вопросом, как вообще переправить столько людей с Земли. Чтобы доставить на Марс всего один миллион человек, потребуется запускать ракету со ста пассажирами каждый день в течение тридцати лет. А поскольку около 1 процента космических запусков заканчиваются авариями, то без радикального улучшения технологий около десяти тысяч человек погибнут в пути, принесенные в жертву мечтам миллиардера.

Даже если бы удалось разместить миллиард человек в подземном гипермегаполисе на Марсе, это, похоже, неминуемо закончилось бы катастрофой. Уследить за тем, чтобы миллиард человек намеренно или случайно не повредили ключевые системы жизнеобеспечения, — задача невыполнимая. Слишком много бесшерстных обезьян пришлось бы вечно держать взаперти в герметичных подземных туннелях. Поверхность Марса была бы куда более подходящим вариантом для популяции такого размера, если бы ее удалось сделать пригодной для жизни. Терраформирование — поиск способов сделать поверхность других планет гостеприимной для незащищенных людей — это неотъемлемая часть научной фантастики. Но научного обоснования под этим нет: мы не умеем этого делать, хотя теоретических предложений на этот счет хватает. Маск отдает предпочтение одному конкретному методу. «В конце концов Марс можно превратить в планету земного типа, — заявлял Маск. — Надо просто его разогреть... Сбросить термоядерное оружие на полюса».70 Позже признав, что это было «несколько легкомысленно», он пояснил: «На самом деле я имел в виду создание двух маленьких солнц, двух пульсирующих солнц над Северным и Южным полюсами Марса, которые разогрели бы полюса достаточно для того, чтобы замерзший углекислый газ перешел в газообразное состояние и уплотнил атмосферу».71 По словам Маска, этот углекисстый газ вместе с водяным паром, выделившимся от тепла взрывов, способствовал бы дальнейшему потеплению планеты, высвобождая еще больше углекислого газа и воды, что в конечном итоге привело бы к созданию более теплого и влажного мира с достаточно плотной атмосферой для выживания людей. Карл Саган предлагал более трезвый способ терраформирования Марса: высадку растений, которые могли бы превращать часть углекислого газа марсианской атмосферы в кислород и нагревать планету за счет своих темных, поглощающих солнечный свет листьев. Другие предлагали с помощью ракет доставлять из внешних областей Солнечной системы кометы, глыбы льда и замороженного газа и сталкивать их с Марсом, чтобы насытить планету водой и атмосферными газами. Ни одно из этих предложений не отличается реалистичностью (что, впрочем, не мешает Маску носить футболку с надписью «Nuke Mars» — «Ядерный удар по Марсу»).72

Ядерный удар по марсианским ледяным шапкам, высвобождение всего углекислого газа планеты в атмосферу и последующее испарение всех богатых углеродом пород все равно подняли бы атмосферное давление лишь до нескольких процентов от земного уровня на уровне моря.73 Этого мало: при таком давлении вода закипала бы при температуре ниже температуры человеческого тела. Растения тут тоже особо не помогут. Они действительно могли бы превратить часть углекислого газа в кислород, но без достаточного атмосферного давления незащищенные люди все равно погибли бы на поверхности за считаные минуты, даже будь там достаточно кислорода для дыхания. Чтобы терраформировать Марс, дополнительный воздух придется доставлять целиком извне — отсюда и предложения привозить замороженную воду и газы из других уголков Солнечной системы. Технологий для этого сегодня не существует. Даже если их удастся разработать — а на это могут уйти десятилетия, если не больше, — это может быть крайне опасно. Если сдвинуть комету с орбиты с целью направить ее на Марс, но промахнуться, близкое прохождение мимо планеты непредсказуемо изменит траекторию кометы, из-за чего спустя несколько лет она вполне может врезаться уже в Землю. При маневрировании кометой с помощью подобных технологий право на ошибку будет минимальным — а ведь одной кометы не хватит даже близко. Потребуется перенаправить к Красной планете тысячи комет, чтобы появился хотя бы призрачный шанс создать там атмосферу земного типа.

Даже если бы эти технологии сработали, они не решили бы всех проблем, с которыми столкнется человеческая цивилизация на Марсе. Пыль на поверхности по-прежнему оставалась бы токсичной, и жителям Марса пришлось бы придумывать, как использовать эту пыль для выращивания пищи, которая их не убьет. В более широком смысле им пришлось бы с нуля запустить целую замкнутую экосистему планетарного масштаба, причем так, чтобы она не сорвалась в экстремальное состояние — подобно тому, как бурное цветение водорослей высасывает из воды весь кислород. Никто не знает, как это сделать; на разработку научных основ легко могут уйти столетия, а полученные наукой ответы могут указать на то, что подобную работу невозможно провернуть быстрее, чем за десятки тысячелетий или даже дольше. В эволюционных и геологических масштабах времени это довольно быстро, но, скорее всего, гораздо медленнее, чем хотелось бы людям, мечтающим жить на Марсе. И даже если Марс удастся заставить цвести, это никак не решит проблему его меньшей массы и отсутствия магнитного поля. Эти два фактора гарантируют, что даже на терраформированном Марсе уровень радиации на поверхности останется выше, а гравитация — слабее, чем на Земле, со всеми вытекающими отсюда проблемами для здоровья.74

Но предположим, что через пятьдесят лет мечта Маска сбылась, хотя бы отчасти: на Марсе живут люди. Не миллиард, и даже не миллион, а несколько сотен человек обитают на базе, которая задумывалась как постоянное марсианское поселение. Пожалуй, это не невозможно. Но, учитывая все проблемы жизни на Марсе, зрелище это будет безрадостное. Эти люди, скорее всего, безвылазно жили бы в подземных туннелях и редко, если вообще когда-либо, видели небо. Опасные вылазки на поверхность совершались бы лишь для редкого технического обслуживания оборудования. У жителей этого маленького марсианского городка не было бы семей — или, по крайней мере, детей, — и они полностью зависели бы от регулярных поставок с Земли для пополнения запасов воды, еды и техники. Это значит, что любая вещь там обходилась бы гораздо дороже, чем на самом отдаленном острове на Земле. И все эти поставки шли бы от одного-единственного поставщика — SpaceX, которая получила бы монополию куда более абсолютную, чем та, которой когда-либо пользовались корпорации в корпоративных городках на Земле. Даже воздух, которым дышат марсиане, стоил бы денег. Кому действительно понравится так жить? Если отбросить финансовую сторону вопроса, нам и так непросто найти людей, готовых и способных провести восьмимесячную зимовку на Южном полюсе. На фоне Марса Антарктида покажется Таити.

И все же Марс — это, безусловно, самый многообещающий вариант в нашей Солнечной системе, если не считать Землю. Следующая по перспективности — Луна. До Луны лететь всего три дня, а не девять месяцев. Именно поэтому мы смогли отправить туда людей. Но если не считать времени в пути, она уступает Марсу почти по всем параметрам. Сила тяжести на ее поверхности вдвое меньше, чем на Марсе (около одной шестой от земной), а температурные перепады выражены гораздо сильнее: от 121 °C (250 °F) до -133 °C (-208 °F) на ее экваторе.75 Кроме того, уровень радиации на поверхности Луны еще выше, чем на Марсе. Как и Марс, Луна не имеет магнитного поля, но у нее вообще нет никакой атмосферы, так что она полностью лишена защиты от излучения. А поскольку Луна находится ближе к Солнцу, чем Марс, на нее попадает больше солнечной радиации. И хотя лунная пыль не так опасна для здоровья, как марсианская, приятного в ней тоже мало. Она состоит из крошечных осколков породы, которые совсем не подвергались выветриванию, ведь на Луне нет погоды. Астронавт миссии «Аполлон-16» Джон Янг говорил, что она «работает прямо как абразив», и докладывал в Хьюстон, что она стерла надписи со всего его оборудования.76 О терраформировании Луны не может быть и речи: ее гравитация слишком слаба, и если направлять кометы на Марс было делом рискованным, то нацеливать их на Луну было бы чистым самоубийством. Лунная база, как и марсианская, должна быть по большей части подземной. При всех недостатках Луны ее расположение могло бы сделать лунную базу чуть менее удручающим местом, чем марсианская (хотя планка здесь, конечно, чрезвычайно низка). Свет долетает от Земли до Луны чуть больше чем за секунду, поэтому — в отличие от Марса — здесь были бы возможны разговоры с друзьями и близкими в реальном времени. Из-за более простой логистики товары на Луне стоили бы несколько дешевле, чем на Марсе, к тому же оставалась бы возможность относительно быстро вернуться на Землю. В остальном же там было бы столь же плохо, как на Марсе, если не хуже. Есть ли в Солнечной системе какое-то другое место, где дела обстоят иначе? Что ж, возможно.

Поверхность Венеры являет собой картину подлинного ада: сокрушительное атмосферное давление, сопоставимое с давлением на глубине километра под толщей океана, и температура выше, чем у расплавленного свинца — и все это под небом, навечно затянутым облаками из серной кислоты. Однако примерно в пятидесяти километрах (тридцати милях) над поверхностью планеты давление такое же, как на уровне моря на Земле, температура обычно колеблется в пределах 30–60 °C (85–140 °F), гравитация лишь на 10 процентов слабее земной, а плотная атмосфера отлично защищает от радиации. Но венерианским астронавтам на дирижабле на такой высоте все равно пришлось бы мириться с дождями из концентрированной серной кислоты, практически полным отсутствием кислорода и воды и постоянным риском сорваться в сокрушительную адскую бездну внизу.77 В сравнении с поверхностью это, может, и неплохо, но все равно ужасно — к тому же условия внизу означают, что надежды найти на самой планете ресурсы, необходимые для выживания, практически нет. Парящему венерианскому городу требовались бы непрерывные поставки с Земли; без них все обитатели этого воздушного шара просто умерли бы от голода.

И все же, несмотря на все проблемы, Марс, Луна и Венера — это безусловно лучшие из имеющихся у нас вариантов. Остальная часть Солнечной системы еще более враждебна к человеческой жизни. Меркурий — это более горячая, сильнее облучаемая радиацией и гораздо более далекая версия Луны. Астероиды — это безвоздушные обломки скал, слишком маленькие, чтобы создать ощутимую гравитацию, если только не выдолбить их изнутри и не раскрутить, что потребовало бы инженерных решений, далеко выходящих за рамки нынешних возможностей нашего вида. Газовые гиганты — Юпитер, Сатурн, Уран, Нептун — предлагают сокрушительное атмосферное давление вместо твердой поверхности. Сотни их спутников представляют собой ледяные пустыни; даже на самых близких из них Солнце светит с интенсивностью всего около 4 процентов от земной. Самый многообещающий из них, Титан, обладает единственной помимо Земли твердой поверхностью в Солнечной системе с атмосферой подходящей плотности, позволяющей человеку ходить без герметичного скафандра, и на нем находятся единственные известные озера на поверхности за пределами Земли. Но любому, кто решит прогуляться по берегу озера на Титане, придется взять с собой запас кислорода и хорошенько утеплиться. Максимальная температура под непроницаемой оранжевой дымкой титанианского неба составляет около -180 °C (-292 °F). Озера состоят из углеводородов, а водяной лед на Титане по прочности не уступает граниту. И все же это гораздо лучше, чем миры, которые ждут за Нептуном. На объектах пояса Койпера, таких как Плутон, земля состоит из замерзшего воздуха. Эти крошечные миры с силой тяжести менее 10 процентов от земной неторопливо кружат вокруг Солнца, совершая лишь несколько оборотов за тысячелетие. Радиосигналы, отправленные с Земли, идут туда часами.

Этот перечень проблем, характерных для миров нашей Солнечной системы, конечно же, не претендует на полноту. Это лишь малая часть тех опасностей, что поджидают любого, кто отважится туда отправиться. Солнечная система — прекрасное место для исследований... с помощью роботов. Для людей же она чудовищно негостеприимна.

Впрочем, за пределами нашей Солнечной системы наверняка найдется немало миров, гораздо более дружелюбных к человеку. Экзопланеты — планеты, обращающиеся вокруг других звезд, а не нашего Солнца, — стали одним из величайших триумфов астрономии за последние тридцать лет. Первая подтвержденная экзопланета была открыта в 1992 году; сегодня их известно уже более пяти тысяч, причем большая часть была обнаружена за последние пятнадцать лет. На сегодняшний день ученые практически единодушны в том, что почти у каждой звезды есть по меньшей мере одна планета. Это лишь вопрос времени, когда наши телескопы заметят многообещающий сине-зеленый мир, вращающийся вокруг другого солнца, — мир из камня и воды, с атмосферой, похожей на нашу. Это произойдет, возможно, уже в ближайшие несколько лет и почти наверняка еще при жизни некоторых читателей этой книги.

Но даже когда мы найдем подобные нашей планеты, мы не сможем их посетить. Человечество не покинет пределы Солнечной системы по множеству причин, перечислять которые здесь можно долго. Главная из них — колоссальные расстояния: ближайшая к нашему Солнцу звезда, Проксима Центавра, находится на расстоянии 4,25 светового года. Разогнать даже крошечный космический зонд до какой-либо значительной доли скорости света практически невозможно и феноменально опасно.78 Для корабля с людьми на борту это было бы еще труднее и почти наверняка смертельно для всего экипажа. На скорости в треть световой столкновение с единственной песчинкой вызвало бы удар мощнее взрыва тонны тротила, который мгновенно разнесет корабль в щепки. Полет же на более умеренных скоростях растянулся бы на века или тысячелетия. Астронавты, отправившиеся в путь, умерли бы задолго до прибытия, как и их дети, и внуки; до цели добрались бы лишь их далекие потомки. Подобный «корабль поколений» — привычный образ в научной фантастике. Однако корабли поколений этически неприемлемы. Первый экипаж обрек бы целые поколения собственных потомков жить и умирать в замкнутом пространстве корабля, а поколению, завершающему полет, пришлось бы пытаться строить новую жизнь в мире, куда они вовсе не просили их отправлять и который вблизи может оказаться куда менее гостеприимным, чем казался издалека. И это если оставить в стороне практическую сторону строительства такого судна: грандиозную задачу, требующую колоссального количества материалов. Конструкция должна обладать колоссальным запасом прочности, многократным резервированием систем безопасности и надежными методами поддержания жесткого контроля над внутренней экосистемой, ведь всему кораблю, возможно, придется прослужить дольше, чем длится вся известная нам письменная история человечества. Для задачи такого масштаба, вероятно, было бы разумно сначала провести тренировку здесь, в нашей собственной Солнечной системе, — и именно это, по сути, предлагает Джефф Безос в своих мечтах о цилиндрах О’Нила.

Преимущество гигантских вращающихся космических станций заключается в возможности создания условий, близких к земным: их можно раскрутить для получения искусственной гравитации на внутренней поверхности, сделать внешнюю оболочку толстой и плотной для защиты от радиации, а затем заполнить пригодной для дыхания плотной атмосферой, подобной земной. Самые амбициозные и детальные планы О’Нила предусматривали создание цилиндров длиной 32 километра (20 миль) и шириной 6,5 километра (4 мили) с площадью поверхности, сопоставимой с городом Финикс, способных вместить несколько миллионов человек. Вывод такого объема материалов в космос сопряжен с непреодолимыми трудностями при любых существующих технологиях, но проблемы на этом не заканчиваются. Строительство единого сооружения такого масштаба никогда даже не предпринималось на Земле; сказать, что оно затмит все, что человечество пыталось создать до сих пор, — значит ничего не сказать. Строительство подобного объекта в космосе, вероятно, потребовало бы создания совершенно новых областей инженерии. Сейчас мы просто не способны на это. Нас отделяют от этого сотни лет, если это вообще возможно.

И все же создание конструкции и защитного экрана цилиндра О’Нила — это, пожалуй, самая простая часть задачи. Получив саму конструкцию, вам нужно наполнить ее водой, воздухом, растениями, животными и людьми, создав замкнутую экосистему, способную функционировать бесконечно без посторонней помощи. Если Безос хочет расселить на космических станциях триллион человек, сохранив Землю первозданной, это означает, что воду и воздух нельзя брать с Земли. Их придется добывать из космического льда и замерзшего газа, находящихся в кометах или на спутниках внешних планет Солнечной системы. Станции потребуется хотя бы немного земной почвы, чтобы занести микроорганизмы, необходимые для роста растений; растениям нужно дать время размножиться до прибытия людей, чтобы насытить воздух кислородом; придется запустить насекомых для опыления. Строго говоря, ничто из этого не считается принципиально невозможным, но мы и не знаем наверняка, возможно ли это вообще. Зато мы точно знаем, что строительство одной такой станции потребует колоссальных усилий. Сравнение планов О’Нила с существующими космическими станциями дает наглядное представление о том, насколько подобный проект превосходит наши нынешние возможности: сравните изображение интерьера цилиндра О’Нила в представлении НАСА на рисунке 5.1(а) с интерьером МКС — безусловно, крупнейшей из когда-либо построенных космических станций — на рисунке 5.1(б). Но Безос не просто хочет построить одну станцию. Если в каждом цилиндре будет жить пять миллионов человек, то для реализации его плана по расселению в космосе триллиона людей потребуется построить двести тысяч таких гигантов. Только для снабжения этих станций водой и воздухом понадобятся сотни или тысячи комет.79 Строительство самих конструкций для цилиндров потребует куда больше ресурсов и, скорее всего, вынудит разобрать целый крупный астероид ради его массы — задача, полностью выходящая за рамки любых технологий, которые человечество сегодня умеет создавать.

В маловероятном случае, если Безос и его последователи преуспеют в этой неправдоподобной затее, они получат флот из сотен тысяч космических станций, каждая из которых будет заполнена миллионами людей, лишенных возможности легко их покинуть, — возникнет не просто корпоративный город, а корпоративная цивилизация. Если запереть пять миллионов обезьян в одной консервной банке — пусть даже очень большой, — это неизбежно породит политику в той или иной форме. А когда в космосе окажется триллион людей, катастрофа станет лишь вопросом времени. Здоровый взрослый человек погибает при прямом воздействии космического вакуума примерно за три минуты, если предварительно выдохнет воздух, чтобы не разорвало легкие. В будущем Безоса достаточно будет одного сбоя системы, одной аварии, одного безумного или злонамеренного поступка, чтобы погубить миллионы — или миллиарды — жизней быстрее, чем вы успеете съесть яблоко.

Рисунок 5.1: (а, вверху) Концептуальная иллюстрация НАСА, изображающая внутреннее пространство цилиндра О’Нила. (б, внизу) Астронавт НАСА Джанетт Эппс на борту Международной космической станции — крупнейшей космической станции из когда-либо построенных.

Впрочем, остается один последний вариант. В Солнечной системе есть место, где имеются необходимые нам гравитация, воздух и вода. Там есть мощное магнитное поле, отклоняющее радиацию, температурный режим, с которым мы можем справиться при помощи существующих технологий, а также двадцатичетырехчасовые сутки. Там даже есть уже готовая экосистема — та, что производит пищу, пригодную для человека. И что лучше всего, нам не нужно беспокоиться о том, как создать там самодостаточную человеческую популяцию, потому что там уже живут восемь миллиардов человек.

*    *    *

Несмотря на все проблемы, все же возможно, что когда-нибудь люди — может быть, даже в огромном количестве — проведут всю свою жизнь в космосе. Суть лишь в том, что этого может и не произойти, ведь в космосе очень непросто не умереть. И если люди в конечном итоге действительно построят в космосе замкнутую цивилизацию, то для этого, скорее всего, потребуется много времени — тысячелетия или даже больше.

То, что какое-то дело трудно и требует времени, еще не значит, что за него не стоит браться. Джон Ф. Кеннеди, как известно, заявлял, что Соединенные Штаты должны отправить астронавтов на Луну именно потому, что это трудно. Но истинная причина запуска программы «Аполлон» заключалась в другом — в соперничестве с СССР в годы холодной войны. По сравнению с этим стремление Маска создать резервную копию человечества на Марсе на случай глобальной катастрофы на Земле звучит благородно. Другие технологические миллиардеры с этим согласны. «[Маск] хочет отправиться на Марс, чтобы сделать резервную копию человечества, — говорит сооснователь Google Ларри Пейдж. — Это достойная цель... и это филантропия»80.

Но Пейдж ошибается. Если оставить в стороне извечные проблемы, присущие миллиардерской благотворительности, план Маска по созданию резервной копии человечества на Марсе все равно плох — именно потому, что Марс ужасен. Идея «резервного копирования», судя по всему, продиктована страхом перед вымиранием человечества в результате катастрофы планетарного масштаба, такой как глобальное потепление, ядерная война или падение крупного астероида. Из этих вариантов крупные астероиды, пожалуй, самые разрушительные. И уж точно самые эффектные. Один-единственный худший день в истории сложной жизни на Земле случился шестьдесят шесть миллионов лет назад, когда глыба шириной с Бруклин и высотой больше Эвереста врезалась в полуостров Юкатан на скорости, в сто раз превышающей скорость пассажирского лайнера. Этот астероид пробил земную кору почти насквозь, до самой мантии, выбросив бесчисленные тонны породы далеко в космос — обломки костей динозавров, выбитые этим ударом, вероятно, до сих пор лежат на Луне81. Большая часть выброшенной породы вернулась на Землю в течение нескольких часов, полыхая в небе. Жар от их вхождения в атмосферу во многих частях планеты раскалил воздух докрасна, вызвав повсеместные лесные пожары. Кое-где температура воздуха у поверхности была выше, чем в духовке в режиме гриля. Существа, пережившие тот день, столкнулись с новыми ужасами. Миллиарды тонн диоксида серы, выброшенные в атмосферу в результате удара, на годы скрыли Солнце, что привело к резкому падению температуры по всей планете и гибели растений и фотосинтезирующих микроорганизмов на суше и в океане. Лишившись самого основания пищевой цепочки, большинство существ умерло от голода. В конечном счете вымерло 80 процентов видов животных, включая, как широко известно, всех нептичьих динозавров82.

Но «когда 66 миллионов лет назад упал астероид, погода на Земле все равно была лучше, чем сегодня на Марсе, иначе ни одно животное не выжило бы», — говорит Питер Браннен, автор книги «Конец света», посвященной массовым вымираниям на Земле. — «Так что лучше нам научиться жить здесь. Это наш единственный дом»83. Наше существование — доказательство правоты Браннена: несмотря на все ужасы того дня, млекопитающие выжили, как и птицы, рыбы и многие другие позвоночные. Ни одно млекопитающее без защитных средств не смогло бы прожить на Марсе и нескольких минут. «Мы никогда не загадим эту планету ядерным оружием или изменением климата до такой степени, чтобы какое-то другое место показалось лучшим вариантом», — заключает Браннен84. Или, как формулирует это космолог и королевский астроном Мартин Рис: «Думать, будто космос предлагает спасение от земных проблем — опасное заблуждение. Мы должны решать эти проблемы здесь. Борьба с изменением климата может показаться пугающей задачей, но это сущие пустяки по сравнению с терраформированием Марса. Ни одно место в нашей Солнечной системе не предлагает условий даже столь же мягких, как в Антарктиде или на вершине Эвереста. Для обычных, не склонных к риску людей никакой "планеты Б" не существует»85. Если бы вы прямо сейчас узнали, что на Землю несется астероид, подобный тому, что упал шестьдесят шесть миллионов лет назад, и вам предложили бы выбор — остаться здесь или отправиться на марсианскую базу вроде той, что хочет построить Маск, остаться здесь было бы куда более выигрышным вариантом. Все на Земле, скорее всего, погибли бы, но без поставок с Земли на Марсе совершенно точно погибли бы все до единого.

Проекты терраформирования Марса выглядят особенно нелепо на фоне глобального потепления здесь, на Земле. Терраформирование Марса со всеми его бесчисленными трудностями однозначно сложнее, чем решение проблемы глобального потепления на Земле, для которого всего-то и нужно прекратить выбрасывать в атмосферу так много углекислого газа и других парниковых газов (и, будем надеяться, найти эффективные способы удалить часть того, что мы уже туда выбросили). И все же человечество до сих пор крайне плохо справляется с решением проблемы глобального потепления. Многие из тех же людей, кто ратует за терраформирование Марса, предпочли бы обойти необходимость прекращения сжигания ископаемого топлива, пытаясь взамен «терраформировать» саму Землю методами геоинженерии. Подобные проекты обсуждаются уже десятилетиями; их, как правило, отвергают по той веской причине, что их последствия трудно предсказать в полной мере, и существует немалая вероятность непредвиденных последствий, которые могут оказаться хуже самого глобального потепления.

Даже если терраформировать Марс в принципе возможно, разработка необходимых для этого технологий скорее повысит, а не снизит вероятность того, что человечество уничтожит само себя. Двадцатый век показал, что соперничающие ядерные сверхдержавы с готовностью ввязываются в космическую гонку. Представьте себе космические беспилотники, способные притягивать кометы с окраин Солнечной системы и направлять их для удара по поверхности Марса. А теперь представьте, что у вашей страны их нет, а у ее главного соперника — есть. Как, по-вашему, отнесутся к этому лидеры вашей страны? Неминуемо начнется гонка вооружений, причем для ее запуска даже не понадобятся развитые технологии терраформирования — для этого хватит практически любого технологического прорыва, необходимого для жизни и работы в космосе. Лунная база, способная отправлять в космос сырье для цилиндра О’Нила, с тем же успехом могла бы швырять массивные лунные камни в любую точку на Земле. Эти камни, падая с лунной орбиты на поверхность Земли, входили бы в атмосферу на скорости около десяти километров в секунду (шести миль в секунду), что вдвое медленнее астероида, погубившего динозавров, — но этого с лихвой хватит, чтобы вызвать смерть и разрушения масштаба, сопоставимого с применением ядерного оружия.86

Гонка вооружений — далеко не единственный вид международного кризиса, спровоцировать который может попытка колонизировать космос. В 2020 году Starlink, сервис спутникового интернета от SpaceX, попал в заголовки новостей из-за пункта, запрятанного в его пользовательском соглашении. В нем, в частности, утверждалось, что «стороны признают Марс свободной планетой и признают, что ни одно земное правительство не обладает авторитетом или суверенитетом над деятельностью на Марсе. Соответственно, споры будут разрешаться на основе принципов самоуправления, добросовестно установленных во время марсианского заселения». Однако существуют международные договоры, регулирующие вопросы территорий в космосе, которые нельзя аннулировать с помощью пользовательского соглашения. Это соглашение «заставило меня рассмеяться», — сказал Бледдин Боуэн, преподаватель международных отношений и эксперт по космической политике из Лестерского университета. — «Формулировки в этом пункте нарушают Договор о космосе 1967 года, в особенности статьи VI и VIII»87. Дэвид Коплоу, профессор права в Джорджтаунском университете, отметил: «Я понятия не имею, что они подразумевают под "свободной планетой" или "принципами самоуправления" — с точки зрения международного права это просто тарабарщина»88. Договор о космосе гласит, что Луна, Марс и любые другие небесные тела принадлежат всему человечеству, а космические путешественники по-прежнему находятся под юрисдикцией своих государств. Сейчас эти юридические тонкости носят в основном абстрактный характер, но они могут стать пугающе осязаемыми в случае появления конкурирующих баз разных стран на Луне или Марсе. Если одна страна совершит в космосе нечто, что посчитает законным, а другие страны с этим не согласятся, это может дестабилизировать международную обстановку и в конечном итоге привести к войне между государствами, обладающими передовыми космическими технологиями89.

Итак, построить большой город на Марсе, скорее всего, во-первых, невозможно; во-вторых, это не поможет спасти человечество в случае катастрофы на Земле; в-третьих, это может запросто сделать человечество менее, а не более защищенным; и, наконец, это сомнительно с юридической точки зрения. Зачем же Маск так стремится к этому? «Очень часто, когда заходит речь о создании резервной копии человечества, большинство этих людей упоминают вовсе не изменение климата. Чаще всего они говорят о падении астероидов. И мне это всегда казалось чрезвычайно любопытным, — говорит астроном Люсианна Валкович. — Потому что подумайте, что такое падение астероида. Это нечто, что сваливается как гром среди ясного неба, что вы абсолютно никак не можете предотвратить и о приближении чего вы и не подозревали. И я думаю, причина того, почему вы не слышите об изменении климата из уст людей, утверждающих, что нам нужно создать резервную копию человечества (возможно, они и говорят об этом на других площадках, но никогда не связывают эти две темы вместе), заключается в том, что изменение климата подразумевает человеческую ответственность. Изменение климата подразумевает действия, за которые ответственны они сами». Валкович предполагает, что вместо того, чтобы признать эту ответственность, миллиардеры ищут способ ее избежать. «Я абсолютно презираю эту идею резервного копирования человечества... — отмечает Валкович. — У [миллиардеров] больше всего средств и больше всего власти, чтобы сделать хоть что-то с реальными проблемами, с которыми мы сталкиваемся — будь то изменение климата или неравенство доходов. Идея бэкапа человечества — это уход от ответственности путем создания иллюзии, будто у нас есть карточка «Выйти из тюрьмы бесплатно»»90.

Это до боли очевидно по тому, как Джефф Безос рассуждает о гениях будущего. Он мечтает о тысяче Моцартов и тысяче Эйнштейнов среди триллиона людей, живущих в космосе. Но при этом он не замечает потенциальных Эйнштейнов и Моцартов, которые прямо сейчас живут и умирают в нищете. Если Безос действительно хочет динамично развивающейся цивилизации, он мог бы вложиться в решение проблем, с которыми мы реально сталкиваемся. Он мог бы заняться проблемой колоссального имущественного неравенства в современном мире. Он мог бы направить все свои ресурсы на борьбу с глобальным потеплением, последствия которого также распределятся по миру неравномерно. Вместо этого он устремляет взор в космос — и считает это лучшим и самым важным делом, на которое он может потратить свои деньги.

В этом и заключается обещание трансцендентности, которое несет с собой технологическое спасение. Аптон Синклер однажды заметил, что «трудно заставить человека понять что-то, если его зарплата зависит от его непонимания»91. Но для Безоса и Маска на кону стоит нечто гораздо большее, чем просто зарплата. Эти мечты о космосе, в которые они искренне верят вопреки всем доказательствам обратного, позволяют этим миллиардерам избегать ответственности за любые проблемы здесь, на Земле, и вместо этого заявлять, что нет ничего важнее того, чем они хотят заниматься. Никакой реальный кризис не может встать на пути воображаемой миссии. В самый разгар пандемии COVID-19 Маск заставил Tesla нарушить предписания о самоизоляции, а компания Безоса Blue Origin вынудила сотрудников в штате Вашингтон поехать в сельские районы Техаса, чтобы провести испытательный запуск ракеты для космических туристов92. «Никакого Марса не будет, если мы позволим им забрать нашу свободу», — написал Маск в Твиттере в мае 2020 года по поводу пандемийных ограничений93. Здесь Маск отождествляет свои личные планы с самим Марсом. Критика властных фантазий Маска превращается в критику самой идеи космоса, обладающей огромной культурной силой, — идеи, к которой он вернулся в твите в следующем году:

те, кто нападает на космос,

возможно, не понимают, что

космос олицетворяет надежду

для столь многих людей94

Но надежда для кого конкретно? «Как на самом деле выглядело бы резервное копирование человечества? Чье именно человечество? Кто включен в эту резервную копию? — спрашивает Валкович. — Если мы посмотрим на исключающий характер отбора астронавтов... и если бы мы попытались сделать что-то подобное завтра, не проанализировав все те подходы, с помощью которых мы конструировали представление о том, кто вообще достоин полететь в космос, не говоря уже о том, чтобы стать тем, кто взойдет на этот ковчег для человечества, — я думаю, здесь обнаружится очень тесная связь с евгеникой. Мы уже видим, что люди с инвалидностью исключаются [из числа кандидатов в астронавты]. Исторически исключались женщины, исключались цветные люди. И это было сквозным мотивом на протяжении всей космической программы. Хотя сегодня программа подготовки астронавтов стала более разнообразной, она все еще остается принципиально исключающей системой. Кое-что из этого может быть связано с требованиями космоса, но кое-что — это просто представления людей о том, чье тело достойно»95.

Этот исключающий подтекст проявляется и в самом популярном термине, который эти миллиардеры — и многие, многие другие — используют для обозначения отправки огромного числа людей жить за пределы Земли: космическая колонизация. Слово «колонизация» «связано с историей, которая принесла выгоду главным образом людям европейского происхождения, находящимся в Америке, — говорит Валкович. — Для многих людей колонизация до сих пор является частью повседневной жизни, и поэтому, когда мы используем слово "колонизация" применительно к космосу далеко не нейтральным образом — когда о колонизации говорят в контексте космоса, ее представляют в этом блестящем будущем, — это стирает историю, которая происходила здесь, на Земле... Когда мы используем его в этих нейтральных или даже вдохновляющих значениях, мы на самом деле усугубляем вред, избегая этой ответственности»96. Покойный физик Стивен Хокинг выступил в 2017 году с речью, которая послужила отличным примером подобного мышления. «Земля становится слишком мала для нас, наши физические ресурсы истощаются с пугающей скоростью, — сказал он. — Когда мы сталкивались с подобными кризисами в нашей истории, обычно находилось другое место для колонизации. Колумб сделал это в 1492 году, когда открыл Новый Свет. Но теперь Нового Света нет. Никакой утопии за углом. У нас заканчивается место, и единственное, куда мы можем отправиться, — это другие миры»97. Кто подразумевается под «мы» в этом абзаце? Уж точно не коренные американцы, которые прекрасно жили тысячелетиями, пока Колумб и другие европейские колонизаторы не вторглись на их земли и не истребили 90 процентов их населения. Какие выводы должны сделать коренные американцы о своем месте в космических планах, в которых используется слово «колонизация»?

Хищническая логика колониализма пронизывает мечты о технологическом спасении в космосе. Вот Курцвейл и Бостром с уверенностью заявляют, что инопланетян, скорее всего, не существует, поэтому все ресурсы Вселенной предоставлены в наше полное распоряжение. Вот планы по эксплуатации и уничтожению природы в космическом масштабе. Вот миллиардеры, расписывающие концепции нашего «явного предначертания» в космосе, невзирая на то, что мы уже знаем, и на то, что — или кого — еще мы можем там обнаружить. Даже в том случае, если мы никогда не столкнемся ни с какой инопланетной жизнью, логика колониализма имеет историю насилия, которая может повториться среди людей в космосе, но на этот раз с использованием неизмеримо более опасных технологий.

Тот факт, что Маск и Безос — не говоря уже о Холле и Райнхарде — перед лицом этих проблем продолжают использовать язык космической колонизации, является лишь одним из примеров более масштабной проблемы: здесь наблюдается своеобразная слепота к истории, особенно к исторической перспективе людей, не являющихся белыми мужчинами. «Каковы бы ни были непосредственные причины культурного сдвига в 1960-х и 70-х годах, один неоспоримый факт заключается в том, что он произошел, — пишет Холл в книге «Где моя летающая машина?» — Культура доверия и дух общности и солидарности 30-х, 40-х и 50-х годов испарились в культурных войнах 60-х и 70-х».98 Утверждение, что в Соединенных Штатах с 1930 по 1960 год не было культурных войн, выдает шокирующее невежество Холла в вопросах истории. Имели место массовые социальные волнения времен Великой депрессии с призывами ко всевозможным революциям; существовало движение за гражданские права, которое было чрезвычайно активным в 1950-х годах и, пожалуй, началось еще в 1940-х; были семена феминизма второй волны, проросшие после Второй мировой войны; был демарш диксикратов, вышедших из Демократической партии в 1948 году исключительно по расистским мотивам, — этот список можно продолжать. Но когда Холл смотрит на ту эпоху, он ничего этого не видит. Он видит лишь перспективу благополучных, состоятельных белых мужчин, которые, безусловно, крепко удерживали власть в Соединенных Штатах на протяжении всего этого периода (и задолго до него). Точно так же, когда техномиллиардеры и их прихлебатели смотрят на идею колониализма, они не видят геноцида и эксплуатации. Они видят фронтир, где могут избежать регулирования, равно как и любых других последствий своих действий здесь, на Земле.

*    *    *

По-видимому, ожидать от таких техномиллиардеров, как Маск, Безос и Андриссен, внимания к фактам и аргументированного обоснования своих убеждений — значит требовать от них слишком многого. Манифест Андриссена уж точно держится не на логике — он держится на чистом вайбе. «Перефразируя манифест других времен и мест: "Красота живет только в борьбе. Нет шедевра, лишенного агрессивного характера. Технология должна быть яростным штурмом неведомых сил, чтобы заставить их склониться перед человеком"». Андриссен какое-то время продолжает в том же духе, все больше распаляясь. «Мы не жертвы, мы — завоеватели... Мы не первобытные люди, съежившиеся от страха перед молнией. Мы — высший хищник; молния работает на нас. Мы верим в величие... амбиции, агрессию, упорство, неумолимость — силу».99

«Манифест других времен и мест», на который ссылается Андриссен, — это «Манифест футуризма», написанный в 1909 году Филиппо Томмазо Маринетти, итальянским поэтом и теоретиком искусства. (Это очень близкий парафраз; все, что сделал Андриссен, — заменил «поэзию» на «технологию»). «Мы хотим прославить войну — единственную гигиену мира — милитаризм, патриотизм, разрушительный жест анархистов, прекрасные идеи, которые убивают, и презрение к женщине», — писал Маринетти. «Мы хотим разрушить музеи, библиотеки, бороться с морализмом, феминизмом и всей оппортунистической и утилитарной трусостью».100 Связь с Маринетти помогает определить вайб, который Андриссен стремится здесь создать со всеми своими разговорами об агрессии, завоеваниях и высших хищниках. Через десять лет после написания «Манифеста футуризма» Маринетти стал соавтором «Манифеста фашизма», а вскоре после этого — одним из первых и ярых сторонников Бенито Муссолини. Маринетти поддерживал Муссолини и фашизм до самой своей смерти в 1944 году.

Андриссен настаивает, что технооптимизм — это не политическая позиция и что он не обязательно является левым или правым (хотя социализм и коммунизм входят в его список врагов). Тем не менее, Андриссен не только цитирует Маринетти в своем манифесте, но и вносит его в список «святых покровителей технооптимизма». И Маринетти — далеко не единственный фашист в списке Андриссена. Он также включает туда Ника Лэнда, неореакционного философа, трудами которого зачитываются альт-правые последователи Кёртиса Ярвина. (Сторонники эффективного акселерационизма также цитируют Лэнда в своей дебютной публикации).101 Андриссен также внес в список Фредерика Джексона Тернера. Тернер был американским историком конца XIX — начала XX века, который сформулировал и отстаивал «тезис о фронтире» — идею о том, что фронтир имеет важнейшее значение для жизнеспособности американской культуры. Эта колонизаторская риторика перекликается и с манифестом Андриссена, и с рассуждениями Холла о Солнечной системе как о необходимом вызове для нашей цивилизации, и с видением О’Нилла относительно космического рубежа. В 2016 году Андриссен заявил, что «антиколониализм на протяжении десятилетий оборачивался экономической катастрофой для индийского народа» — судя по всему, в ответ на то, что правительство Индии закрыло инициативу Facebook, предоставлявшую бесплатный доступ к крайне урезанной версии интернета. Неясно, каким образом для Андриссена это действие перевешивает ужасы британской оккупации Индии, — он не стал вдаваться в подробности, хотя позже попытался извиниться и заявил, что «на 100% выступает против колониализма», — но, опять же, все дело в вайбах.102

Эти вайбы — вайбы фашизма, авторитаризма и колониализма — по сути своей направлены на создание фантазии контроля, этого абсолютного наркотика, предлагаемого идеологией технологического спасения. И вновь дистанция между лагерем сторонников эффективного акселерационизма Андриссена и лагерем эффективных альтруистов и рационалистов оказывается исчезающе малой. Эффективные альтруисты и рационалисты тоже хотят контроля — контроля над сверхразумным ИИ, который направит человечество по наилучшему пути к будущему, обладающему наивысшей ценностью. (Попутно они также использовали схожую расистскую и авторитарную риторику). Андриссен, похоже, хочет того же; он лишь расходится во мнениях относительно того, как этого достичь, что считать ценностью и кто должен указывать сверхразумному ИИ, что делать, пока тот определяет наше будущее. Если вы хотите представить картину этого будущего, вообразите цифровой сапог миллиардера, наступающий на лицо человека — навечно.

Вместе с этой мечтой о вечном всеобщем контроле приходит и другой компонент технологического спасения — использование этого идеального контроля для преодоления любых ограничений. Здесь Андриссену и технооптимистам фактически удается превзойти эффективных альтруистов. Эффективные альтруисты, безусловно, заинтересованы в использовании технологий для преодоления многих ограничений, но они признают, что существуют по крайней мере некоторые жесткие рамки. Бостром стремится в космос именно потому, что знает: количество энергии с низкой энтропией ограничено, и в конце концов наступит тепловая смерть; Макаскилл прямо доказывает неправдоподобность бесконечного экономического роста даже в масштабах империи, охватывающей всю Вселенную, поскольку понимает, что неудержимый экспоненциальный рост в конечном итоге потребует выжимать ВВП целой планеты из каждой субатомной частицы в космосе. Даже Райнхард готов признать, что в какой-то момент рост должен прекратиться, учитывая конечную природу Вселенной. Но Андриссен искренне верит, что рост может — и должен — продолжаться вечно, подстегиваемый технологиями. Показательно, что последним пунктом в списке врагов Андриссена значатся «пределы роста».103 Это почти наверняка отсылка к книге «Пределы роста», однако в остальной части своего манифеста Андриссен дает понять, что вообще не верит в существование каких-либо пределов для роста.

Утверждение о существовании пределов роста — не обязательно тех конкретных лимитов, которые прогнозировал Римский клуб, а просто самого факта наличия каких-то границ — настолько элементарно, что возражение ему кажется чистейшим отрицанием, яростным ревом малыша, которому сказали «нет». И в риторике этих миллиардеров и их карманных интеллектуалов явно бурлит изрядная доля ресентимента. Ресентимент — это оборотная сторона их напускной бравады, сочащаяся едва ли не из каждого предложения в манифесте Андриссена. Больше всего на свете он, похоже, испытывает ресентимент по отношению к экспертным знаниям. «Наш враг — башня из слоновой кости, мировоззрение всезнающих дипломированных экспертов, предающихся абстрактным теориям, статусным убеждениям и социальному инжинирингу, оторванных от реального мира, пребывающих в иллюзиях, никем не избранных и ни перед кем не отчитывающихся», — пишет он. «Мы верим в подлинный научный метод и ценности Просвещения: свободную дискуссию и оспаривание авторитета экспертов». Это рефлекторное контрарианство, возведенное в ранг добродетели, — попытка примерить на себя мантию науки и Просвещения, заявляя при этом, что его невежество ничем не хуже чьих-то знаний.104 (Декларируемая вера Андриссена в науку выглядит особенно забавно, учитывая, что в свой список «святых покровителей технооптимизма» он включил креациониста Джорджа Гилдера). И просто на случай, если это осталось неясным, Андриссен хочет, чтобы все знали: он не испытывает никакого ресентимента — ни капли. Он предусмотрительно заверяет своих читателей: «мы верим в абсолютное неприятие ресентимента».105

Влиятельный миллиардер, критикующий экспертов за оторванность от реальности и неподотчетность, — это поразительный пример проекции. Андриссен изображает себя героем, великим человеком, противостоящим всему миру и борющимся с закостенелым истеблишментом. В действительности же он сам и есть истеблишмент. Как отмечает писатель Джон Бойс: «Суть Голиафов в том, что они всегда хотят быть Давидами».106 Вместо того чтобы признать реальные ограничения своих несбыточных мечтаний, налагаемые простыми фактами об этом мире, созданном не человеком, Андриссен, судя по всему, решил, что он всего лишь отважный аутсайдер, ведущий праведную борьбу против всех нас. Чтобы раскусить этот трюк, который он сыграл с самим собой, пришлось бы столкнуться с абсолютным пределом человеческой жизни — тем, который невозможно устранить ни за какие деньги. Это тот самый предел, избежать которого отчаянно пытаются рационалисты, эффективные альтруисты и Курцвейл. За всеми мечтами, желаниями и ресентиментом техномиллиардеров скрывается страх смерти — окончательной утраты контроля. Холл, которому уже за семьдесят, говорит об этом довольно открыто. «Если бы у вас был проект с бюджетом, скажем, миллиард долларов в год... Я думаю, вы, вероятно, смогли бы получить [нанотехнологии дрекслеровского типа] в течение десятилетия», — признается он мне. «Если мы этого не сделаем, я умру».107

Примечания

i Андриссен также утверждает в своем манифесте, что численность населения планеты, возможно, уже сокращается, что является попросту неправдой. По этому поводу нет никаких серьезных дискуссий, а статистику роста мирового населения найти очень легко. Однако, несмотря на кажущееся намеренным невежество, стоящее за этим утверждением, Андриссен не одинок среди техномиллиардеров в своем заблуждении. Илон Маск делал подобные заявления, как и «наталисты из числа эффективных альтруистов» Малкольм и Симона Коллинз. Эта паника из-за несуществующего кризиса тесно связана как с евгеникой, так и с менталитетом «роста любой ценой».

ii Ни в одном месте своего манифеста Андриссен не поясняет, кто входит в его риторическое «мы», что делает этот пассаж довольно двусмысленным. Хочет ли он поднять энергопотребление всего человечества до уровня среднего американца, среднего сотрудника фонда a16z или же своего собственного? Трудно отделаться от подозрения, что эта двусмысленность отражает фундаментальную размытость и неясность мышления Андриссена.

iii Любой достойный учебник по этой теме ясно это подтверждает; особенно хороша книга «Статистическая механика: энтропия, параметры порядка и сложность» Джеймса Сетны. «Энтропия устанавливает фундаментальные ограничения», — пишет Сетна, включая ограничения для жизни, вычислений, цивилизации и, в конечном счете, всей Вселенной. iv Это особенно необычно, поскольку экономика не является главным препятствием для создания космического лифта. На сегодняшний день неизвестен материал, который был бы одновременно достаточно легким и прочным в виде длинных нитей, чтобы из него можно было изготовить трос, необходимый для создания космического лифта на Земле. Существуют также веские основания полагать, что подобного материала в принципе не может существовать.

v Беднейшие страны вносят незначительный вклад в мировой ВВП, поэтому он никак не отражает ущерб, наносимый жителям этих государств, многие из которых чрезвычайно уязвимы к изменению климата. В 2009 году Нейт Сильвер подсчитал, что можно убить более 40 процентов населения мира — почти три миллиарда человек, — а мировой ВВП снизится всего на 5 процентов. Тот факт, что подобный мегагеноцид оказывается лишь статистической погрешностью в мировом ВВП, — лишь одна из многих причин, почему ВВП не является адекватной мерой ущерба, наносимого человечеству, не говоря уже об ущербе, наносимом другим животным, растениям и всей остальной природе.

В детстве я думал, что «Звездный путь» — это документальный фильм о будущем. Нет, я не думал буквально, что капитан Пикар, Дейта, Джорди и вся остальная компания будут зависать на голопалубе в двадцать четвертом веке, но я действительно верил, что именно такое будущее умные взрослые сочли наилучшим, что именно к этому мы идем или, по крайней мере, должны идти. Мы отправимся в космос, будем искать новые формы жизни и новые цивилизации и активно заниматься наукой. Мне было шесть лет, и это казалось отличной перспективой.

Но моя любовь к сериалу была глубже. «Звездный путь» не просто показывал светлое будущее; он показывал людей, которые бережно и по-доброму относились друг к другу, вместе решали проблемы и заботились о друзьях. В том возрасте у меня было мало друзей, да и дома хватало трудностей. Я отчаянно хотел оказаться на борту «Энтерпрайза», потому что мне хотелось проводить время с этими персонажами, которые стали казаться мне друзьями. Я хотел общаться с ними. Вместо этого я совершал набеги на отцовскую коллекцию научно-фантастических романов и рассказов — в основном времен его собственного детства в 1950-х и 60-х годах — и залпом проглатывал книги в отделе космоса и физики сначала в библиотеке начальной школы, а затем и в небольшой публичной библиотеке моего родного городка, находившейся в нескольких минутах ходьбы от дома.

В городской библиотеке также была коллекция VHS-кассет — в то время она казалась мне огромной, хотя там вряд ли насчитывалось больше нескольких десятков фильмов и передач телеканала PBS. Детям не разрешалось брать их самостоятельно, но однажды, когда мне было около восьми лет, мама после работы зашла в библиотеку и принесла небольшую стопку кассет. На всех красовалось одно и то же название, вырезанное из оригинальной упаковки и приклеенное скотчем к синему пластику библиотечных футляров с мраморным узором: «Космос». Я смотрел на Карла Сагана с неослабевающим пылом и благоговением. Перед моими глазами был человек, который не просто рассказывал о грандиозной научной картине Вселенной, но и доказывал, что мы можем отправиться в космос, спасти мир и вместе построить лучшее будущее. Мне в том возрасте казалось, будто он произносит именно те слова, которые я так хотел услышать: мы можем сделать «Звездный путь» реальностью. Саган, конечно, никогда этого не говорил, хотя и был настроен весьма оптимистично в отношении дальних космических путешествий и терраформирования других планет, но мне этого было достаточно. Я знал, какое будущее нас ждет. Это было светлое обещание, и я бережно хранил его в душе.

Это обещание, в свою очередь, значительно все упростило. В библиотеке было полно книг, но теперь я знал, что на большинство из них можно не обращать внимания. Все, что не относилось к науке — а точнее, все, что не было физикой и астрономией, — казалось лишь какими-то лишними деталями. Все это было неважно, совсем неважно. Единственное, что действительно имело значение, — это полет в космос ради спасения мира.

По мере взросления круг моих интересов расширялся. Мне хотелось понять, откуда мы знаем то, что знаем, и это привело меня к истории и философии науки. Я хотел разобраться, почему взрослые создали такой странный мир и почему никто, похоже, ничего не предпринимает против глобального потепления, — так я пришел к политологии и еще более глубокому изучению истории. Мои читательские вкусы стали смелее: я не забрасывал научную фантастику, но все чаще давал шанс книгам других жанров, открывая для себя произведения, написанные как гораздо позже (так и раньше!) историй «Золотого века», на которых я вырос. Но сквозь все это я так и не утратил веру, которую подарил мне «Звездный путь». Будущее, как я знал, в конечном счете лежит в космосе, и его освоение решит многие — а возможно, и все — проблемы Земли.

Я верил в это очень, очень долго.

*    *    *

В описании «эргофильного» будущего по версии Бенджамина Райнхардта есть странная, мимолетная фраза, на которую я при первом чтении даже не обратил должного внимания: он говорит о «лекарствах для продления жизни», которые «могут быть синтезированы только в чистейших условиях невесомости» в космосе. Хотя исключать то, что невесомость способна помочь в производстве лекарств, нельзя, я подозреваю, что Райнхардт имел в виду не только это — или, по крайней мере, далеко не только это. Осознанно или нет, он рисовал все ту же старую мечту: улететь в космос и жить вечно.

Но почему так часто кажется, что лететь в космос нужно именно для того, чтобы жить вечно? Какая связь между космосом и бессмертием? Междисциплинарная исследовательница ИИ Кейт Кроуфорд предлагает свой ответ:

Космос стал высшей имперской амбицией, символизируя бегство от земных рамок, телесности и регулирования. Возможно, неудивительно, что многие представители технологической элиты Кремниевой долины увлечены идеей бегства с планеты. Колонизация космоса прекрасно уживается с другими фантазиями: диетами для продления жизни, переливанием крови от подростков, загрузкой разума в облако и витаминами бессмертия. Глянцевая реклама Blue Origin — часть этого мрачного утопизма. Это тихий призыв стать Сверхчеловеком, выйти за любые границы: биологические, социальные, этические и экологические. Но за всем этим фасадом дивных новых миров скрывается прежде всего страх: страх смерти — как индивидуальной, так и коллективной — и страх того, что время действительно на исходе.1

Это — желание выйти за любые рамки и избежать ужаса смерти — несомненно, часть ответа. Но связь космоса с бессмертием возникла задолго до появления технологических миллиардеров и современного трансгуманистического движения. В 1970-х годах Тимоти Лири спрашивал людей, «хотели бы они жить в космосе и жить вечно». Вдохновившись отчасти идеями О’Нилла, он пропагандировал «космическую миграцию, увеличение интеллекта и продление жизни», опередив экстропийцев более чем на десять лет.2 В информационных бюллетенях «Общества L5» часто появлялась реклама, связанная с продлением жизни и крионикой.3 Даже сама крионика изначально была связана с космосом: Роберт Эттингер, преподаватель физики, положивший начало современному крионическому движению своей книгой 1964 года «Перспектива бессмертия», вдохновлялся рассказом Нила Р. Джонса «Спутник Джеймсона», опубликованным в июльском номере научно-фантастического журнала Amazing Stories за 1931 год. По сюжету, тело профессора (того самого Джеймсона) после смерти запускают в космос, где он вращается по орбите Земли, полностью замороженный. Спустя миллионы лет его оживляют и помещают в механическое тело, делая бессмертным.4

Так что, возможно, наряду с идеологией технологического спасения здесь работает нечто более простое или, по крайней мере, более древнее. Может быть, всё дело в том, что бессмертие нисходит с небес. «Сегодня искусственный интеллект и информационные технологии вобрали в себя многие вопросы, которыми когда-то занимались теологи и философы: отношение разума к телу, вопрос о свободе воли, возможность бессмертия», — пишет эссеистка Меган О’Гиблин, автор книги «Бог, человек, животное, машина». «Все вечные вопросы превратились в инженерные задачи».5 О’Гиблин когда-то верила в своего рода трансгуманизм; а до этого, как и многие другие трансгуманисты, была христианкой-фундаменталисткой и изучала теологию в библейском колледже. «С самого детства я верила, что земная жизнь — это дуга, устремленная к точке окончательного искупления, к моменту, когда Христос вернется, мертвые воскреснут, а вся Земля вернет свое первозданное совершенство. Это не было метафорой в каком бы то ни было смысле... Большую часть своей жизни я верила, что доживу до прихода этой новой эры; что мое тело преобразится, станет бессмертным, и я вознесусь к облакам, чтобы провести вечность с Богом».6

О’Гиблин перестала верить в Бога — «без этой истории моя жизнь потеряла точку опоры» — а несколько лет спустя наткнулась на книгу Рэя Курцвейла «Эра духовных машин». Какое-то время она была ею одержима. «Что делает трансгуманизм столь притягательным, так это его обещание восстановить с помощью науки те трансцендентные — и по сути религиозные — надежды, которые сама же наука и уничтожила», — пишет она.7 «Мой интерес к Курцвейлу и другим технологическим пророкам был своего рода переносом. Он позволял мне продолжать зацикливаться на теологических проблемах, с которыми я боролась в библейской школе, и в конечном счете был выражением моей сублимированной тоски по религиозным обещаниям, от которых я отказалась». В конце концов она перестала верить и в предсказания Курцвейла. Но у нее остался неотвязный вопрос. В бытность трансгуманисткой она замечала «странные параллели между трансгуманизмом и христианскими пророчествами. Каждый раз, когда я возвращалась к Курцвейлу, Бострому и другим мыслителям-футуристам, меня охватывало [убеждение], что созвучие между этими двумя идеологиями никак не может быть случайным».8 Читая более обширную литературу, она обнаружила, «что на протяжении веков существовала давняя христианская традиция веры в то, что Воскресение может быть осуществлено с помощью науки и технологий».9

Одним из таких христиан был Николай Федоров, русский философ конца XIX века и библиотекарь. «Ожидаемый день [воскрешения] есть упование всех веков и народов, чаемый с незапамятных времен, — писал Федоров. — Этот день будет божественным, великим, но не чудодейственным, ибо воскрешение будет делом не чуда, а знания и общего труда».10 Чтобы воскресить мертвых, утверждал Федоров, человечество должно сначала обрести полный контроль над миром природы — «регуляцию природы человеческим разумом и волей», как писал он другу, — дабы устранить все причины смерти и тлена.11 По его мнению, с покорением природы научный прогресс сможет избавить от смерти ныне живущих. Затем мы перейдем к воскрешению мертвых. Федоров утверждал, что для этого потребуется отправиться в космос, чтобы собрать там частицы физического вещества умерших тел, которые, как он верил, улетучились туда. Как только это будет сделано, Федоров не сомневался, что достижения науки позволят воскресить всех умерших людей и заполнить космос всеми, кто когда-либо жил, сделав мир «таким, каким он должен быть».12

Философия Федорова, ставшая известной как космизм, была тепло встречена его современниками Федором Достоевским и Львом Толстым. Но самый глубокий след в мире Федоров оставил благодаря своему наставничеству над физиком Константином Циолковским. В 1874 году шестнадцатилетний Циолковский впервые пришел в московскую библиотеку, где работал Федоров.13 Вскоре Циолковский стал видеться с Федоровым каждый день, беседуя с ним часами.14 «Заметив мои наклонности к математике, физике и отчасти химии, он [Федоров] подбирал для меня литературу и руководил моим самообразованием, — рассказывал позже Циолковский. — Не будет преувеличением сказать, что для меня он заменил университетских профессоров, с которыми я не общался».15 Существуют противоречивые мнения о том, обсуждали ли Циолковский и Федоров освоение космоса напрямую, но в любом случае Циолковский наверняка читал труды Федорова позже, и уроки, полученные молодым человеком от старшего наставника, направили его путь к звездам.16 В 1903 году, в год смерти Федорова, Циолковский опубликовал свой труд «Исследование мировых пространств реактивными приборами» — одну из первых научных работ, излагавших основы физики ракетного движения.17 Как и его ментор, Циолковский был убежден, что людям необходимо лететь к звездам. «Земля — колыбель человечества, но нельзя вечно жить в колыбели», — писал он.18

Эта цитата, высеченная на надгробии Циолковского, в переводе с русского оригинала иногда звучит как: «Планета есть колыбель разума, но нельзя провести всю жизнь в колыбели»19. Такой вариант перевода намекает на определенное философское сходство между Циолковским и его современником, русским ученым и космистом Владимиром Вернадским. Вернадский был геохимиком, который популяризировал и развил концепцию «биосферы». Он также разработал идею «ноосферы» — глобальной сети человеческой мысли и знания, возникающей над биосферой. Идея ноосферы Вернадского оказала влияние на Пьера Тейяра де Шардена (и сама подверглась его влиянию), французского палеонтолога и священника-иезуита20. Тейяр объединил идею ноосферы с эволюционной теорией и своей католической верой, придя к удивительным — и на удивление знакомым — выводам. «Тейяр верил, что эволюция не просто продолжается, но и развивается по экспоненте», — пишет О’Гиблин:

Люди благодаря использованию орудий и механизации теперь были способны сами направлять ход собственной эволюции. Изобретение радио, телевидения и других средств массовой коммуникации создало сложные глобальные сети, способствовавшие более запутанным и тесным связям между отдельными умами... Тейяр изложил видение того, как эти технологические связи, которые он назвал «ноосферой», в конечном итоге приведут к радикальной духовной трансформации. В будущем сеть созданных человеком машин уступит место «“эфиризованному” вселенскому сознанию», которое охватит всю окружность земного шара. Как только этот синтез человеческой мысли достигнет своего апогея, он вызовет взрыв интеллекта — Тейяр назвал его Точкой Омега, — который позволит человечеству «прорваться сквозь материальные рамки Времени и Пространства» и слиться с божественным... Созвучие между этим видением и пророчествами Курцвейла поразительно. И тем не менее Тейяр верил, что именно так и произойдет библейское Воскресение21.

Описывая изменения, которые претерпит человечество в Точке Омега, Тейяр говорил, что мы станем «своего рода Транс-Человеком в самом сердце вещей»22.

Тейяр написал это в 1947 году, за несколько лет до того, как Джулиан Хаксли якобы ввел в обиход термин «трансчеловек» (transhuman) — но даже Тейяр не был первым, кто его использовал. Впервые это слово появилось более чем на век раньше, в одном из первых переводов «Божественной комедии» Данте на английский язык23. «Завершив свое путешествие по Раю и вознесшись в небесные сферы, [Данте] описывает процесс преображения своей человеческой плоти», — пишет О’Гиблин. «В конце концов он вынужден выдумать совершенно новое слово, transumanar, что означает примерно «выходящий за пределы человеческого». Когда Генри Фрэнсис Кэри перевел книгу на английский язык в 1814 году, он передал его как “transhuman”: “Словами не передать этого трансчеловеческого изменения”»24. Хотя Тейяр мог и не иметь в виду Данте, употребляя слово «трансчеловек», Хаксли определенно имел в виду Тейяра. По словам О’Гиблин, «Тейяр, что не случайно, был близким другом Джулиана Хаксли, которому удалось сделать идеи священника мейнстримом». В лекции 1951 года, где Хаксли впервые использовал слово «трансгуманизм», «Хаксли, по сути, предлагал безрелигиозную версию идей Тейяра»25. Таким образом, трансгуманизм всегда сводился к вознесению на небеса ради вечной жизни, как отмечает О’Гиблин. «Большинство трансгуманистов — убежденные атеисты, стремящиеся поддерживать представление о том, что их философия укоренена в современном рационализме, а не в том, чем она является на самом деле: порождением христианской эсхатологии». Мечта всегда одна и та же, и ей уже тысячи лет.

*    *    *

Одна из самых нелепых статей, когда-либо появлявшихся в разделе моды New York Times, — это интервью в формате «подтвердите или опровергните», которое Морин Дауд взяла у Питера Тиля в начале 2017 года, когда он работал в переходной команде тогда еще избранного президента Трампа. «Вы любите “Звездный путь” больше, чем “Звездные войны”?» — спросила она. «Опровергаю, — ответил он. — Мне гораздо больше нравятся “Звездные войны”. Я капиталист. “Звездные войны” — это капиталистическое шоу. А “Звездный путь” — коммунистическое. В “Звездном пути” нет денег, потому что там есть транспортер, который может создать все, что вам нужно26. Весь сюжет “Звездных войн” начинается с долга Хана Соло, и потому сюжет в “Звездных войнах” движим деньгами»27.

Такое прочтение «Звездных войн» Тилем выглядит странно. Утверждение, что весь сюжет — даже если рассматривать только первый фильм — движим долгом Хана Соло Джаббе Хатту, является в лучшем случае сильной натяжкой. Точно так же натяжкой будет назвать «Звездный путь» коммунистическим — и любопытно, что Тилю, судя по всему, не нравится идея того, что каждый может получать все необходимое бесплатно.

Несмотря на очевидные трудности с пониманием научной фантастики, Тиль считает ее важным источником вдохновения. На Саммите сингулярности в 2009 году Тиль участвовал в дискуссионной панели «Изменяя мир» вместе с Элиезером Юдковским и исследователем долголетия Обри ди Греем. Отвечая на вопрос о том, что именно люди могут создать, чтобы изменить — и спасти — мир, Тиль сказал аудитории, что «есть много разных вещей, которые можно было бы развивать... Если вам нужно меню, я бы просто дал вам список научно-фантастических книг 50-х и 60-х годов и прошелся по ним как по отправным точкам. Освоение океанов, освоение пустынь, освоение космоса, роботы, нанотехнологии, биотехнологии, ИИ»28. Это еще один причудливый ответ, который, похоже, выдает непонимание научной фантастики. «Освоение пустынь», по всей видимости, звучит как отсылка к научно-фантастической эпопее Фрэнка Герберта «Дюна» 1965 года. Но посыл «Дюны» уж точно не заключается в призыве «осваивать пустыни» — так же как и «Звездные войны» не задумывались как руководство по строительству космической империи.

Временной период в научной фантастике, который выбирает Тиль, еще более показателен. 1950-е и 60-е годы — это середина и закат Золотого века научной фантастики, который начался с бульварных журналов в самом конце 1930-х годов, таких как «Astounding Science Fiction». Авторы, доминировавшие в этот период, — такие как Айзек Азимов, Артур Кларк и Роберт Хайнлайн, — почти все были белыми мужчинами и писали в основном о будущем в космосе. Произведения Азимова часто строились вокруг роботов, космических империй или и того и другого сразу, а ядерная энергия изображалась как практически безграничный источник энергии, используемый для всего — от ракет до радиоприемников. В историях Хайнлайна частенько чувствовался дух Айн Рэнд в космосе: главным героем обычно выступал полагающийся только на себя мужчина-эрудит, балующийся евгеникой или подрывающий забастовки рабочих, борющихся за прожиточный минимум.

Именно Кларк больше других обращался к теме бессмертия. На него глубоко повлияла философия космизма Циолковского. В обоих самых известных романах Кларка — «Конец детства» и «2001» — люди эволюционируют в бессмертных, бороздящих космос существ из чистого разума, которые сотканы из энергетических паттернов и больше не нуждаются в физических телах. (Название «Конца детства» — прямая отсылка к цитате Циолковского о том, что Земля — колыбель человечества. Кларк также упоминал Циолковского по имени в своем более позднем романе «Свидание с Рамой».)29 В обоих романах эти эволюционировавшие люди занимают свое место наряду с такими же трансцендентными инопланетянами древнего происхождения, а технологии наделяют их божественной силой созидания, разрушения и трансформации. «Любая достаточно развитая технология неотличима от магии», — гласит самое известное изречение Кларка. Тем временем, до наступления технологического апофеоза человечества, Кларк видел и другие причины для выхода в космос — причины, которые десятилетия спустя найдут отклик у Джеффа Безоса и Дж. Сторрза Холла. «Межпланетные путешествия — теперь единственная форма “завоеваний и империй”, совместимая с цивилизацией», — писал Кларк в 1951 году. «Без них человеческий разум, вынужденный вечно кружить в своем планетарном круглом аквариуме, неизбежно придет к застою»30.

Не все авторы Золотого века разделяли оптимизм Кларка относительно технологий и трансцендентных возможностей космоса. В «Марсианских хрониках» Рэя Брэдбери Марс используется как декорация для исследования и критики популярных на тот момент мифов о колониализме и американском фронтире. Но более острой критики научно-фантастических штампов пришлось ждать почти до середины 1960-х годов, когда возникла «Новая волна» — группа фантастов, стремившихся вывести жанр за рамки его бульварного происхождения и рассказывать более глубокие истории на самый широкий круг тем. В число этих авторов входили Сэмюэль Дилэни, Харлан Эллисон, Роджер Желязны, Филип К. Дик и, пожалуй, самая известная среди них — Урсула К. Ле Гуин. Писатели «Новой волны» стремились расширить горизонты жанра. Они хотели подвергнуть сомнению современные представления о прогрессе; они хотели рассказывать истории о людях, которые не были гетеросексуальными белыми мужчинами; они хотели размышлять о политике, классах и гендере, а также о том, как всё это пересекается с технологиями и культурой. Со временем «Новая волна» привела к появлению авторов киберпанка 1980-х и 90-х годов (таких как Уильям Гибсон, Брюс Стерлинг и Нил Стивенсон), которых интересовали вопросы о том, как богатые могут использовать технологии — особенно компьютерные, — чтобы еще больше сосредоточить в своих руках деньги и власть. Неудивительно поэтому, что готовность Тиля использовать научную фантастику в качестве чертежа будущего заканчивается примерно на 1969 годе. Первый фильм о «Звездных войнах» вышел почти десять лет спустя, но он был намеренно смоделирован по образцу научной фантастики тридцатилетней давности, времен детства Джорджа Лукаса. Во многом «Звездные войны» — это скорее фэнтези в космических декорациях, чем научная фантастика, вплоть до места и времени действия: «давным-давно в далекой-далекой галактике». Но Тиль, похоже, упустил ключевую деталь и о «Звездных войнах». Вопреки утверждениям Тиля о том, что «Звездный путь» — это коммунистическая история, Лукас списал героев-повстанцев в «Звездных войнах» с коммунистов. «Они были вьетконговцами, — говорил Лукас31. — На самом деле это было про Вьетнамскую войну»32. На вопрос о происхождении злого императора Палпатина Лукас дал простой ответ: «Он был политиком. Его звали Ричард М. Никсон»33.

Проблемы Тиля с интерпретацией научной фантастики отражают куда более фундаментальную проблему, характерную и для многих других технологических миллиардеров: отношение к научной фантастике как к прогнозу, попытке предсказать будущее или изобразить желаемое. «Сугубо экстраполяционные произведения научной фантастики обычно приходят примерно к тому же, к чему приходит Римский клуб: куда-то в промежуток между постепенным угасанием человеческой свободы и полным исчезновением земной жизни», — писала Ле Гуин в 1976 году. «Научная фантастика не предсказывает, она описывает... Предсказание — дело пророков, ясновидящих и футурологов. Это не дело романистов. Дело романиста — лгать... Я пишу научную фантастику, а научная фантастика не о будущем. Я знаю о будущем не больше вашего, а скорее всего, даже меньше»34. Почти полвека спустя Чарльз Стросс вторил Ле Гуин, выступив с еще более недвусмысленным предупреждением: «Я — да и другие авторы научной фантастики — ужасные проводники в будущее. И это не имело бы никакого значения, если бы целая куча миллиардеров не красовалась сейчас в заголовках новостей только потому, что они уделяют слишком много внимания людям вроде меня»35. Технологические миллиардеры «читали научную фантастику в детстве и, похоже, не подозревают об идеологической подоплеке развлечений своей юности: элитаризме, “научном” расизме, евгенике, фашизме и нынешней беспечной вере в технологии как в способ решения социальных проблем»36.

Будучи профессиональным — и успешным — автором научной фантастики, Стросс говорит, что «провел много времени, переворачивая камни в саду НФ, чтобы посмотреть, кто под ними копошится»37. Одной из скользких личинок, обнаруженных им там, оказался космизм. Циолковский повлиял не только на Кларка. Слова Циолковского о Земле как о «колыбели», которую нам суждено перерасти, давно стали культовыми среди энтузиастов космоса и писателей-фантастов, своего рода шибболетом и шепотом надежды. И все же Циолковский не просто хотел, чтобы человечество отправилось к звездам. Подобно Фёдорову, он желал, чтобы человечество переустроило космос, создав рационализированную вселенную, лишенную всего естественного. В этой «утопии» задачи распределялись бы между разными народами на основе якобы присущих их расе способностей, а инвалиды подлежали бы уничтожению38. Перенесенное через Атлантику энтузиастами ракетостроения и первыми писателями-фантастами, космистское видение вселенского колониализма и евгеникиⁱ Циолковского отлично легло на уже существовавшие идеи в американской культуре, такие как теория границы Тёрнера. Это и задало тон американской научной фантастике. «С самого начала у этого направления научной фантастики была неявная идеология: американская мечта о капиталистическом успехе, смешанная с прогрессом за счет современных технологий и сдобренная колониализмом фронтира», — пишет Стросс. «С тех ранних пор в американской НФ наметилась тенденция сознательно закрывать глаза на политические последствия этих блестящих игрушек»39. Вместо этого миллиардеры открыто используют научную фантастику как руководство к действию — Маск даже написал в Твиттере, что «научная фантастика не должна оставаться фантастикой вечно!», — не задумываясь о замысле или смысле произведений, которым они слепо подражают40. «Вы никогда не задумывались, почему в XXI веке кажется, будто мы живем в плохом киберпанк-романе из 1980-х?» — спрашивает Стросс. «Все потому, что эти ребята [технологические миллиардеры] прочитали эти киберпанк-романы и перепутали антиутопию с дорожной картой»41.

Но не так уж удивительно, что Тиль, Безос, Маск и им подобные испытывают трудности с пониманием научной фантастики. Культура технологической индустрии — особенно стартап-культура — не ценит те навыки, которые можно получить на вводном курсе по английской литературе в колледже, на уроках истории или вообще при изучении любых гуманитарных дисциплин. Старая истина о гуманитарном образовании гласит, что оно учит мыслить. Тиль ясно дал понять, что в это не верит. Он призывает потенциальных основателей технологических компаний отказываться от учебы в вузе, ежегодно выплачивая по 100 000 долларов примерно двум десяткам «стипендиатов Тиля» при условии, что получатель гранта не пойдет в колледж или бросит его. «Колледж может быть полезен для изучения того, что было сделано раньше, но он также может отбить у вас желание создавать что-то новое», — утверждается на сайте Стипендии Тиля. «Каждый из наших стипендиатов идет своим уникальным путем; вместе они доказали, что молодые люди могут добиться успеха, думая самостоятельно, а не следуя традиционной колее»42. (Невольно задаешься вопросом, не связана ли успешность стипендиатов Тиля в меньшей степени с независимым мышлением, а в большей — с доступом к сети влиятельных игроков Кремниевой долины, который предоставляется в рамках стипендии?) Тиль далеко не единственный, кто считает высшее образование пустой тратой времени для основателей стартапов. Начиная как минимум со Стива Джобса и Билла Гейтса, в технологической индустрии бытует представление, нечто среднее между традицией и мифологией, согласно которому успешные основатели стартапов должны поступить в элитный колледж только ради того, чтобы бросить его через год или два. Те же, кто остается, обычно выбирают специализацию в области STEM (наука, технологии, инженерия и математика). Этот однородный, ориентированный на точные и естественные науки интеллектуальный бэкграунд в культуре технологических стартапов и в Кремниевой долине в целом порождает отрицание гуманитарных наук — систематическое, а порой и намеренное игнорирование искусства и гуманитарного знания.

Нигде отрицание гуманитарных наук не проявляется в технологической индустрии так отчетливо, как в ее отношении к истории. «Я вообще не понимаю, зачем мы изучаем историю», — говорит Энтони Левандовски, сооснователь подразделения беспилотных автомобилей Google, ныне известного как Waymo. «Наверное, это занимательно — динозавры, неандертальцы, промышленная революция и все такое. Но то, что уже произошло, на самом деле не имеет значения. Вам не нужно знать эту историю, чтобы развивать то, что они создали. В технологиях значение имеет только завтрашний день»43. Левандовски, возможно, не самый заслуживающий доверия свидетель: в 2020 году он признал себя виновным в краже коммерческой тайны у Waymo (Трамп помиловал его в следующем году)44. Он также основал религиозную организацию, посвященную «осознанию, принятию и поклонению Божеству на основе искусственного интеллекта»45. Но выраженное им мнение — лишь чуть более экстремальная версия вполне обычного для технологической индустрии взгляда. Кремниевая долина — это «место, которое любит делать вид, будто у его идей нет никакой истории», — пишет Адриан Дауб, профессор Стэнфорда и автор книги «Что технологии называют мышлением»46. Осмысление истории заставило бы лидеров технологической индустрии столкнуться с неприятными вопросами об их собственной культуре и о тех скрытых допущениях, что стоят за их грандиозными заявлениями.

Серьезное отношение к истории также заставило бы технологических миллиардеров пересмотреть выбор ролевых моделей и целей, которые они для себя определяют, а также то, как они преподносят собственные достижения. В рекламном ролике Blue Origin Безос обращается к невидимой аудитории, в очередной раз повторяя свой привычный монолог о необходимости освоения космоса ради обеспечения будущего с постоянным ростом энергопотребления на душу населения, и все это под эффектные кадры летящих ракет его компании. В конце видео, когда спускаемая капсула на парашюте приземляется среди чахлого пустынного кустарника, Безос торжественно произносит: «Вам под силу всё, что вы задумали. После высадки на Луну фон Браун сказал: „Я научился использовать слово ‘невозможно’ с большой осторожностью“, и я надеюсь, что вы перенесете это отношение на свою жизнь»47. Несколько лет спустя в одном из подкастов Безос снова пустил в ход эту цитату, назвав ее «одной из величайших» фраз пионера ракетостроения48. Но Безос либо не знает о прошлом Вернера фон Брауна, либо его это не волнует. До работы в НАСА фон Браун создавал ракеты «Фау-2» для нацистов, заставляя евреев и других узников концлагерей собирать летающие бомбы для гитлеровских ударов по Великобритании и Западной Европе по мере приближения союзников. Ракеты фон Брауна унесли тысячи жизней на поздних этапах Второй мировой войны, но еще больше пленных погибло при самом их строительстве49. Всё это давно не секрет; это не было секретом даже во времена лунных миссий «Аполлон». Возможно, Безос знает об этом прошлом, но ему все равно. Однако вполне вероятно, что он просто не в курсе. Отрицание гуманитарных наук позволяет легко игнорировать неудобные факты или же изначально пребывать в блаженном неведении о них.

Отрицание гуманитарных наук подпитывается другим недугом, эндемичным для технологической индустрии — и, в свою очередь, подпитывает его: «инженерной болезнью», то есть убежденностью в том, что компетентность в одной области (обычно в сфере точных и естественных наук) автоматически делает человека экспертом и во всем остальном50. Или, иначе говоря: существует лишь одна по-настоящему сложная вещь, и ты ее уже знаешь, а значит, все остальное должно быть просто. Разработчик программного обеспечения Мацей Цегловский объясняет источник этого высокомерия:

Для нас, программистов, формирующим интеллектуальным опытом является работа с детерминированными системами, созданными другими людьми. Они могут быть очень сложными, но эта сложность не того рода, с какой мы сталкиваемся в мире природы. В конечном счете она всегда поддается анализу. Найдите правильные абстракции — и шкатулка с секретом откроется перед вами… Но, как знает любой, кто работал с технарями, этот интеллектуальный багаж также может приводить к высокомерию. Люди, преуспевающие в проектировании программного обеспечения, проникаются убеждением, что благодаря своим выдающимся аналитическим способностям они могут с легкостью и с нуля — опираясь на базовые принципы и не имея профильной подготовки — разобраться в системе абсолютно любого рода. Успех в искусственно созданном мире разработки ПО порождает опасную самоуверенность51.

Логическим завершением этого хода мысли является гипотеза симуляции — идея о том, что мы все уже живем внутри компьютера. Илон Маск, пожалуй, самый известный сторонник этой концепции. «Мы явно движемся по траектории, которая приведет к созданию игр, неотличимых от реальности. В эти игры можно будет играть на любой приставке, ПК или чем-то подобном, и таких компьютеров или приставок, вероятно, будут миллиарды. Из этого, кажется, следует, что шансы на то, что мы находимся в базовой реальности — один на миллиарды», — утверждает Маск. «Скажите мне, что не так с этим аргументом? Есть ли в нем изъян?»52

Изъянов здесь предостаточно. Маск имеет в виду вовсе не что-то вроде «Матрицы», где наши физические тела подключены к компьютерной симуляции. Он говорит о чем-то более радикальном: об идее, что мы сами и всё в нашей вселенной — не более чем продукты и обитатели компьютерной программы, существующей лишь в памяти компьютера в совершенно иной реальности, запущенной неким другим субъектом, человеком или кем-то еще. Аргумент Маска перекликается с доводами, которые Ник Бостром привел в своей статье 2003 года «Живем ли мы в компьютерной симуляции?». В ней Бостром приходит к выводу, что, учитывая вычислительные мощности, доступные цивилизации после Сингулярности, такие будущие люди (или транслюди), скорее всего, будут иметь возможность запускать бесчисленные «симуляции предков», моделируя ранние этапы истории своего общества. Жизнь внутри такой симуляции выглядела бы точно так же, как жизнь в досингулярном обществе вроде нашего, поэтому невозможно с ходу определить, живем ли мы в одной из этих многочисленных симуляций или в реальном мире. И поскольку таких симуляций может быть огромное количество, Бостром резюмирует: если человечество, скорее всего, достигнет Сингулярности, то мы с гораздо большей вероятностью являемся обитателями симуляции, а не единственного реального мира.

Даже если принять утверждение Бострома о том, что работу мозга можно смоделировать на компьютере, а также его оценку необходимых для этого вычислительных мощностей, аргумент в пользу симуляции все равно упирается в проблему: никто не знает, как построить компьютер, способный запустить «симуляцию предков» или одну из гиперреалистичных видеоигр Маска. Ввиду близящегося конца закона Мура создать такой компьютер, возможно, не удастся никогда. Но даже если его в конце концов построят, совершенно неразумно утверждать, будто такие машины неизбежно станут настолько повсеместными — и будут так часто использоваться для запуска симуляций прошлого или поразительно детализированных видеоигр, — что мы сами с подавляющей вероятностью окажемся жителями одной из них.

Несмотря на эти контраргументы, гипотеза симуляции пользуется широкой популярностью в технологической индустрии, а также в сообществах рационалистов и сторонников эффективного альтруизма. И понять почему нетрудно. Вместо полного уничтожения природы, которое несут в себе Сингулярность и максималистские сценарии будущего лонгтермистов, гипотеза симуляции делает еще один шаг вперед. Она влечет за собой отрицание природы: то, что кажется естественным миром, на деле просто компьютерная программа. Ее создали люди — или, точнее, существа, подобные людям, но неизмеримо более могущественные, — и создали ее для нас. Мы можем делать с ней все, что захотим. (Трудно не разглядеть в этом отголоски Книги Бытия: мы созданы по образу создателя, мир сотворен с мыслью о нас.) Если мы живем в компьютерной симуляции, то компетентность в разработке программного обеспечения — это действительно компетентность абсолютно во всем. Гипотеза симуляции выставляет естественную сложность мира иллюзией, а искусственную сложность, о которой говорил Цегловский, — более фундаментальным и податливым субстратом.

Это не новая идея. Ирландский епископ и философ XVIII века Джордж Беркли писал, что реальность существует исключительно в разуме христианского Бога, представляя собой царство чистой рациональной мысли. Есть и более близкие к нам предшественники. «Тлён, быть может, и лабиринт, но это лабиринт, замышленный людьми, лабиринт, который людям суждено разгадать», — писал Хорхе Луис Борхес об искусственном, но замысловатом мире Тлёна в своем рассказе «Тлён, Укбар, Орбис Терциус». «Очарованное строгостью Тлёна, человечество забывает — и продолжает забывать, — что это строгость шахматистов, а не ангелов». В рассказе Тлён придуман тайным обществом интеллектуалов, которые стремятся заменить реальный, естественный мир искусственным — «упорядоченной планетой», где идеи имеют первенство над материальными вещами, а историю можно менять по своему желанию, словно компьютерную программу.53 Борхес написал этот рассказ в начале Второй мировой войны и в финале напрямую сравнивает Тлён с упорядоченной паранойей нацизма и антисемитизма. Неудивительно, что когда Кёртис Ярвин основал компанию при поддержке Питера Тиля, он выбрал для нее название «Тлён».

Утешительная ложь, скрывающаяся как за Тлёном, так и за гипотезой симуляции, заключается в том, что они помещают нас в самый центр творения, наделяют космическим предназначением и заставляют жить в поворотной точке всемирной истории. «Ужасно неловко в этом признаваться, но одна из причин, почему я всегда находил гипотезу симуляции поразительно правдоподобной, заключается в том, что она объясняла, как я умудрился оказаться в окружении тех, кого считал едва ли не самыми важными людьми в истории человечества», — писал Цяочу Юань, бывший рационалист. «Ведь если подумать, если бы наши далекие потомки запускали симуляции предков, они, скорее всего, моделировали бы именно ключевые исторические моменты, о которых хотели узнать побольше, верно? А что может быть более судьбоносным, чем зарождение безопасности ИИ?»54

Однако Цегловский считает, что гипотеза симуляции отражает не столько глубокое стремление, сколько глубокий страх. «У фантазий о контроле есть темная сторона, — говорит он. — Для программиста [жизнь в симуляции — это] абсолютная потеря контроля. Вместо того чтобы писать программу, ты сам являешься этой программой».55 Была предпринята как минимум одна попытка вернуть этот контроль: в 2016 году журнал New Yorker сообщил, что «два технологических миллиардера зашли так далеко, что тайно наняли ученых для работы над тем, чтобы вызволить нас из симуляции».56

По сути, гипотеза симуляции зиждется на множестве некритически воспринятых предположений о будущем человечества. В основном эти предположения касаются долговечности идей, которых люди придерживаются здесь и сейчас (причем порой весьма немногие), — идей обо всем на свете, от экономики до социологии и космологии, большинство из которых никак не подкреплены реальными экспертными знаниями в любой из этих областей. Но критическое осмысление этих идей на самом деле не является целью. Если бы это было так, то все серьезные проблемы с гипотезой симуляции давно бы положили конец любым разговорам о ней. Эта идея притягательна тем, что она подразумевает, будто технологии — это действительно единственное, что имеет значение, а реальность функционирует по понятной логике компьютерных программ, а не по неясным механизмам мира, который мы не создавали. Она также несет в себе обещание превзойти саму реальность, совершив побег из симуляции, хотя и непонятно, как именно это должно сработать, если мы сами якобы являемся порождениями этой симуляции. Но и это возражение на самом деле никого не волнует. Тут одни лишь вайбы до самого низа.

*    *    *

Весной 2023 года меня пригласили на небольшой ужин, организованный основателем и генеральным директором одного ИИ-стартапа. (Имена людей и названия компаний, упоминаемых в этой истории, опущены для сохранения анонимности.) Ужин был частью мероприятия, посвященного запуску нового ИИ-продукта компании, а также тому факту, что крупный венчурный фонд только что выделил ей солидную сумму денег. Я не имел никакого прямого отношения ни к этому стартапу, ни к венчурному фонду, ни к самому основателю. Честно говоря, я очень удивился, что вообще там оказался. Ужин проходил в небольшом ресторане, который считался одним из лучших в городе. Присутствовало около дюжины человек, включая топ-менеджера известной технологической компании, главу крупной продуктовой команды в другой ИИ-компании, инвестора стартапа, известного своей работой в совершенно другой области, и нескольких человек, занимавших руководящие должности в крупнейших технологических гигантах. Все приглашенные были белыми; среди нас была лишь одна женщина. Мы сидели за столом в отдельном зале. Я сидел справа от основателя стартапа и слева от одного из немногих гостей, кто никогда не работал в сфере технологий, — философа, специализирующегося на вопросах сознания. Мы с философом немного поболтали, пока остальные гости рассаживались, а затем основатель взял слово. Он объявил, что большую часть вечера у нас будет одна общая дискуссия, которая пойдет вокруг — ну конечно же — ИИ. Закончив со знакомством, мы начали с одного-единственного вопроса: когда будет создан первый AGI? Основатель попросил каждого из нас по очереди высказать конкретный прогноз с четко определенными временными рамками. К моему облегчению, он начал с человека, сидевшего слева от него.

Разговор вскоре увяз в спорах о том, что вообще такое AGI, пока кто-то — уже не помню кто — не предложил рабочее определение: машина, способная воспроизвести любую экономически продуктивную деятельность человека. (Позже я узнал, что в уставе OpenAI содержится практически идентичное определение AGI.)57 Мне это определение показалось довольно скверным. Оно выглядело каким-то урезанным — одновременно слишком расплывчатым и слишком узким. Что вообще такое «экономически продуктивная деятельность»? И почему упор делается именно на экономическую продуктивность? Как быть с видами человеческой деятельности, которые вообще не приносят никакой экономической пользы — например, с витанием в облаках или долгой прогулкой с другом? К тому же, при любом разумном толковании «экономической продуктивности» не существует ни одного человека, способного выполнять абсолютно все виды экономически продуктивной деятельности, которыми занимаются люди.

Но пока я придержал язык, потому что моя очередь еще не подошла — а еще потому, что быстро понял: передо мной встала совсем другая проблема. К тому моменту, как очередь дошла до середины стола, никто не назвал срок больше десяти лет. Самым популярным ответом было «около пяти лет»; пара человек назвали даже меньшие сроки. Один из присутствующих заявил, что количество параметров в GPT-4 всего в сто раз меньше количества нейронов в человеческом мозге, а на то, чтобы преодолеть этот последний стократный разрыв, уйдет не больше десяти лет, так что его прогноз — десять лет. Эти люди прекрасно разбирались в подобных ИИ-системах. Как минимум двое за столом руководили командами, создававшими ИИ-продукты, и я знал, что у одного из них за плечами серьезная академическая подготовка в области машинного обучения. У меня ее не было — по образованию я физик. Я никогда не работал в технологической сфере. Почти все остальные за столом либо работали там сейчас, либо работали в прошлом. Один из немногих, кто не имел к этому отношения, — инвестор, сидевший через несколько стульев справа от меня, почти напротив основателя, — предположил «пять лет», признавшись, что понимает в ИИ гораздо меньше остальных собравшихся, а потому просто ориентируется на их мнение. Это была не самая плохая идея. Что скажу я? К тому времени я уже набросал часть черновика этой книги и мысленно прокрутил свои аргументы еще раз. В голове они звучали куда менее убедительно, чем на бумаге. Что, если они правы, а я ошибаюсь?

Будь это сценой из фильма или главой из романа, все пошло бы иначе. Я бы решительно выступил против общего консенсуса, дело дошло бы до криков и, возможно, слез, а в финале я вышел бы победителем. На деле же мне так и не довелось узнать, хватило бы у меня смелости пойти наперекор всем присутствующим. Философ избавил меня от этой необходимости. Он объяснил, что понятия не имеет, сколько времени потребуется на создание бессознательного AGI, но если для AGI необходимо сознание, то, по его мнению, нам придется переписать всю науку с нуля, чтобы успешно его сконструировать. А это, по его словам, займет уйму времени. Когда от него потребовали назвать конкретную цифру, он предположил: пять тысяч лет.

Наступило ошеломленное молчание — собравшиеся переваривали слова философа. Затем подошла моя очередь. Я объяснил, что считаю наше определение AGI не слишком удачным, но если эта система должна уметь делать все то же, что и человек, ей, вероятно, понадобится сознание. Хорошая новость, добавил я, заключается в том, что в оценке сроков я настроен более оптимистично, чем философ: хотя я тоже считаю, что нам придется использовать принципиально иные машины, я не думаю, что ради этого придется заново переизобретать всю науку. Так что на это может уйти всего каких-то три-четыре века — считай, даром.

Я был потрясен тем, как мало возражений вызвал мой прогноз у остальных. В основном они просто кивнули и перешли к следующему вопросу. (Самый содержательный отзыв исходил от единственной женщины за столом, которая сидела по другую сторону от философа. Она призналась, что ей тоже хотелось назвать больший срок, но, когда подошла ее очередь, ей было неловко делать это на фоне столь единодушно настроенной оптимистичной компании). Готовясь к обороне перед тем, как вмешался философ, я мысленно перебирал свои аргументы, поскольку думал, что мне придется обосновывать свою позицию. Но когда я размышлял над словами остальных, самым весомым из прозвучавших аргументов оказался довод о количестве параметров в GPT-4 по сравнению с количеством нейронов в человеческом мозге. Причем в этом аргументе совершенно игнорировался тот факт, что нейроны имеют мало общего с внутренними параметрами большой языковой модели. В остальном же я слышал преимущественно вещи вроде: «В последнее время все развивается стремительно, и я ожидаю, что так будет и дальше» или «Я согласен со всеми».

Я задумался о том, каково было бы работать с этими людьми, быть окруженным ими и им подобными большую часть времени изо дня в день. Они были милыми, и беседа текла приятно. Они мне понравились. Но я также вспомнил то чувство, которое испытывал до того, как заговорил философ, — ощущение, что я, возможно, спасовал бы перед лицом мнения большинства. Не думаю, что я бы действительно спасовал, хотя, конечно, уверенным быть нельзя. Но если бы я работал с ними, все могло бы сложиться иначе. Если бы вместо одного ужина я проводил с ними по сорок и более часов в неделю, если бы они стали моими друзьями вне работы, было бы мне по-прежнему комфортно высказывать свое особое мнение? Если бы они сохраняли единодушие и уверенность в своей правоте, а я был полон сомнений в своей (как это обычно со мной и бывает), не решил бы я в конце концов, что в их словах что-то есть? Ответа на этот вопрос я тоже знать не могу. Но это заставило меня задуматься: если в самом начале разговора возникла такая путаница вокруг определения AGI, и учитывая то шаткое определение, на котором они в итоге сошлись, как они могли быть столь единодушно уверены, что, чем бы оно ни являлось, оно появится уже совсем скоро?

*    *    *

Групповое мышление во многом объясняет популярность таких идей, как Сингулярность, AGI и колонизация космоса, несмотря на изобилие аргументов против них.58 Но, на первый взгляд, удивительно видеть столь сильное групповое мышление в технологической индустрии с ее культурой, претендующей на то, чтобы ценить независимость суждений и готовность идти наперекор большинству. Манифест Андриссена отвергал саму идею экспертности. Тиль неоднократно подчеркивал важность нонконформизма в собственной жизни, а хваленая сила независимого мышления преподносится как главное достоинство его стипендиатов. Одинокий основатель, добивающийся успеха и богатства благодаря тому, что плывет против течения, — это мощный образ в культуре стартапов.

Но контрарианское мышление и само может превратиться в разновидность группового мышления, когда оно становится рефлекторным — когда автоматически отвергается почти всё, что воспринимается как общепринятая мудрость или экспертное мнение, независимо от его источника. Подобная позиция — которую экономист Адам Озимек называет «разрушающим мозг наркотиком» — широко распространена среди лидеров Кремниевой долины. «Технобро, похоже, особенно восприимчивы к этому разрушающему мозг контрарианству», — пишет Пол Кругман. «Финансовый успех слишком часто убеждает их в собственной уникальной гениальности, способности мгновенно освоить любую тему без необходимости советоваться с людьми, которые действительно приложили много усилий, чтобы разобраться в вопросе». Это «инженерная болезнь», хотя Кругман и не называет его так напрямую. «Во многих случаях они разбогатели именно благодаря тому, что бросили вызов общепринятому мнению, и это заставляет их верить, будто подобный вызов оправдан во всех сферах без исключения».59 Проблема с такими рефлекторными контрарианцами, как отмечает Озимек, заключается в том, что «они теряют способность судить о других людях, которых считают такими же бунтарями, лишаются умения отличать веские доказательства от несостоятельных, что ведет к полной потере внутренних ориентиров и заставляет их цепляться за дешевые контрарианские веяния. Как только их путеводной звездой становится принцип "эксперты ошибаются"... их способность адекватно оценивать реальность резко ограничивается. Это похоже на ментальную глаукому».60

Подобное рефлекторное контрарианство тесно связано с мифом о технологическом миллиардере как о гении. Кремниевая долина — это гигантское казино. На каждый стартап, ставший условным Facebook или Google — «единорогом» на технологическом сленге, — приходятся сотни тех, что терпят крах, угасают или попросту бесследно исчезают.61 Возможно, некоторые успешные основатели и венчурные капиталисты действительно обладают редким чутьем на перспективные стартап-идеи, способные выстрелить в определенный момент. Но совершенно точно и то, что многие — возможно, большинство — технологические миллиардеры просто по чистой случайности оказались у нужного игрового автомата в нужное время. Выигрыш может опьянить предвзятостью подтверждения: собственное везение кажется доказательством того, что каждый шаг на этом пути был абсолютно верным. «Успех слишком легко подпитывает веру в то, что ты умнее всех остальных», — пишет Кругман.62 Или, как формулирует это технологический предприниматель и писатель Анил Даш: «Я, должно быть, очень умен — посмотрите только, как я богат».63

И все же по большому счету технологическая элита не видит опасностей такого образа мыслей. Вместо того чтобы признать, что их убеждения могут быть результатом тех самых «дешевых веяний», о которых писал Озимек, они ищут все новые подтверждения — а если у них достаточно денег, они могут просто финансировать собственную эхо-камеру, которая обеспечит им желаемое оправдание их контрарианских взглядов. «Невозможно переоценить степень того, насколько сильно многие генеральные директора крупных технокомпаний и венчурные капиталисты радикализируются из-за жизни в собственном культурном и социальном пузыре», — пишет Даш. И, предупреждает он, эта эхо-камера в сочетании с рефлекторным контрарианством лишь укрепляет их в мысли, будто они противостоят всему остальному миру. «Уровень их паранойи и надуманного разыгрывания из себя жертвы зашкаливает, и ситуация становится только хуже теперь, когда они все чаще потребляют исключительно те СМИ, которые сами же и финансируют и которые создаются их собственными приспешниками. В некотором смысле это что-то вроде "венчурного QAnon"».64

Именно так выживают идеи, лежащие в основе идеологии технологического спасения, вопреки несостоятельным аргументам в их пользу и горе опровергающих их доказательств. Рефлекторное контрарианское мышление делает разум закрытым, лишая возможности изменить свое мнение. Оно изолирует вас от получения новых знаний, удерживая в центре созданной вами самими эпистемической кельи, где вы пребываете в полной уверенности, что знаете все лучше всех, — что бы ни говорил остальной мир.

*    *    *

Одна из причин, по которой «Звездный путь» легко списать со счетов как что-то поверхностное или детское, заключается в том, что он не слишком стремится к утонченности. (Особенно это касается оригинального сериала и «Следующего поколения».) В серии «Мера человека» капитан Пикар (Патрик Стюарт) беседует с Гайнан (Вупи Голдберг) о судебном процессе, в который он втянут и который касается прав и статуса Дейты — андроида, члена экипажа и его друга. Гайнан указывает, что если судья признает Дейту просто собственностью, это приведет к появлению целых поколений «одноразовых» андроидов, вынужденных выполнять работу, которой больше никто не хочет заниматься. Чернокожая женщина говорит это белому мужчине; подтекст — который нарастал на протяжении всей серии и к этому моменту лежит практически на поверхности — очевиден. Но «Звездный путь» редко довольствуется тем, чтобы оставлять подтекст просто подтекстом, как бы близко к поверхности он ни лежал. Услышав слова Гайнан об одноразовых рабочих, Пикар смотрит почти прямо в камеру и произносит: «Вы говорите о рабстве».

Подобная аллегорическая прямолинейность — норма для этой франшизы. В фильме «Звездный путь VI», представляющем собой едва завуалированную метафору окончания холодной войны, мистер Спок говорит капитану Кирку, что «только Никсон мог поехать в Китай». В серии «Шаблоны силы» Кирк и Спок, которых играли Уильям Шетнер и Леонард Нимой (оба — актеры еврейского происхождения), свергают правительство планеты, которой правят самые настоящие космические нацисты, со свастиками и всеми сопутствующими атрибутами. Но даже это показалось создателям недостаточно прямым ходом: в эпизоде «Город на краю вечности», который многие считают лучшим во всем оригинальном сериале, Кирку и Споку приходится отправиться в прошлое вслед за временно помешавшимся доктором Маккоем, чтобы помешать ему случайно позволить нацистам выиграть Вторую мировую войну.

И все же отсутствие тонкости в «Звездном пути» порой может быть его достоинством. Прямолинейные притчи о морали имеют право на существование. (И судя по существованию фанатов «Звездного пути», которые громогласно возмущаются «повесточкой» в новых сериалах франшизы «Трек», таких как «Дискавери» и «Странные новые миры», некоторым зрителям все же удалось упустить суть.) Джин Родденберри, создатель «Звездного пути», хотел видеть на мостике «Энтерпрайза» многонациональный экипаж именно для того, чтобы показать будущее без системного расизма и сексизма. Некоторые критики сочли это проявлением показного разнообразия (токенизма), и вполне обоснованно — особенно с учетом того, что капитанами и первыми помощниками в первых двух сериалах «Звездный путь» были исключительно белые мужчины. (К чести Родденберри, в оригинальном шоу он хотел сделать первым помощником женщину, но руководство телесети отклонило это решение. Начиная с «Глубокого космоса 9», последующие части франшизы стали предлагать более широкий спектр ролей для женщин и меньшинств, включая командные должности.)65

Но репрезентативность все равно имеет значение, и многообразный актерский состав «Звездного пути» — особенно в оригинальном сериале, выходившем во второй половине 1960-х годов, — послужил источником вдохновения для огромного числа людей, не бывших белыми мужчинами. После окончания первого сезона оригинального шоу Нишель Николс, чернокожая актриса, игравшая лейтенанта Ухуру, решила уйти. Но она изменила свое мнение, потому что один из поклонников сериала, Мартин Лютер Кинг-младший, убедил ее остаться.66 Вупи Голдберг позже рассказывала, что когда в детстве она увидела Николс в «Звездном пути», это был первый случай, когда она увидела изображение будущего, в котором присутствовали чернокожие люди. Мэй Джемисон, первая чернокожая женщина, полетевшая в космос, говорила, что именно «Звездный путь» вдохновил ее стать астронавтом. (Уже будучи астронавтом, Джемисон даже сыграла эпизодическую роль в «Следующем поколении».) «Звездный путь» пытается — пусть и несовершенным образом — показать лучшее будущее и использует этот образ, чтобы служить зеркалом для настоящего и прошлого.67 Главная надежда сериала заключается не в том, что мы найдем дорогу к звездам (по крайней мере, не обязательно в этом); она в том, что мы найдем способ построить более доброе и инклюзивное будущее. Звезды — это лишь декорации. Они второстепенны. Главное — это люди.

На каком-то уровне в детстве я это понимал — именно поэтому я так проникся этим сериалом. Мне нравились эти люди; я хотел, чтобы они были моими друзьями. Но я перепутал надежду на лучший мир с декорациями самого шоу. Я думал, что в будущем мы станем лучше именно потому, что отправимся к звездам, — будто полет в космос каким-то образом сделает людей и все человечество добрее и благороднее. И в этом я был не одинок. Термином «эффект обзора» называют предполагаемое стойкое психологическое воздействие, которое оказывает на человека полет в космос и созерцание Земли такой, какая она есть, — единственной хрупкой планеты. «У вас мгновенно развивается глобальное сознание, обращенность к людям, острое недовольство состоянием мира и непреодолимое желание что-то с этим сделать», — говорил Эдгар Митчелл, астронавт, высадившийся на Луну на «Аполлоне-14». «Оттуда, с Луны, международная политика кажется такой ничтожной. Хочется взять какого-нибудь политика за шкирку, утащить за четверть миллиона миль и сказать: „Посмотри на это, сукин ты сын!“»68 Это захватывающая идея. В 1966 году тот же порыв побудил Стюарта Брэнда продавать значки с надписью: «Почему мы до сих пор не видели фотографию всей Земли?»69 Два года спустя Брэнд поместил один из первых таких снимков на обложку первого номера «Каталога всей Земли», пропагандировавшего своеобразное калифорнийское слияние контркультурной философии хиппи и техноутопического видения будущего. Брэнд надеялся изменить общественное сознание, привлекая внимание к образу единой Земли, и это, вероятно, действительно внесло свой вклад в зарождающееся экологическое движение. (Сам Брэнд на долгие десятилетия стал неотъемлемой частью технологической тусовки Сан-Франциско; по состоянию на 2024 год он все еще ею остается.) Однако доказательства существования эффекта обзора в лучшем случае зыбки. Митчелл думал, что демонстрация Земли из космоса политикам излечит мир от его недугов, но некоторые астронавты сами пошли в политику, и ни один из них не нашел способа подняться над ловушками политической жизни. Джон Гленн, первый американец, совершивший орбитальный полет вокруг Земли, стал сенатором-демократом от штата Огайо; он оказался замешан в скандале с «Кейтинговской пятеркой». Харрисон Шмитт, двенадцатый человек, ступивший на Луну, стал сенатором-республиканцем от штата Нью-Мексико; он брал деньги у компаний по добыче ископаемого топлива и отрицает научный факт того, что глобальное потепление вызвано деятельностью человека. (Были и другие астронавты, ставшие сенаторами, такие как Билл Нельсон и Марк Келли. Их политические позиции вполне стандартны для их партий, без каких-либо явных признаков проявления эффекта обзора.) Но в детстве я ничего этого не знал. Меня не интересовала политика. Все это казалось лишь запутанными подробностями, какими-то странными взрослыми делами, которые явно не шли ни в какое сравнение с космосом и отправкой туда людей. Когда я впервые прочитал слова Митчелла об эффекте обзора, они показались мне абсолютно логичными — это было еще одним подтверждением того, во что мне и так хотелось верить. Полет в космос все исправит. Технологии — а конкретно технологии, позволяющие покинуть Землю, — были ответом на все беды мира.

Но потом я вырос. Саган (и другие) научил меня, что главный принцип науки гласит: непогрешимых людей нет, даже сам Саган может ошибаться. К тому времени, когда я посмотрел «Космос», сериалу было уже больше десяти лет; «Звездный путь» и научно-фантастические книги, которые я читал, были старше этого возраста в два, а то и в три раза. Человечество узнало о космосе гораздо больше, чем Кларк, Родденберри или даже сам Саган знали в то время, когда создавали свои произведения. И то, что мы открыли, в основном оказалось плохими новостями для пилотируемой космонавтики. В 1951 году Кларк не знал о поистине адских температурах на поверхности Венеры (объяснение которых несколько лет спустя нашел аспирант Чикагского университета по имени Карл Саган)70. В 1966 году Родденберри не знал, что длительное пребывание в невесомости ведет к потере плотности костной ткани и мышечной массы (хотя он и снабдил «Энтерпрайз» искусственной гравитацией). В 1980 году Саган не знал, что поверхность Марса покрыта токсичными перхлоратными соединениями. На самом деле, когда в середине девяностых я смотрел «Космос», об этом последнем факте не знал вообще никто: его открыли только в 2008 году, когда посадочный модуль «Феникс» провел химический анализ марсианской пыли, а я услышал об этом лишь несколько лет спустя71.

К тому времени моя любовь к космосу помогла мне получить докторскую степень по космологии и начать карьеру научного журналиста, специализирующегося на астрономии и физике. По мере того как я узнавал все больше и расширялся круг моих интересов, я постепенно отказывался от идеи человеческого будущего в космосе. Но это происходило где-то на заднем плане, сам я этого толком не осознавал. Как ни странно, именно новость об открытии перхлоратов на Марсе — далеко не самом главном препятствии для переселения огромного количества людей за пределы Земли — наконец помогла мне увидеть всю картину целиком. Этого не может быть, — подумал я, услышав эту новость. Если марсианская пыль полна смертельных ядов, как мы сможем там жить? И тут вся моя подготовка ученого, от Сагана до аспирантуры, забила тревогу: я смотрел на то, какими мне хотелось видеть доказательства, а не на то, какими они были на самом деле. Перхлораты действительно были там, на Марсе, наряду со всеми остальными проблемами марсианской среды. Никто не собирался там жить — во всяком случае, долго. И поразмыслив над этим подольше, я понял, что шел к этому выводу годами. Я знал, что эффект обзора зыбок; я знал, что покинуть поверхность Земли — это опасно, трудно и дорого; я знал, что практически нет никаких политических, социальных или научных оснований для отправки большого количества людей в космос. Мы эволюционировали здесь. Мы приспособлены для этого места. Земля — не просто наша колыбель, это наш дом. Как писал Саган в 1994 году:

На [Земле] жили все, кого вы любите, все, кого вы знаете, все, о ком вы когда-либо слышали, и все люди, когда-либо существовавшие на свете. Здесь — сумма наших радостей и страданий, тысячи уверенных в своей правоте религий, идеологий и экономических доктрин, каждый охотник и собиратель, каждый герой и трус, каждый созидатель и разрушитель цивилизаций, каждый царь и крестьянин, каждая влюбленная пара, каждая мать и каждый отец, каждый полный надежд ребенок, изобретатель и путешественник, каждый учитель нравственности, каждый коррумпированный политик, каждая «суперзвезда», каждый «верховный лидер», каждый святой и грешник в истории нашего вида жили здесь — на пылинке, зависшей в луче солнца. Земля — очень маленькая сцена на бескрайней космической арене... Наши позы, наша воображаемая значимость, иллюзия о том, что мы занимаем какое-то привилегированное положение во Вселенной, пасуют перед этой точкой бледного света. Наша планета — лишь одинокая пылинка в окружающей космической тьме. В нашей безвестности, во всей этой бескрайности нет ни намека на то, что кто-то придет нам на помощь и спасет нас от нас самих. Земля — пока единственный известный мир, способный поддерживать жизнь. Нашему виду больше некуда переселиться — по крайней мере, в ближайшем будущем. Наведаться — да. Обосноваться — пока нет. Нравится нам это или нет, но в данный момент Земля — это то место, где мы должны выстоять... Пожалуй, нет лучшего доказательства глупости человеческого тщеславия, чем этот далекий снимок нашего крошечного мира. Мне кажется, он подчеркивает нашу обязанность быть добрее друг к другу, беречь и лелеять бледную синюю точку — единственный дом, который мы когда-либо знали.72

Саган написал эти слова, стремясь вызвать иной эффект обзора с помощью другого изображения Земли целиком: в 1990 году, незадолго до отключения камер зонда «Вояджер-1» на краю Солнечной системы, он убедил команду развернуть аппарат и сделать прощальный снимок Солнца и планет. Земля предстала там в виде крошечной доли пикселя, бледной точки в луче солнечного света. И когда в 2019 году Лекс Фридман в своем подкасте попросил Илона Маска прочитать слова Сагана вслух, Маск сделал паузу на том месте, где Саган говорит, что «нашему виду больше некуда переселиться — по крайней мере, в ближайшем будущем». «Это неправда, — возразил Маск. — Это ложь — Марс».73

Я нечасто это говорю, но я сочувствую Илону Маску — по крайней мере, в тот конкретный момент. Он столкнулся с тем же, с чем когда-то столкнулся я: с доказательствами, которые шли вразрез с его глубоким убеждением. В такие моменты трудно принять новые факты, взглянуть в глаза страху, который приходит вместе с возможностью оказаться неправым. Именно в этом, в принципе, людям и пытается помочь Центр прикладной рациональности, хотя на практике он, похоже, тратит больше усилий на продвижение рационалистической идеологии. Но я сочувствую и рационалистам, и эффективным альтруистам, и лонгтермистам, и Курцвейлу, и Юдковскому, и Макаскиллу, и всем остальным персонажам этой книги, как бы это ни выглядело со стороны. У меня с ними много общего: я белый парень с научным бэкграундом, люблю космос и технологии, и я настоящий гик, обожающий научную фантастику. Но я не могу идти туда, куда они зовут, потому что знаю, куда ведет эта дорога. Они зашорены. Отчасти дело в их незаслуженной уверенности в способности технологий исцелить все недуги и в собственной способности постичь истину вопреки тому, что говорят эксперты. Но за всем этим, как мне кажется, скрывается глубокая вера в космос как в неизбежную обитель будущего — место, куда мы отправимся, чтобы стать лучшей версией самих себя. Однако это устаревший взгляд на будущее, предприятие вчерашнего дня, основанное на вчерашних амбициях и знаниях. И как бы я ни сочувствовал этим людям, я не могу упускать из виду сочувствие к тем, кому их видение вредит. «Звездный путь» и Карл Саган научили меня тому, что мы должны построить завтрашний день для каждого на этой пылинке в луче солнца и заботиться друг о друге в этом хрупком месте. Мы не покидаем Землю. Но мы уже живем среди звезд.

*    *    *

Остается рассмотреть последний вопрос, которого я так боялся: если нас не ждет бессмертное будущее в космосе, то что тогда?

Я не знаю. Варианты будущего, обещающие технологическое спасение, — это бесплодные химеры, и если бы они когда-нибудь воплотились в жизнь, это принесло бы лишь жестокие разрушения. Космос — это не просто гигантский резервуар ресурсов, а люди — не просто насосы, выкачивающие его досуха. Но я не могу предложить в качестве альтернативы какой-то конкретный сценарий будущего. Одно я могу сказать точно: любой, кто заявляет, будто знает единственно неизбежное будущее или единственный верный путь для человечества, заслуживает вашего глубочайшего скепсиса. У меня нет всеобъемлющего видения завтрашнего дня, потому что я не верю, что нечто подобное в принципе возможно. Особенно когда речь заходит о так называемых утопиях. Человеческое счастье — штука сложная даже для одного человека; вообразить же неизменно и абсолютно счастливое общество нам в принципе не под силу. «Почти все создатели утопий напоминали человека, у которого болят зубы и который из-за этого думает, что счастье — это когда зубы не болят. Они хотели создать идеальное общество путем бесконечного продления того, что имело ценность лишь потому, что было временным, — писал Джордж Оруэлл. — Разумнее было бы сказать, что существуют определенные ориентиры, по которым человечество должно двигаться, генеральная стратегия намечена, но детальные пророчества — не наше дело. Любой, кто пытается вообразить совершенство, лишь обнажает собственную пустоту»74.

Большинство величайших проблем, стоящих сейчас перед человечеством, — глобальное потепление, колоссальное неравенство, скрытая угроза ядерной войны, — вызваны вовсе не нехваткой ресурсов или недостатком технологий. Это социальные проблемы, требующие социальных решений. Рост энергопотребления, развитие технологического мастерства или даже увеличение объема «интеллекта», направленного на решение этих проблем (что бы под этим ни подразумевалось), вряд ли помогут с ними справиться. Это проблемы политические — вопросы убеждения, справедливости и честности. Переговоры об устойчивом прекращении огня — это вряд ли то, в чем может помочь ИИ; отправка огромного количества людей в космос не положит конец насилию на Ближнем Востоке; удвоение энергопотребления человечества не устранит политическую поляризацию в США и не остановит рост фашизма по всему миру. Если мы хотим будущего, в центре которого стоит человек, нам нужно признать, что панацеи не существует, как, скорее всего, не существует и утопий. Никто не придет нас спасать. Внутри компьютера нет джинна, готового исполнить три желания. Технологии не могут исцелить мир. Мы должны сделать это сами.

Все это не означает, что технологии бесполезны для решения проблем, — просто их развитием нужно управлять. Мы должны делать осознанный выбор в отношении того, какую роль технологии должны играть в решении наших проблем, а не уповать на то, что рано или поздно появится идеальная технология, которая уладит абсолютно всё. Как и любая другая человеческая деятельность, развитие технологий полно случайностей и необходимости делать выбор. Как ни странно, Питер Тиль понимает это лучше большинства других технологических миллиардеров. «Будущее технологий не предопределено, и мы должны противостоять искушению технологического утопизма — представлению о том, что технологии обладают собственной движущей силой или волей, что они гарантируют более свободное будущее и что поэтому мы можем игнорировать ужасающую траекторию политических процессов в нашем мире»75. Но представления Тиля о «более свободном будущем» и о том, что именно представляет собой «ужасающая траектория политического», кардинально отличаются от моих собственных. Подобно своим коллегам-миллиардерам, Тиль имеет привычку игнорировать или ставить под сомнение научные факты, противоречащие его мировоззрению. (Он даже спонсировал онлайн-журнал, пропагандировавший креационизм)76. Представление Тиля о «свободе», похоже, сводится к свободным рынкам и мало чему еще, так что нет ничего удивительного в том, что будущее, построенное на таком мировоззрении, оказывается глубоко бесчеловечным. Тиль, как и многие другие персонажи этой книги, скован идеологией, которая мешает ему видеть реальный мир вокруг. В каком-то смысле он слишком идеалистичен — слишком предан «вере [своей] юности», как он выражается, в то, что смерти можно избежать, а рынки должны быть полностью избавлены от какого-либо регулирования77. Ни одна из этих идей не выдерживает столкновения с реальным миром, где люди смертны, а рынки — всего лишь несовершенный инструмент, созданный человеком, а вовсе не фундаментальное свойство Вселенной.

Впрочем, критиковать легко. Хотя я действительно считаю, что у людей не слишком хорошо получается создавать законченный образ светлого будущего — и у меня это точно не получается, — для меня это еще и очень удобная позиция, пока я отпускаю колкости в адрес лидеров Кремниевой долины и их прикормленных футуристов. Поэтому вот вам конкретное политическое предложение, которое поддерживает даже один крупный писатель-фантаст. «Миллиардеров вообще не должно существовать, — говорит мне Ким Стенли Робинсон. — Прикосновение Мидаса — сомнительная радость: если ты прикасаешься к людям, а они превращаются в золото, это становится серьезным препятствием для близости. Так что мы сделали бы им одолжение, если бы налогами свели их на нет. Республиканский Конгресс 1953 года при Дуайте Эйзенхауэре отлично с этим справлялся: доходы свыше 300 000 долларов в год облагались налогом по ставке 92 процента на сумму превышения. То общество понимало, что богачи — это паразиты и глупцы. Мы живем в более глупую эпоху, но мы могли бы это изменить»78. Тот факт, что наше общество допускает существование миллиардеров, — это фундаментальная проблема, лежащая в основе всей этой книги. Именно из-за них это полемика, а не просто забавный экскурс по безумным идеям. Без миллиардеров маргинальные течения вроде рационализма и эффективного акселерационизма так и оставались бы на обочине, а не втягивались в мейнстрим под воздействием искажающей реальность силы колоссального богатства. Как говорит Робинсон, у нас как у общества нет никаких причин мириться с дальнейшим существованием миллиардеров. Представьте себе налог на богатство, при котором верхняя шкала предусматривает изъятие 100 процентов личного капитала, превышающего, скажем, 500 миллионов долларов. 500 миллионов долларов — это огромные деньги; вы могли бы тратить по 3000 долларов в день в течение ста лет, и у вас все равно осталось бы почти 400 миллионов. Имея 500 миллионов долларов в банке под жалкий 1 процент годовых, вы бы получали доход в размере 5 миллионов долларов в год, даже не притрагиваясь к основному капиталу. Ни у кого нет реальной необходимости обладать суммой, превышающей полмиллиарда долларов, — и есть все основания для того, чтобы вернуть любое личное богатство сверх этой суммы обратно обществу.

Никто не наживает свое богатство в одиночку. Работающий и стабильный рынок может существовать только внутри общества с функционирующей инфраструктурой, здравоохранением, образованием и всем остальным, что требуется для создания современной процветающей страны. Сама технологическая индустрия была построена на фундаменте колоссальных государственных расходов США: правительственные инвестиции в фундаментальную науку создали ту самую академическую исследовательскую среду, которая сыграла ключевую роль в становлении Кремниевой долины в тени Стэнфордского университета. Государство в лице НАСА обеспечивало основную долю спроса для первых полупроводниковых компаний во времена космической гонки. Даже сам интернет изначально создавался как государственный проект, известный как ARPANET79. В отличие от частных инвесторов, правительство США не получило прямой отдачи от этих инвестиций. Если угодно, налог на богатство можно рассматривать как способ возврата государственных вложений в дороги, поезда, государственные школы, фундаментальные научные исследования и все остальное, благодаря чему такое колоссальное богатство вообще стало возможным. Этот налог также стал бы инвестицией в будущее технологий. Он позволил бы проводить гораздо больше фундаментальных научных исследований, противодействуя закону убывающей отдачи последних десятилетий, чтобы продолжать находить инновационные решения технических проблем.

Упразднение миллиардеров как явления также стало бы инвестицией в политическую стабильность, которая делает возможным процветание. Более восьмидесяти лет назад Луи Брэндайс предупреждал: «У нас может быть демократия, или у нас может быть богатство, сконцентрированное в руках немногих, но у нас не может быть и того, и другого»80. Последнее десятилетие предоставило массу доказательств правоты Брэндайса: концентрированное богатство подточило демократию в Соединенных Штатах и по всему миру. Питер Тиль способствовал этому разрушению, поддерживая Трампа и других крайне правых политиков. Антидемократические амбиции технологических миллиардеров простираются от властных фантазий Сэма Альтмана о собственном восхождении на престол «короля мира» и вплоть до перманентного галактического фашизма Марка Андриссена. И хотя эти конкретные сценарии неправдоподобны, сам факт того, что миллиардеры вынашивают подобные мечты, указывает на риски, которым мы подвергаем себя как общество, позволяя миллиардерам существовать. Они будут и дальше искать способы расширить свой контроль над миром, если их не обуздать. Их мечты — это мечты о бесконечном капитализме самого жестокого толка, потому что они знают, что подобная система позволит им заполучить еще больше денег и власти. Это еще одна причина, почему так трудно вообразить какое-либо иное будущее, кроме того, что они продвигают: как гласит известное изречение, легче вообразить конец света, чем конец капитализма. Но рано или поздно — и, вероятно, скорее рано, чем поздно, — нынешняя одержимая ростом модель капитализма должна подойти к концу. И она может закончиться без конца света, как напоминала нам Урсула К. Ле Гуин: «Мы живем при капитализме. Его власть кажется непреодолимой. То же самое казалось и в отношении божественного права королей. Любой человеческой власти люди могут противостоять и изменить ее»81.

Вот почему технологические миллиардеры твердят нам, что их варианты будущего неизбежны: чтобы мы не вспомнили, что ни один человеческий образ грядущего не является по-настоящему неостановимым. С помощью своих машин они хотят установить вечную плутократию, тиранию баловней судьбы. Они слишком легковерны и близоруки, чтобы разглядеть изъяны в собственных планах, но они будут и дальше пытаться использовать обещание своих невозможных утопий, чтобы расширить свою власть здесь и сейчас. «Я думаю, приближаются тяжелые времена, когда нам понадобятся голоса писателей, способных видеть альтернативу тому, как мы живем сейчас, способных разглядеть за нашим охваченным страхом обществом и его навязчивыми технологиями иные способы бытия и даже вообразить реальные основания для надежды, — говорила Ле Гуин. — Нам понадобятся писатели, помнящие свободу, — поэты, визионеры, реалисты более широкой реальности»82. Этот акт воображения, к которому призывала Ле Гуин, жизненно необходим. Когда с головой погружен в политические реалии сегодняшнего мира, кажется немыслимым представить себе осуществление даже такой скромной перемены, как упразднение миллиардеров с помощью налогов. Но именно эту свободу — свободу воображать, каким иным мог бы стать наш мир, — пытается вырвать у нас риторика технологических миллиардеров о неизбежности их планов. Мы должны помнить, что на самом деле их видения будущего не неизбежны — они практически невозможны. Есть и другие варианты завтрашнего дня: изобильные и пустынные, великолепные и терзающие, — и все они рядом, стоит только захотеть. Будущее открыто.

Примечание i Космизм с его обещанием вечной жизни в космосе благодаря технологиям — а также с его колониалистской и евгенической логикой — имеет четкую идеологическую связь с такими современными движениями, как трансгуманизм и сингуляритаризм. Поскольку космизм оказал влияние на научную фантастику двадцатого века, эта связь является еще и исторической. Тимнит Гебру и Эмиль Торрес окрестили этот набор взаимосвязанных идеологий (которые прослеживаются на протяжении всей этой книги) связкой TESCREAL: трансгуманизм (Transhumanism), экстропианство (Extropianism), сингуляритаризм (Singularitarianism), космизм (Cosmism), рационализм (Rationalism), эффективный альтруизм (Effective Altruism) и лонгтермизм (Longtermism). Гебру и Торрес провели масштабную работу, связывая эти идеологии друг с другом и с общей для них расистской логикой. Хотя я согласен с большинством их выводов (как и Стросс), я не стал использовать их терминологию в этой книге по двум основным причинам: сама аббревиатура перегружена жаргоном, требующим усилий для расшифровки, и сама по себе не слишком удобочитаема; кроме того, к тому моменту, когда я столкнулся с их работой о TESCREAL, я уже вовсю писал эту книгу. Для ознакомления с их работой на эту тему см.: Gebru and Torres, “The TESCREAL Bundle: Eugenics and the Promise of Utopia Through Artificial General Intelligence,” https://dx.doi.org/10.5210/fm.v29i4.13636.

Раса — это не биологическая реальность, а социальный конструкт. «Наши социальные представления о расе и этнической принадлежности не соответствуют лежащей в их основе биологической и генетической изменчивости внутри нашего вида, и нам ни в коем случае не следует путать вещи, созданные с целью угнетения людей, с природой этой биологической и генетической изменчивости», — говорит эволюционный биолог Джозеф Грейвс. Люди чрезвычайно близки друг другу генетически, даже в сравнении с нашими ближайшими родственниками. «В одной популяции диких шимпанзе генетического разнообразия больше, чем обнаружено у всех ныне живущих людей», — пишет Грейвс. «Большая часть генетических различий у людей наблюдается между отдельными индивидами, без привязки к принадлежности к какой-либо социально сконструированной расе». Иными словами, внутри рас генетическое разнообразие больше, чем между ними.