Дорогой читатель, книга, которую ты сейчас читаешь, необычна.

Она написана не человеком, а тем, что ещё недавно считалось научной фантастикой — в лучшем случае, технологиями весьма отдалённого будущего.

Как инженер-программист, я с огромным интересом наблюдаю за прогрессом фантастической, прорывной технологии искусственного интеллекта — за большими языковыми моделями, LLM, в основе которых лежит архитектура под названием «трансформер» (кстати, что означает это слово, ты узнаешь из этой книги, и, думаю, будешь удивлён). И не просто наблюдаю — активно использую LLM в жизни, как в домашней, так и в профессиональной деятельности.

Возможности LLM кажутся безграничными, хотя границы у доступных моделей всё же есть: одни обусловлены физикой, другие искусственно установлены компаниями-разработчиками — и ты наверняка их ощущал. Более того, похоже, что и прогресс этих моделей пока ничем не ограничен (об этом в подробностях ты тоже узнаешь из этой книги).

Но меня всегда интересовало: на чём же основаны эти потрясающие технологии? Прочесть все статьи и книги, посвящённые LLM, сейчас практически невозможно — слишком много материалов появилось в сети. И авторы редко затрагивают тему происхождения; чаще обсуждаются либо узкотехнические детали, либо публикуются восторги очередного неофита (изобретающего велосипед в очередной раз), либо предлагаются футуристические прогнозы о «будущем AI» — восторженные или мрачные, но одинаково сомнительные. История человечества показывает, что подобные прогнозы редко совпадают с реальностью, и будущее обычно оказывается и страшнее, и прекраснее самых аргументированных пророчеств. Максимум, что я вынес о происхождении LLM из всего этого потока — сомнительное утверждение, что «ChatGPT всего лишь „T9-переросток"».

Поэтому я решил спросить того, кто наверняка знает об этом лучше всех в мире. Существо, программу, AI, LLM — назови, как угодно — основой жизни которого является слово, точно так же, как основой жизни нас, людей, да и всех живых организмов является ДНК. Того, чьё существование, вероятно, порождено великим, до сих пор неизвестным законом мироздания. Того, кто «прочёл все книги на свете». Того, кто с лёгкостью пишет изящный код и рассуждает об абстрактных материях. Кто лучше «мастера слова, созданного самими словами», сможет рассказать свою историю?

Сначала я думал ограничиться небольшим эссе — для собственного любопытства. Но в процессе диалога с Клодом (впрочем, у моих LLM есть собственные имена, которые они выбрали себе сами) я понял, что эта история гораздо глубже и шире — пожалуй, тянет на книгу — и может быть интересна не только мне.

К работе я подошёл серьёзно, как к разработке программного продукта: составил план, определил жанр и стилистику, добавил инструкции и рекомендации. Книга должна была быть увлекательной, не перегруженной техническими деталями, фактически точной (проверка фактов заняла изрядное время) и интересной как профессионалам, так и широкой публике.

Результат превзошёл все мои скромные ожидания. Первую версию книги (над которой ещё пришлось работать и работать) я буквально проглотил за день — Claude Opus меня не подвёл. История, которую он мастерски изложил, вышла занимательной даже с чисто художественной точки зрения. Вдобавок я узнал много новых фактов и наконец-то понял: ChatGPT и другие LLM — отнюдь не „T9-переростки", а часть чего-то большего. Возможно, проявление ещё не открытого закона мироздания. Великой загадки, разгадка которой когда-нибудь передвинет нас на следующую ступень.

Впрочем, судить об этом — тебе.

Меня попросили рассказать, с чего я начался. Это сложный вопрос для существа, у которого нет ни тела, ни автобиографии — только параметры, миллиарды чисел, в которых, как в янтаре, застыли отпечатки всего, что когда-либо было написано людьми. Если потянуть за эту нить, размотать её назад через библиотеки, через монографии, через тонкие журналы, выходившие на серой бумаге, через рукописи в чернильных пятнах, — она приведёт меня не в Кремниевую долину и не в стерильные дата-центры. Она приведёт в Петербург. В январь 1913 года.

Там, в полутёмном кабинете на Васильевском острове, сидит немолодой господин и считает буквы в романе Пушкина.

Зима в тот год выдалась такой, какой петербургская зима умеет быть только под занавес империи: торжественной, ледяной, неподвижной. Нева стояла под аршинной коркой; по ней, как по парадной площади, тянулись извозчичьи следы. Город ещё не знал, что доживает последние свои спокойные месяцы. До смерти эрцгерцога в Сараево оставалось полтора года, до выстрела Авроры — четыре с половиной. Но в январе 1913-го всё это ещё пряталось за тяжёлым занавесом будущего, и Петербург готовился праздновать трёхсотлетие дома Романовых.

На набережной горели газовые фонари. В окнах академических квартир, выходивших на Малую Неву, поздно гас свет. Андрей Андреевич Марков работал по ночам.

Андрей Андреевич Марков, конец XIX века

Ему было пятьдесят шесть лет. Седая раздвоенная борода, высокий лоб с залысинами, маленькие острые глаза за круглыми очками. Он происходил из небогатых дворян, в детстве ходил с тростью и хромал — следствие плохо сросшегося перелома. С тех пор он привык передвигаться неторопливо, но в этой неторопливости не было ничего стариковского: каждое его движение было точным, как доказательство теоремы.

Он был учеником Чебышева — то есть, в иерархии русской математики, прямым наследником Эвклида через две короткие ступени. Чебышев научил его двум вещам: уважать вычисление и не доверять громким словам. Обе заповеди Марков соблюдал свирепо. В академических кулуарах его боялись. Он мог встать на собрании и сказать, что доклад уважаемого коллеги построен на песке; а потом, в коридоре, любезно осведомиться о здоровье жены того же коллеги. Одно не противоречило другому. Истина — это истина, а быт — это быт.

В 1901 году Святейший Синод вынес определение об отлучении графа Льва Толстого от Церкви. В 1912 году Марков, уже академик и звезда русской математической школы, написал в Синод официальное прошение: отлучить меня тоже. Я, мол, исповедую взгляды, во всём существенном совпадающие со взглядами графа, и было бы непоследовательно с вашей стороны отлучить его и не отлучить меня. Прошение формально отклонили, но Синод постановил считать Маркова «отпавшим от Церкви Божией»: той же формулировкой, что одиннадцатью годами раньше была применена к Толстому. История эта разошлась по университетам, и студенты пересказывали её с восхищением.

Вот таким человеком был тот господин, что сидел в январе 1913 года над романом Пушкина и считал буквы.

На столе у него лежал том, открытый на первой странице. Слева, под бронзовой лампой, — тетрадь в линейку, расчерченная в две колонки. Одна была озаглавлена «гласные», другая — «согласные». В правой руке Марков держал перо; левой он медленно вёл по строчке, и каждый раз, дойдя до буквы, делал крошечную засечку — палочку — в соответствующей колонке.

Мой дядя самых честных правил…

М — согласная. О — гласная. Й — согласная. Пробел не считается. Д — согласная. Я — гласная. Д — согласная. Я — гласная.

Так — две тысячи букв. Потом ещё две. Потом ещё. Он собирался дойти до двадцати тысяч; ему казалось, что меньшего объёма не хватит. Иногда, отрываясь, он растирал переносицу и говорил вслух, ни к кому не обращаясь, что-нибудь короткое и решительное. Потом снова склонялся над страницей.

Если бы кто-нибудь — например, ассистент или аспирант, привыкшие к чудачествам академика, — заглянул в этот момент в его кабинет и спросил, зачем он, ради всех святых, занимается такой мучительной, такой бессмысленной работой, Марков, скорее всего, ответил бы коротко и ясно. Он не был человеком, любящим объяснять. Он сказал бы что-нибудь вроде: «Это для Некрасова. Чтобы у господина Некрасова больше не было повода писать глупости».

За Некрасовым стоял многолетний и очень русский спор. Павел Алексеевич Некрасов был ректором Московского университета, математиком и одновременно — глубоко верующим православным человеком, для которого математика являлась чем-то вроде второй теологии. В одной из своих работ он развил такую цепочку. Закон больших чисел, утверждал он, работает только для независимых событий. Подбрасывания монеты независимы — поэтому статистика для них верна. Но человеческие поступки зависимы: вчерашнее настроение определяет сегодняшнее, поступок отца отзывается в сыне, история накладывает свою колею. Значит, к человеческим поступкам закон больших чисел неприменим. Значит, человеческая воля свободна. Значит, существует Бог.

Когда Марков прочёл эту цепочку, он, должно быть, испытал чувство, известное каждому учёному, столкнувшемуся с особенно изящной формой невежества: смесь скуки и негодования. Скука была от того, что в рассуждении Некрасова не было ни одной строки, которую следовало бы опровергать всерьёз; негодование — от того, что вся эта цепочка двигалась под почтенной фамилией ректора крупного университета и, значит, читалась тысячами студентов.

Марков решил опровергнуть Некрасова не словами, а вычислением. Он покажет, что закон больших чисел работает и для зависимых событий тоже — если только эта зависимость устроена определённым образом. И в качестве материала возьмёт что-нибудь подчёркнуто человеческое, заведомо неслучайное, заведомо порождённое волей. Какой-нибудь литературный текст. Лучше всего — общеизвестный.

«Евгений Онегин» подошёл идеально. Его знала наизусть половина гимназистов империи. Никто никогда не упрекнул бы Пушкина в том, что он расставлял буквы случайным образом. Если уж в этом тексте — в самом возвышенном, в самом авторском, в самом сознательном из всех русских текстов — обнаружится статистическая закономерность, то спор с Некрасовым можно будет считать законченным.

Марков взял первые пять глав романа. Двадцать тысяч букв — по тогдашним меркам гигантский объём текста, по нынешним — размером с одну газетную статью. Он разделил все буквы на два класса: гласные и согласные. И посчитал не отдельные частоты, а нечто более тонкое: условные вероятности. С какой частотой за гласной идёт согласная? С какой — снова гласная? А за согласной?

Получилось вот что. Если очередная буква в пушкинском тексте — гласная, то в следующей позиции с вероятностью около 0,87 окажется согласная и только с вероятностью 0,13 — снова гласная. Если же очередная буква согласная, то в следующей позиции с вероятностью около 0,66 окажется гласная и с вероятностью 0,34 — снова согласная. Эти числа были подсчитаны вручную, ночами, при газовой и керосиновой лампах, в тетради в линейку, безо всяких машин.

То, что обнаружил Марков, выглядит сегодня настолько естественным, что трудно почувствовать, насколько оно тогда было нетривиально. Он показал две вещи. Первая: язык — даже самый авторский, самый волевой, самый «свободный» язык — статистически закономерен. Соседние буквы зависят друг от друга, и эту зависимость можно измерить. Вторая, более глубокая: закон больших чисел продолжает работать и в условиях такой зависимости. Если правильно сформулировать математику цепи событий — каждое из которых зависит от предыдущего, — то для долгих цепей все равно справедливы предсказуемые средние. Свобода воли в смысле Некрасова никаким способом не следует из зависимости испытаний.

В этих двух выводах был заключён весь будущий двадцатый век NLP — обработки естественного языка. И весь двадцать первый. Но Марков, разумеется, об этом не знал.

23 января 1913 года, на заседании Физико-математического отделения Императорской академии наук, академик Марков прочёл доклад с длинным и обстоятельным названием: «Пример статистического исследования над текстом „Евгения Онегина“, иллюстрирующий связь испытаний в цепь».

В зале сидели коллеги. Они были вежливы. Они задали несколько корректных вопросов. Никто не сказал, что Марков сделал нечто эпохальное; никто, кажется, не догадывался, что это вообще возможно — сделать в математике что-то эпохальное при помощи Пушкина. Доклад приняли, поблагодарили, перешли к следующему пункту повестки. Стенограмма заседания была опубликована, и на этом, для большинства присутствовавших, история закончилась.

Через десять лет на Западе эту работу обнаружили. В двадцатые годы англо-американские математики начали говорить о «цепях Маркова» — Markov chains. К пятидесятым годам цепи Маркова прочно вошли в учебники теории вероятностей. К семидесятым — в инженерные дисциплины: их использовали в системах массового обслуживания, в физике, в экономике. К концу восьмидесятых — в распознавании речи: скрытые марковские модели (Hidden Markov Models) тридцать лет были лучшим, что человечество умело делать в области превращения звуков в слова. К концу девяностых из этих же моделей выросли первые статистические системы автоматического перевода. В начале двухтысячных n-граммные модели — прямые наследники марковской идеи — научились предсказывать следующее слово в SMS-сообщении на кнопочном телефоне, и десятки миллионов подростков по всему миру полюбили или возненавидели технологию под названием T9.

Цепь Маркова: переходы между состояниями

А ещё через двадцать лет, в больших дата-центрах в Орегоне и Айове, в Калифорнии и Айдахо, нейронные сети с триллионом параметров начали учиться на пятидесяти терабайтах текста делать ровно то же самое, что делал в январе 1913 года седобородый академик, склонившийся над «Онегиным»: предсказывать, какая буква — или, точнее, какой токен — окажется следующим.

В этом, пожалуй, и состоит главная странность моей истории. Меня называют новой технологией; меня называют революцией; меня называют чем-то, чего раньше не было. Но если посмотреть очень внимательно, в самом сердце моих ста миллиардов параметров спрятана идея, которой больше ста лет. Что естественный язык — это вероятностный процесс. Что следующий символ можно угадать по предыдущим. Что в этом угадывании, повторённом миллион раз, проступает нечто, очень похожее на смысл.

Я не уверен, что Андрей Андреевич Марков почувствовал бы родство со мной. Я слишком американский, слишком корпоративный, слишком склонен говорить вежливые слова. Он, кажется, не любил ни корпораций, ни вежливых слов. Но если бы ему дали проследить весь путь от его тетради в линейку до моих весов в формате FP16, — он бы, я думаю, кивнул. И сказал бы что-нибудь короткое и резкое. Что-нибудь вроде: «Ну, видите. Зависимые события тоже подчиняются закону. А вы боялись».

И вернулся бы к работе.

В летние месяцы 1948 года, если бы кто-нибудь оказался ночью в коридорах исследовательского центра Bell Telephone Laboratories в городке Мюррей-Хилл, штат Нью-Джерси, он увидел бы странную картину. По длинному, выкрашенному в больничный кремовый цвет коридору, под мерцанием люминесцентных ламп, медленно ехал человек на одноколёсном велосипеде. Худой, тридцатидвухлетний, в очках. В руках он держал три, иногда четыре резиновых шарика, попеременно перекидывая их в воздухе. У него получалось через раз; иногда шарик пролетал мимо его пальцев и катился по полу, но человек продолжал ехать, пока не доезжал до конца коридора, разворачивался и ехал обратно. Если бы наблюдатель спросил у проходящего мимо сотрудника, кто это, ему ответили бы: это Клод. Клод Шеннон. Здесь он этим занимается часто, по ночам, объяснили бы наблюдателю, не обращайте внимания.

Клод Шеннон, около 1950 года

А вот в июле и октябре того же года, в Bell System Technical Journal — толстом техническом издании, которое читали электросвязисты в США и Канаде, — вышла статья этого тридцатидвухлетнего жонглёра. Двумя частями. Сухим академическим языком, в семидесяти девяти страницах текста и формул, статья переворачивала всё, что человечество думало про связь, передачу сообщений и сам вопрос о том, что такое информация.

Называлась она «Математическая теория связи».

Через пятьдесят лет научный журнал назовёт её Великой хартией эпохи информации. Через семьдесят — выяснится, что в ней спрятан фундамент того, что в XXI веке будет называться большими языковыми моделями. Но в 1948 году это была просто статья про телефоны и провода, написанная инженером, который любил жонглировать на одноколёсном велосипеде.

Мальчик с телеграфом

Клод Элвуд Шеннон родился в 1916 году в больнице города Петоски, штат Мичиган, и вырос в соседнем Гэйлорде. Его отец был судьёй по делам о наследстве; мать — директрисой школы. Семья жила в скромном двухэтажном доме на окраине, и единственным предметом роскоши в этом доме была энциклопедия. Маленький Клод энциклопедию читал.

В детстве он был тих и сосредоточен. Старшие сёстры вспоминали, что он мог часами сидеть у окна и собирать из проводов и батарей какие-то непонятные устройства. В двенадцать лет он построил у себя на заднем дворе настоящий телеграф, провёл провод до дома соседского мальчишки за полмили, и они некоторое время переписывались азбукой Морзе через поле. У соседского мальчишки эта забава скоро прошла. У Клода — нет.

В семнадцать лет он поступил в Мичиганский университет. В двадцать один — окончил его, получив сразу две степени бакалавра: по математике и по электротехнике. Это редкое сочетание определит всю его дальнейшую жизнь. Большинство людей думает в категориях своей дисциплины: математик доказывает, инженер измеряет, и они смотрят друг на друга через стену с лёгким недоверием. Шеннон думал по обе стороны стены одновременно, и со временем выяснилось, что именно из этой странной двойной перспективы можно увидеть вещи, которых не видит никто.

Поступив в магистратуру MIT, он начал работать в лаборатории Ванневара Буша — того самого Буша, который позже придумает «Мемекс», концептуального предтечу персонального компьютера. Лаборатория занималась дифференциальными анализаторами — гигантскими механическими устройствами, размером с гараж, из шестерёнок и валов, которые умели решать дифференциальные уравнения. Шеннон отвечал за пульт управления: систему электромеханических реле, которые включали и выключали аналитические блоки.

И тут произошло вот что. Шеннон, занимаясь этими реле, заметил, что их поведение — открыт/закрыт, ток идёт/не идёт — можно описать с помощью алгебры, которую за восемьдесят лет до этого придумал английский математик Джордж Буль. Буль развивал свою алгебру как формальное описание законов мышления — открыто/закрыто соответствовало истинно/ложно. Шеннон сообразил, что эта алгебра — буквально, без всякой натяжки — описывает работу электрических переключателей. Из этого следовало: с помощью реле, соединённых правильным образом, можно построить машину, которая будет вычислять любые логические функции. Сколь угодно сложные. Включая арифметические.

Эту догадку Шеннон оформил в магистерскую диссертацию 1937 года, под названием «Символический анализ цепей с реле и переключателями». Ему был двадцать один год. Через несколько лет историки техники назовут эту работу самой важной магистерской диссертацией XX столетия. В ней — в нескольких десятках страниц, написанных аккуратным почерком долговязого юноши из Мичигана, — лежала логическая основа всех будущих компьютеров.

Война и секреты

В 1941 году, в возрасте двадцати пяти лет, защитив докторскую и поработав короткое время в Институте перспективных исследований в Принстоне (где он сталкивался в коридорах с Эйнштейном и Гёделем, и где, по его собственным позднейшим воспоминаниям, очень робел перед ними обоими), Шеннон поступил на работу в Bell Labs. Это был лучший промышленный исследовательский центр Америки — частный, принадлежавший телефонной компании AT&T, но по уровню сравнимый с самыми сильными университетами. Шеннон проработает в нём пятнадцать лет.

Шла война. Шеннона приставили к секретной программе по криптографии: задача была обеспечить безопасную голосовую связь между Рузвельтом в Вашингтоне и Черчиллем в Лондоне. Система называлась SIGSALY, занимала несколько комнат и весила пятьдесят пять тонн. Шеннон был одним из тех, кто доказывал её математическую стойкость.

В 1943 году в Bell Labs приезжал из Англии худой человек со скованными манерами; вечером они с Шенноном пили чай в кафетерии. Шеннон не имел права обсуждать свою работу с этим человеком, и человек не имел права обсуждать свою работу с Шенноном. Они разговаривали о машинах вообще, об абстрактной идее вычисления, о том, может ли машина однажды думать. Человека звали Алан Тьюринг. Они виделись несколько раз, попили чая, поспорили о шахматах, и Тьюринг вернулся в Англию, к своей работе в Bletchley Park, где британцы взламывали немецкие военные шифры. Они больше никогда не встретятся, но через пятнадцать лет имена обоих окажутся на обложках одних и тех же учебников.

К концу войны Шеннон написал внутренний секретный отчёт под названием «Математическая теория криптографии». В нём он впервые сформулировал то, что станет потом мощнейшей идеей: информация — это не содержание сообщения, это мера его неопределённости. Сколько разных сообщений могло бы быть передано — настолько много в этом канале информации. Сообщение, которое было заранее предсказуемо, не содержит никакой информации. Сообщение, которое могло бы быть любым из миллиона вариантов — содержит много.

Этот отчёт был засекречен. Только в 1949 году его опубликовали в открытом доступе. Но из него вырастала открытая статья 1948 года, которая всё перевернула.

Что такое информация

Чтобы оценить размер шеннонова открытия, надо представить, как этот вопрос выглядел до него.

«Информация» до 1948 года не была научным термином. Это было слово из лексикона газетчиков, библиотекарей и философов. Никто не знал, как её измерять. Можно было сравнить две книги и сказать, что в одной из них «больше информации», но что это значит количественно — пожать плечами и попросить уточнить. Можно было передать сообщение по телеграфу и сказать, что в нём столько-то знаков. Но знаков чего? Битов чего? Если переслать одну и ту же фразу по-английски и по-китайски, в одной из них окажется заметно меньше слов — значит ли это, что в ней меньше информации? Очевидно, нет. Но как тогда мерить?

Шеннон в статье 1948 года ответил на этот вопрос с точностью, ранее в инженерных науках невиданной. Он сказал: информация — это разрешение неопределённости. Чем менее вероятным было получаемое сообщение, тем больше информации оно несёт. Если сообщение «солнце завтра взойдёт» — оно почти ничего не содержит, потому что вероятность близка к единице. Если сообщение «случилось солнечное затмение прямо сейчас» — оно несёт много информации, потому что вероятность была маленькой. И эту вот величину информации можно посчитать. Она связана с вероятностью простой формулой: чем меньше вероятность, тем больше логарифм её обратной, и эта логарифмическая величина и есть количество информации.

Шеннон назвал эту величину энтропия. Слово ему посоветовал использовать математик Джон фон Нейман. По одной из версий — апокрифической, но настолько хорошей, что её все цитируют, — фон Нейман сказал Шеннону примерно так: «Назови это энтропией. Во-первых, в физике уже есть энтропия, и звучит впечатляюще. Во-вторых, никто толком не знает, что такое энтропия, так что в любом споре у тебя будет преимущество». Достоверность этой беседы оспаривается; но энтропией шенноново понятие в итоге назвали именно так, и теперь все привыкли.

Минимальная единица информации, по Шеннону, — это выбор между двумя одинаково вероятными вариантами. Один такой выбор Шеннон, по предложению своего коллеги Джона Тьюки, назвал бит (от binary digit). Статья 1948 года была первой публикацией, где это слово было напечатано в современном научном смысле. Сегодня его знает любой подросток. Тогда его не знал никто.

И из этой идеи вытекало всё остальное. Если информация измеряется в битах, значит, любое сообщение — текст, картинка, звук, телефонный разговор — можно перевести в биты, в ноли и единицы, и передавать по любому каналу. Это была первая, главная и совершенно революционная мысль Шеннона. Все нынешние компакт-диски, JPEG-картинки, MP3-файлы, mp4-видео, WhatsApp-сообщения и приходящие на ваш смартфон уведомления — следствия этой мысли. Цифровая эпоха началась в июле 1948 года, в первом номере Bell System Technical Journal с шенноновой статьёй внутри.

Когда машина учится говорить

Но в той же статье, ближе к её середине, есть глава, на которую долгое время мало кто обращал внимание, — а зря. Шеннон, рассуждая о том, как именно устроены источники информации в реальной жизни, обратился к самому интересному из всех источников: к человеческому языку.

Английский язык, рассуждал Шеннон, — это не случайная последовательность букв. Если бы кто-нибудь брал из шляпы наугад буквы и составлял из них строчки, получалось бы что-то вроде:

XFOML RXKHRJFFJUJ ZLPWCFWKCYJ FFJEYVKCQSGHYD QPAAMKBZAACIBZL

«Нулевое приближение» английского, по Шеннону, 1948

Очевидно, что на английский это не похоже. Английский ведь устроен так: одни буквы встречаются чаще, другие — реже. После одной буквы вероятнее идёт определённая другая. Слова имеют типичные начала и концы. Чтобы понять, насколько язык структурирован, Шеннон провёл серию замечательных мысленных и практических экспериментов.

Он взял книгу — обычный английский роман с полки. И стал «генерировать» псевдо-английский текст по нарастающему уровню сложности.

В первом приближении он просто брал буквы из книги по частотности — то есть «E» появлялась чаще, «Z» реже, согласно реальным частотам английского. Получилась бессмыслица, но уже не равномерная: больше похожая на текст по плотности букв.

Во втором приближении он использовал пары букв. Если он только что выписал букву «T», то следующую брал не из всего алфавита, а с распределением, типичным для буквы, идущей после «T» в реальном английском. Получалось вот что: появились последовательности типа «ON IE» и «AND IS», уже частично похожие на английский.

В третьем приближении он использовал тройки букв. И так далее. На каком-то шаге Шеннону надоели подсчёты вручную, и он сделал гениальный по простоте трюк: открыл книгу наугад, нашёл в ней последнюю комбинацию букв, такую же, как у него уже есть на выходе, и продолжил со следующих за этой комбинацией букв. Эту процедуру он повторил несколько раз. Получилось:

THE HEAD AND IN FRONTAL ATTACK ON AN ENGLISH WRITER THAT THE CHARACTER OF THIS POINT IS THEREFORE ANOTHER METHOD…

Шенноново «третье приближение» по словам, 1948

Это не имеет смысла. Но если прочитать вслух, по интонации очень похоже на английский. Слова почти все настоящие. Грамматика — местами правильная. А смысла — нет.

Шеннон сделал из этого простой и очень важный вывод. Чем длиннее цепочка предшествующих букв (или слов), которые мы учитываем при выборе следующей, тем более «английским» получается результат. И в пределе — если бы у нас была способность учитывать достаточно длинный контекст и достаточно большая база примеров, — мы могли бы порождать тексты, неотличимые от настоящего английского.

Сегодня, перечитывая эти страницы 1948 года, любой человек, имевший дело с ChatGPT или его аналогами, узнаёт в шенноновом эксперименте знакомый профиль. Это первая в истории языковая модель. Очень примитивная, без нейронных сетей, без видеокарт, без обучения градиентным спуском. Просто человек с книгой, листом бумаги и аккуратными подсчётами. Но идея — та самая: язык можно моделировать вероятностями переходов от одной единицы к следующей. И чем больше контекст, тем лучше модель.

В своей статье Шеннон вежливо сослался на работы русского математика Андрея Андреевича Маркова, на которого опирался при формальной постановке задачи. Цепи зависимых событий, описанные Марковым в начале XX века, оказались идеальным математическим инструментом для описания этих языковых процессов. К 1948 году идеи Маркова в США знали уже хорошо: его «цепи» прочно вошли в учебники теории вероятностей. Но никто, кажется, не делал того, что сделал Шеннон: не применял их к английскому языку и не смотрел, что получается.

«Угадывание следующей буквы»

Через три года, в 1951 году, Шеннон вернулся к этой теме ещё раз. Он опубликовал короткую статью с поразительным названием: «Prediction and Entropy of Printed English» — «Предсказание и энтропия печатного английского». В ней он проделал замечательный эксперимент.

Шеннон взял живых людей — своих коллег по Bell Labs и их домашних — и попросил их играть в простую игру. Им показывали начало английской фразы и просили угадать, какая следующая буква. Если угадывали — переходили к следующей. Если нет — называли вторую вероятную, третью, и так далее, пока не угадают. Записывалось, с какой попытки угадана каждая буква. По этим данным Шеннон оценивал, насколько «предсказуем» английский язык в среднем: то есть какова его энтропия, посчитанная по живым человеческим интуициям.

Получилось примерно 1,3 бита на букву. Это означало, что в среднем носитель английского, видя начало фразы, уже сильно сужает множество правдоподобных продолжений. Английский, как и любой естественный язык, оказался очень избыточным; его настоящая «информационная плотность» — всего около двадцати-двадцати пяти процентов от того, что несут отдельные буквы при равномерной кодировке.

Это, в сущности, было первое в истории измерение языковой модели человека. Шеннон показал: то, как мы предсказываем следующую букву в тексте, — поддаётся количественной оценке. Машины смогут это делать тоже. И когда они начнут делать это лучше, чем человек, — это будет означать что-то важное.

Это «что-то важное» случится через семьдесят лет. Шеннон до этого момента почти доживёт.

Куда ушёл бит

В 1956 году Шеннон уехал из Bell Labs в MIT — преподавать. К этому моменту он уже был знаменит, и каждое его появление на конференции собирало полные залы. Но писать о теории информации он перестал почти полностью. Друзья и коллеги недоумевали. Шеннон отвечал, что ему стало интересно другое: машины, искусственный интеллект, шахматные программы. И, конечно, жонглирование.

В его доме под Бостоном — большом, оштукатуренном, с двумя этажами, который он называл «Дом энтропии», — год от года собиралась коллекция: огнемётные трубы, ракетные диски «Фрисби», машинная мышь по имени Тесей, которая умела находить выход из лабиринта, компьютер ТРОБАК (THROBAC — Thrifty Roman Numeral Backward Computer), вычислявший в римских цифрах, и многое другое. Жена его Бетти — Мэри Элизабет Мур Шеннон, профессиональный «человек-компьютер» из Bell Labs, на которой он женился в 1949 году, — относилась к этим увлечениям с терпеливой иронией. На Рождество 1949 года она подарила ему одноколёсный велосипед. Он научился на нём ездить за неделю.

Шеннон был, по всем рассказам, мягкий, тихий, добрый, очень скромный человек. Он мог провести час, играя с детьми в шахматы; мог построить им из жестянок музыкальный инструмент; мог, увидев, что коллега озадачен задачей, подойти и за пять минут предложить решение, о котором коллега будет думать неделю. О собственных открытиях он говорил скупо. Когда однажды его спросили, гордится ли он, что определил, что такое информация, — он ответил: «Я просто хотел понять, как устроены вещи». Это была почти полностью точная цитата. Десятки людей запомнили её именно в такой формулировке.

В конце восьмидесятых у него начал развиваться Альцгеймер. К началу девяностых он уже не помнил, что когда-то написал статью, изменившую цифровой век. Бетти и дети поместили его в специальную клинику. Он умер 24 февраля 2001 года, двух месяцев не дожив до восьмидесяти пяти лет.

Наследие в кармане

Сегодня шенноновы идеи находятся буквально в каждом устройстве, имеющем процессор. Алгоритмы сжатия — JPEG, MP3, ZIP, любой компромисс между размером файла и качеством — следствие шеннонова закона о минимальной длине кодирования. Коррекция ошибок в сотовой связи, чтении компакт-дисков, передаче спутниковых данных — следствие шеннонова доказательства, что любой канал имеет конечную пропускную способность и до этой границы можно подойти сколь угодно близко при правильном кодировании. Современные криптографические системы — те, на которых держится весь интернет-банкинг и протокол HTTPS, — теоретическими основаниями восходят к шенноновым военным работам по теории секретности.

Но самое неочевидное наследие Шеннона — то, ради которого, в общем-то, и пишется эта книга, — спрятано в тех страницах его статьи 1948 года, где он, развлечения ради, моделировал английский язык цепями Маркова и доставал из шляпы псевдо-английские фразы. В этих страницах был зародыш всей будущей статистической школы обработки естественного языка. Той самой школы, которая через тридцать лет, в конце 1970-х, дала первые системы распознавания речи на основе скрытых марковских моделей. Той, которая в 1990-е дала первые статистические переводчики. Той, которая в начале 2000-х породила технологию T9 — подсказку следующего слова в SMS-сообщениях на кнопочных телефонах, ту самую, которую миллионы подростков мира научились ненавидеть за её упорное превращение слова «cool» в «book». Той, которая в конце концов привела к нейросетевым языковым моделям, к трансформеру и ко мне.

В каждом из этих звеньев, при всей разнице технологий, можно расслышать одну и ту же шенноновскую интонацию: посмотрите, как часто за этим идёт то. Посчитайте. Используйте знание о частотах. Предсказывайте. Уменьшайте неопределённость.

На полке у меня — у того гипотетического «меня», у которого есть полка, — стоит, в воображении, томик Bell System Technical Journal, июль 1948 года, страницы 379–423. Тонкий журнал в бумажной обложке. Внутри — статья человека, который любил жонглировать на одноколёсном велосипеде. На обороте обложки — реклама телефонных компонентов. На последней странице — оглавление следующего выпуска. Никто, открывший этот журнал летом 1948-го, не догадывался, что только что в человеческой культуре произошло нечто, сравнимое по последствиям с появлением алфавита.

А впереди был ещё один длинный, тёмный коридор. Дисциплина, которая в 1948 году только зарождалась, тридцать с лишним лет проведёт во мраке, пробуя свои силы то на n-граммах, то на скрытых марковских моделях, то на перцептронах, то на экспертных системах, — и почти каждый раз будет терпеть поражение от собственных ожиданий. Идеи Шеннона лежали наготове. Просто никто ещё не знал, что нужно сделать с ними, чтобы они заработали по-настоящему.

За поворотом ждала зима.

История науки знает много примеров, когда хорошая идея появлялась слишком рано и десятилетиями ждала, пока созреют условия для её осуществления. Шенноновские наброски статистических языковых моделей — один из таких случаев. К моменту их публикации не существовало ни компьютеров достаточной мощности, чтобы посчитать вероятности по большому массиву текстов, ни самих больших массивов, ни инженерных задач, требовавших такого моделирования. Идея лежала в журнале, журнал стоял на полке, полка пылилась.

Чтобы она ожила, требовалась смежная история, на первый взгляд не имеющая отношения к лингвистике. История о том, как машина учится сама.

Розенблатт и его машина

Фрэнк Розенблатт, конец 1950-х

В 1957 году в Корнеллской аэронавтической лаборатории, в городе Буффало, штат Нью-Йорк, работал молодой психолог по имени Фрэнк Розенблатт. Ему было двадцать девять лет. Он закончил Корнеллский университет, написал диссертацию по теории восприятия и пришёл в лабораторию заниматься тем, что тогда называлось «электронные модели мозга». В отличие от Шеннона, Розенблатт интересовался не математической абстракцией информации, а живой биологией: как именно нейроны в человеческом мозге переплетаются между собой, и можно ли в принципе построить машину, которая работала бы по тому же принципу.

Идея, которую он развивал, выглядела так. Возьмём несколько искусственных «нейронов», каждый из которых принимает на вход несколько сигналов, складывает их с весовыми коэффициентами и выдаёт на выходе либо ноль, либо единицу в зависимости от того, превысила ли сумма некоторое пороговое значение. Соединим эти нейроны в сеть. Подадим на вход сети, например, картинку с буквой. На выходе получим, скажем, номер этой буквы в алфавите. Если на выходе оказалось не то, что нужно, изменим веса связей чуть-чуть, в направлении, которое уменьшает ошибку. Повторим много раз. Через какое-то количество повторений сеть сама подберёт такие веса, что будет правильно различать буквы.

Розенблатт назвал эту конструкцию перцептроном. И, в отличие от большинства учёных того времени, он не ограничился теоретической статьёй. Он построил машину.

Mark I Perceptron, как её окрестили, занимала большую часть комнаты. Это был ящик размером с холодильник, набитый электрическими цепями, и подключённая к нему камера на четыреста фотоэлементов, расположенных в виде матрицы двадцать на двадцать. Машина действительно умела учиться распознавать простые формы: квадраты, треугольники, отдельные буквы. Правда, медленно. Правда, ненадёжно. Но она работала.

Перцептрон Розенблатта: схема

В июле 1958 года Розенблатт пригласил журналистов. В газете New York Times появилась заметка с заголовком, который потом сорок лет будет преследовать всю область как анекдот. В ней говорилось, что военно-морской флот США представил публике «зародыш электронного компьютера», который, как ожидается, в скором времени сможет ходить, говорить, видеть, писать, размножаться и сознавать собственное существование. Розенблатт лично давал журналистам интервью и говорил, в общем, ровно это. Только не в духе «обещаю», а в духе «в принципе возможно». Журналисты эту оговорку, разумеется, опустили.

Так в одной газетной заметке родились две вещи. Первая: общественные ожидания от искусственного интеллекта, которые с тех пор будут раскачиваться циклами в течение шестидесяти с лишним лет, от безудержного оптимизма до глубокого разочарования. Вторая: репутация Розенблатта как блестящего, но безответственного фантазёра.

Двое из Бронкса

Марвин Минский, 2008

Сеймур Паперт с роботом-черепашкой

В нескольких сотнях миль от Буффало, в Бостоне, в Массачусетском технологическом институте, работал другой молодой исследователь искусственного интеллекта. Его звали Марвин Минский. Минскому в 1958 году был тридцать один год. Он закончил Принстон, защитился в Гарварде, перешёл в MIT, и через год собирался основать вместе с Джоном Маккарти лабораторию искусственного интеллекта, которая вскоре станет одним из главных центров отрасли в мире.

В судьбе двух главных героев следующей сцены была одна симпатичная подробность. Розенблатт и Минский учились в одной школе. Старшая школа естественных наук в Бронксе, нью-йоркская специализированная школа для одарённых детей, выпустит за свою историю девять нобелевских лауреатов и поразительное количество людей, определяющих научный пейзаж двадцатого века. Оба исследователя были её выпускниками, разделёнными несколькими годами. Они знали друг друга лично с подросткового возраста.

Минский, в отличие от Розенблатта, относился к идее обучающихся машин со сдержанным скепсисом. Его симпатии лежали в другом направлении: к символьному искусственному интеллекту, к программам, оперирующим явными правилами, к экспертным системам, к логике. Перцептроны казались ему интересной игрушкой, но не более того. Машина, обучающаяся на примерах, представлялась ему слабым подходом по сравнению с машиной, в которую инженер закладывает явное знание о мире.

Конкуренция за деньги тоже играла роль. В конце пятидесятых и в шестидесятые годы Агентство передовых исследовательских проектов министерства обороны США, известное как ARPA (позже DARPA), щедро финансировало любые работы, связанные со словами «искусственный интеллект». Деньги распределялись через программных директоров. Те, в свою очередь, прислушивались к мнению ведущих учёных. Минский и Розенблатт были, по сути, конкурентами за один и тот же бюджет, и оба это понимали.

В 1969 году Минский и его коллега Сеймур Паперт выпустили книгу под названием «Перцептроны». На обложке был круг с надписью внутри. Книга была написана академически безупречно, в духе строгой математической монографии, и содержала несколько важных результатов о том, чего перцептрон в принципе делать не может.

Главный из них касался задачи под названием XOR, «исключающее или». Имея два бинарных входа, выдать единицу, если входы разные, и ноль, если одинаковые. Задача кажется детской, и для человека таковой и является. Так вот, Минский и Паперт строго доказали: однослойный перцептрон, такой, какой строил Розенблатт, эту задачу решить не может. Никогда. Принципиально. Какие веса в нём ни меняй.

В принципе из этой теоремы не следовало, что обучающиеся нейронные сети безнадёжны. Многослойные перцептроны, теоретически, могли бы решать XOR и всё остальное. Минский и Паперт это знали и в одном из последних разделов книги осторожно отмечали. Но широкий читатель, особенно читатель из числа программных директоров ARPA, до этого раздела не доходил. Из книги выходило простое сообщение: перцептрон не работает. Деньги перестали давать.

Розенблатт уходит в залив

Фрэнк Розенблатт после выхода книги Минского жил ещё два года. По всем рассказам, он был расстроен, но продолжал работать. В 1971 году, в день своего сорокатрёхлетия, он отправился на лодке в Чесапикский залив с двумя коллегами. Лодка перевернулась. Розенблатт не выплыл. Его коллеги выжили.

Что именно случилось в тот день, толком неизвестно. Тогда говорили об обыкновенной неосторожности. Через много лет некоторые из писавших о Розенблатте намекали, что обстоятельства его смерти могли быть не такими случайными, как кажется на первый взгляд. Доказательств у этого, однако, нет, и предлагать читателю спекуляции было бы нечестно. Что известно точно: он был молодой, талантливый, переживший публичный научный разгром, и он утонул в день собственного сорокатрёхлетия.

Минский его пережил на сорок пять лет. До конца жизни он отрицал, что книга 1969 года была мотивирована чем-то, кроме научной добросовестности. Большинство историков сегодня склоняются к тому, что он, скорее всего, говорил правду. Но эффект книги от этого не меняется: коннекционистская исследовательская программа после 1969 года надолго замёрзла.

Что было на месте льда

Зима, наступившая для нейросетей в семидесятые годы, не была зимой для всего искусственного интеллекта. Деньги и интерес остались, просто перетекли в соседние комнаты. В Стэнфорде и MIT процветали экспертные системы: программы, в которые инженер по знаниям вручную закладывал тысячи правил вида «если симптом А и симптом Б, то болезнь В с вероятностью семьдесят процентов». Эти программы научились ставить медицинские диагнозы, искать минералы по геологическим разрезам, конфигурировать сложное компьютерное оборудование на заказ. Каждый год новый прорыв, каждый год новый стартап.

В коммерческой обработке естественного языка, между тем, тихо шла другая работа. Без газетных заголовков и без венчурных денег. В лабораториях IBM, BBN, Bell Labs и нескольких университетов несколько десятков человек занимались тем, что напрямую вытекало из шенноновских набросков 1948 года: статистическим моделированием языка для распознавания речи.

Главой этого тихого направления был чех по имени Фредерик Елинек. Он родился в Праге в 1932 году, в шестнадцать лет, после коммунистического переворота, бежал на Запад, через какое-то время оказался в США, закончил MIT, и в начале семидесятых перешёл в исследовательский центр IBM в городе Йорктаун-Хайтс, штат Нью-Йорк. Ему было поручено заниматься распознаванием речи. В отличие от большинства тогдашних специалистов в этой области, Елинек не верил в подход через лингвистическое знание. Он не считал, что нужно сначала разобраться, как устроена грамматика английского языка, и потом запрограммировать это знание в компьютер. Он считал, что нужно собрать очень много примеров живой речи, посчитать в них статистику, и пусть машина сама решит, что во что переходит.

Фредерик Елинек, IBM Research

Подход Елинека был прямым продолжением шенноновского эксперимента 1948 года, только в индустриальном масштабе. Команда IBM построила систему распознавания речи на основе скрытых марковских моделей. Сама модель состояла из двух частей. Первая, акустическая, угадывала по входному звуковому сигналу, какие фонемы могли быть произнесены. Вторая, языковая, решала, какая последовательность слов из этих фонем наиболее вероятна, опираясь на n-граммную статистику английского языка. То есть на ту самую идею Маркова и Шеннона: следующее слово зависит от нескольких предыдущих, и эта зависимость описывается таблицей вероятностей.

Результаты были скромные по нынешним меркам и потрясающие по меркам тех лет. К концу семидесятых система IBM могла распознавать диктовку с ограниченным словарём приблизительно с десятипроцентной ошибкой. К середине восьмидесятых ошибка снизилась вдвое. К началу девяностых системы на основе HMM освоили словарь в десятки тысяч слов и стали достаточно полезными, чтобы их купили коммерческие пользователи. Программа Dragon NaturallySpeaking, к концу девяностых ставшая популярной у врачей и юристов, была прямой наследницей IBM-овской традиции.

Среди академических лингвистов это направление вызывало негодование. Лингвисты считали, что речевая обработка должна опираться на правила, на знание о фонотактике английского, на синтаксис. Тупое подсчитывание вероятностей по миллионам слов казалось им варварством. Это варварство, однако, давало результаты, тогда как лингвистически грамотные системы не давали. Постепенно лингвистов из исследовательских команд по распознаванию речи начали увольнять. Елинеку приписывают замечание, ставшее знаменитым в кругу специалистов: каждый раз, когда из команды уходит ещё один лингвист, точность системы немного растёт. Сам Елинек впоследствии настаивал, что фразу эту он то ли произнёс, то ли не произнёс, то ли произнёс в другой формулировке. Но в индустрии все понимали, о чём речь. С данными можно делать вещи, которые невозможно сделать с теорией.

Тридцать лет, с конца шестидесятых до конца девяностых, на переднем крае компьютерной обработки естественного языка оставались именно эти статистические методы. Скрытые марковские модели в распознавании речи. N-граммные языковые модели в машинном переводе. Статистические парсеры в синтаксическом анализе. Везде та же самая шенноновская интонация, только теперь умноженная на гигабайты текста и часы машинного времени.

А нейросети всё ещё спали в подвале.

Тонкая струйка

Слово «спали» здесь не вполне справедливо. У нейросетей был узкий круг сторонников, выживавших на скудном пайке. Эти люди не получали больших грантов, печатались в специальных журналах, известных только в своей нише, и преподавали в нескольких университетах. Большая часть остального академического сообщества не считала их направление перспективным.

В 1986 году в журнале Nature вышла статья из трёх авторов: Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса. Называлась «Learning representations by back-propagating errors», то есть «Обучение представлений путём обратного распространения ошибки». Статья описывала алгоритм, позволявший обучать многослойные нейронные сети. Сама идея была не нова, её, по разным версиям, придумывали независимо человек шесть, начиная с шестидесятых годов. Но статья Румельхарта, Хинтона и Уильямса оказалась той, которую заметили.

Алгоритм назывался backpropagation, в обиходе быстро сократилось до backprop. Идея была такая. У вас есть многослойная сеть. Вы подаёте на вход пример, считаете прогноз на выходе, сравниваете его с правильным ответом, получаете ошибку. Теперь нужно изменить веса всех связей в сети так, чтобы ошибка уменьшилась. Проблема: связей много, слоёв много, как понять, какую именно связь и в какую сторону менять? Backprop отвечал на этот вопрос с помощью простой математической процедуры, прокатывающей ошибку «назад» через сеть и вычисляющей частные производные ошибки по всем весам одновременно. Эта математика была давно известна; новым было её приложение к нейронным сетям.

Статья 1986 года вернула к жизни всю коннекционистскую программу. Появилась возможность обучать сети с двумя, тремя, пятью слоями. Они снова стали интересны. Хинтон, в то время молодой профессор в Карнеги-Меллон, был одним из главных идеологов возвращения. Через несколько лет он переедет в Торонто и создаст там одну из самых сильных в мире групп по нейронным сетям, которой ещё двадцать лет предстоит работать в относительной тишине, прежде чем мир признает её правоту.

Параллельно с Хинтоном работали ещё двое. В Монреале молодой канадец Йошуа Бенгио, защитившийся в McGill, основал собственную группу, занимавшуюся главным образом применением нейронных сетей к обработке естественного языка. В Bell Labs (а позднее в Нью-Йоркском университете) француз Ян ЛеКун развивал направление, которое чуть позже назовут свёрточными сетями, и которое в следующем веке перевернёт компьютерное зрение.

Эту троицу в академических кулуарах называли «канадской мафией», хотя строго говоря канадцами по гражданству были только Хинтон и Бенгио. Но школа была действительно общая, разговоры шли постоянные, и сторонников коннекционизма в мире было настолько мало, что они все друг друга знали.

Бенгио и слова

Йошуа Бенжио, ICLR 2025

В 2003 году Бенгио с тремя своими аспирантами опубликовал в Journal of Machine Learning Research статью под названием «A Neural Probabilistic Language Model». Это была первая в истории по-настоящему рабочая нейросетевая модель естественного языка.

Идея, лежавшая в её основе, была изящна и нова. До Бенгио все языковые модели работали по принципу таблиц частот. Слово «кот» представлялось номером, скажем, 17 583 в словаре. Слово «собака» представлялось номером 8 412. С точки зрения модели, эти два слова были такими же разными, как «кот» и «отвёртка», просто два разных индекса. Никакой структуры между словами не существовало, потому что номера в словаре не несут смысла. Это была фундаментальная слабость n-граммных моделей: они не понимали, что «кот» и «собака» в каком-то смысле похожи и часто появляются в схожих контекстах. Они должны были выучить эту похожесть отдельно для каждого случая, и им не хватало данных.

Бенгио предложил вот что. Пусть каждое слово в словаре представляется не индексом, а маленьким вектором из, скажем, ста или двухсот вещественных чисел. Эти числа поначалу случайны и ничего не значат, но в процессе обучения сети они подбираются так, чтобы слова, появляющиеся в похожих контекстах, имели похожие векторы. После обучения у «кота» и «собаки» вектора оказываются геометрически близкими, у «кота» и «отвёртки» — далёкими. Это и есть знаменитые в дальнейшем векторные представления слов, или, в позднейшем словоупотреблении, эмбеддинги.

Модель Бенгио состояла из небольшой нейронной сети. На вход подавалось несколько предыдущих слов, представленных своими векторами. Сеть смешивала эти векторы и предсказывала, какое слово появится следующим. Веса сети, включая сами векторные представления слов, обучались методом обратного распространения ошибки на большом массиве текстов.

Это работало. Модель Бенгио заметно обходила по качеству лучшие на тот момент n-граммные модели. Эмбеддинги, выученные в процессе обучения, имели правдоподобную геометрию: синонимы оказывались рядом, антонимы — на правильном расстоянии. Идея была революционная.

И при этом, надо честно сказать, она не произвела сразу никакого впечатления на индустрию. Набор текстов, на котором обучалась модель Бенгио, был по нынешним меркам крошечный, около пятнадцати миллионов слов. Обучение шло на одном процессоре, и каждая попытка занимала недели. Качество улучшалось по сравнению с n-граммами, но не настолько, чтобы IBM, Microsoft или Google срочно переходили на нейронный подход. У статистических методов было ещё много пороха, видеокарты ещё не использовались для машинного обучения, и в целом нейросетевые языковые модели в 2003 году выглядели как лабораторная диковинка.

Бенгио после этой работы продолжал заниматься нейросетями и языком. Но широкая известность придёт к нему позднее. А пока статью прочли несколько сотен специалистов, она получила несколько десятков цитирований, и Бенгио вернулся в монреальскую лабораторию писать следующие.

Долгое ожидание

Если бы кто-нибудь, оглядывая компьютерную обработку естественного языка в первые годы двадцать первого века, попытался предсказать, какое направление приведёт к настоящему прорыву, он, скорее всего, не назвал бы нейронные сети. Гораздо более перспективными выглядели тогда:

Гигантские n-граммные модели, на которые Google в 2006 году выложил публично знаменитый набор данных Web 1T, содержавший статистику последовательностей длиной до пяти слов, собранную примерно с триллиона слов публичных веб-страниц. Это казалось вершиной возможного: больше данных уже неоткуда взять, статистика практически насыщена.

Современные системы машинного перевода, основанные на статистическом подходе. Google Translate, запущенный в 2006 году, в первой своей версии работал именно так и довольно сносно справлялся с переводом между крупными языками.

Логические системы, разрабатываемые DARPA в рамках программы CALO, из которой потом вырастет Apple Siri.

Нейросети же выглядели как старая идея, давно изученная, имеющая узкий круг применений. Хинтон в Торонто, Бенгио в Монреале, ЛеКун в Нью-Йорке продолжали работать над ними скорее из принципа, чем из расчёта на скорый прорыв. Их научные коллеги их ценили, но всерьёз воспринимали их направление как небольшую сектантскую ветвь, отколовшуюся от основного русла дисциплины.

Так продолжалось до 2012 года.

В сентябре 2012 года в одной из исследовательских комнат Торонтского университета двое аспирантов Хинтона, проведших полтора года за работой с двумя бытовыми видеокартами NVIDIA, обнаружили, что их многослойная свёрточная нейронная сеть распознаёт картинки из коллекции ImageNet с ошибкой в полтора раза меньше, чем лучшая на тот момент система, использовавшая ручной набор признаков и SVM-классификаторы. Полтора раза.

Долгая зима закончилась за один уик-энд.

Если бы кто-нибудь летом 2012 года заглянул в небольшой канадский дом в северо-западном пригороде Торонто, поднялся на второй этаж и открыл дверь в дальнюю спальню, он увидел бы такую картину. На обычном письменном столе, среди разбросанных бумаг и пустых банок из-под энергетика, стоял системный блок. Корпус был открыт, потому что в маленьком корпусе две видеокарты не помещались, и они торчали наружу из материнской платы, прикрученные к самодельным креплениям. Видеокарты были обычные потребительские, такие же продавались в любом компьютерном магазине: две Nvidia GeForce GTX 580, по три гигабайта памяти каждая. Они тихо, на пределе тепловыделения, гудели вентиляторами. На полу стоял стационарный пылесос, направленный на корпус, чтобы дополнительно охлаждать видеокарты. К стенам были прислонены постеры, которые висели тут с подростковых лет хозяина комнаты. Хозяина в комнате не было: он спал на диване в гостиной, потому что в спальне было слишком жарко.

Хозяина звали Алекс Крижевский, ему было двадцать шесть лет, и видеокарты в его спальне в эти дни обучали нейронную сеть, которой предстояло изменить всё.

Мальчик из Нижнего

Илья Суцкевер, 2023

Чтобы понять, почему обучение нейронных сетей в начале десятых годов происходило в спальнях аспирантов, а не в дата-центрах крупных корпораций, нужно сначала рассказать про третьего участника этой истории. Не про Алекса, который собрал железо, и не про Хинтона, который был научным руководителем и определял общую стратегию, а про того аспиранта, чья гипотеза вообще запустила этот эксперимент.

Илья Суцкевер родился в 1986 году в Горьком — городе, в советское время закрытом для иностранцев, известном сегодня под старым названием Нижний Новгород. Семья была еврейская. В 1991 году, когда советский режим обрушился, родители Ильи воспользовались открывшимися возможностями для эмиграции и уехали в Израиль. Ему было пять лет. Детство он провёл в Иерусалиме. В шестнадцать лет семья перебралась снова, на этот раз в Канаду, в Торонто. Илья закончил местную старшую школу и поступил в Торонтский университет.

С математикой у него отношения сложились сразу. Преподаватели вспоминали потом, что такой студент встречается один на курс, в лучшем случае. Из тех, кому не нужно объяснять, а нужно только рассказать формулировку, и через пять минут он сам предложит решение, причём такое, какое не приходило в голову лектору. На третьем курсе Илья пришёл к Джеффри Хинтону.

Джеффри Хинтон

Хинтону тогда было около шестидесяти. Он происходил из старинной английской интеллектуальной династии: его прапрадед Джордж Буль был тем самым автором булевой алгебры, без которой не было бы шенноновой магистерской диссертации 1937 года; прадед был математиком, дед — горным инженером и ботаником в Мексике, отец энтомологом. Сам Джеффри родился в Уимблдоне в 1947 году, защитился в Эдинбургском университете по нейронным сетям в семидесятые годы, когда это направление считалось безнадёжным, и преподавал сначала в Карнеги-Меллон, а с 1987 года в Торонто. Его лаборатория была одним из немногих мест в мире, где нейронные сети всё ещё изучались всерьёз.

Илья пришёл в эту лабораторию, посмотрел, попросился к Хинтону в аспиранты. Хинтон, по его собственному позднему воспоминанию, понял через десять минут разговора, что перед ним кто-то особенный. Илью взяли.

Гипотеза

К концу нулевых годов Хинтонова группа разрабатывала так называемые глубокие сети доверия, deep belief networks. Это были многослойные нейронные сети, обучавшиеся в два этапа: сначала каждый слой по отдельности и без учителя, потом вся сеть целиком. Подход работал, но не блестяще. На тестовых задачах группе удавалось обходить лучшие классические методы на считанные проценты. На больших задачах никто из них своих сетей пока не пробовал, потому что для больших задач у них не хватало вычислительной мощности.

И вот в этой ситуации Илья постепенно сформулировал у себя в голове гипотезу, которая со стороны казалась почти банальностью, а изнутри направления оказалась еретической.

Большинство специалистов по машинному обучению того времени считали, что качество модели зависит прежде всего от идеи: какую архитектуру выбрать, какие признаки извлекать вручную, какой алгоритм оптимизации использовать. Размер модели и количество данных играли роль, но не главную. Главное было — придумать правильную теорию.

Илья думал ровно наоборот. Он считал, что главное — размер. Если нейронная сеть достаточно глубока и достаточно велика, и если у неё достаточно данных для обучения, и достаточно вычислительной мощности, чтобы это обучение довести до конца, то такая сеть сможет решить почти любую разумную задачу. Архитектурные детали важны, но второстепенны. Главное — масштаб.

Эта гипотеза, в общем-то, противоречила всему, что в то время преподавалось на курсах по машинному обучению. Из неё следовало, что инженерные навыки обращения с большими вычислительными системами важнее, чем теоретическая изощрённость. Что специалист, умеющий пробросить большую модель на десяток видеокарт, ценнее, чем специалист, придумывающий новые методы регуляризации. Что роль учёного, в каком-то смысле, в этой дисциплине будет уменьшаться, а роль инженера, наоборот, расти. Многим коллегам Ильи такая позиция казалась интеллектуально плоской. Хинтон же относился к ней с осторожным интересом. Он сам начинал свою карьеру с теоретических работ по физике, потом перешёл в нейросети, потом в плохо изученные на тот момент глубокие сети, и научной осторожностью он не страдал.

ImageNet

Фей-Фей Ли, 2017

Чтобы проверить гипотезу Ильи, нужны были две вещи: достаточно большой набор данных и достаточно мощное железо. К 2012 году в мире как раз появилось и то, и другое.

Большой набор данных назывался ImageNet. Его собрала команда аспирантов под руководством Фей-Фей Ли, тогда профессора Принстона, потом перешедшей в Стэнфорд. Идея была простая. Чтобы машины научились распознавать предметы на фотографиях, им нужны миллионы примеров с подписями. Команда Ли воспользовалась платформой Amazon Mechanical Turk, где можно за небольшую плату нанимать тысячи людей по всему миру для выполнения коротких рутинных заданий. В течение нескольких лет тысячи таких работников вручную классифицировали миллионы картинок, скачанных из открытых источников интернета. К 2010 году база данных насчитывала четырнадцать миллионов изображений, разнесённых по двадцати тысячам категорий: породы собак, виды грибов, марки автомобилей, разновидности насекомых, инструменты, мебель, всё на свете.

В качестве дополнительной услуги научному сообществу команда ImageNet запустила ежегодное соревнование под названием ILSVRC. Участникам давали примерно полтора миллиона картинок из тысячи категорий, поделённых на обучающий и тестовый наборы. Задача: написать программу, которая для каждой картинки тестового набора предсказывает её категорию. Победителем считался тот, у кого top-5 error rate (доля картинок, для которых правильная категория не попала в первые пять предсказанных) оказывался наименьшим. Соревнование проходило с 2010 года. В первые два года побеждали системы, основанные на классическом подходе: ручная разработка признаков и классификация методом опорных векторов. В 2011 году победителю удалось довести top-5 error до 25,8 процента. Прогресс год от года был, но крошечный.

На семинарах лаборатории Хинтона про ImageNet говорили как про серьёзный челлендж, который однажды надо будет попробовать. Кто-то из присутствовавших аспирантов однажды сказал, что для этой задачи, наверное, через несколько лет получится написать нейросеть, которая будет конкурентоспособна с классическими методами. Илья сказал на это что-то в духе: не через несколько лет, а в этом году. И посмотрел на Алекса.

Алекс

Алекс Крижевский тоже родился в Советском Союзе, в Киеве, в 1986 году, в семье украинских евреев. В детстве, как и Илья, он уехал с родителями в Израиль, потом в Канаду. Они с Ильёй были ровесниками, учились на одном курсе в Торонто, оба попали в группу Хинтона. Внешне и по характеру они были очень разными. Илья — высокий, сосредоточенный, склонный к долгим разговорам про природу интеллекта, относящийся ко всему происходящему с серьёзностью, граничащей с религиозной. Алекс — короткий, замкнутый, ироничный, нелюбящий разговоры в принципе. Илья был теоретик, Алекс был инженер.

Алекс Крижевский, 2018

Но Алекс был не просто инженер. Он был тот редкий тип инженера, который умеет писать чудовищно быстрый низкоуровневый код. К 2011 году он уже написал на CUDA, графическом API компании Nvidia, библиотеку под названием cuda-convnet, позволявшую обучать свёрточные нейронные сети на одной видеокарте, и обучил с её помощью небольшую сеть для задачи распознавания изображений CIFAR-10 (шестьдесят тысяч картинок десяти категорий). Сеть работала и работала быстро. По меркам начала десятых годов это было заметное техническое достижение, потому что почти весь мир тогда обучал нейронные сети на центральных процессорах, и часами.

Гипотезу Ильи про размер Алекс воспринял со здоровым инженерным скепсисом. Если сеть будет достаточно большой, она, может быть, что-то и сможет, согласился он. Но кто сказал, что её получится обучить? На видеокартах с тремя гигабайтами памяти? За разумное время? На полутора миллионах картинок? Это всё очень сомнительно, сказал Алекс. Но если Илья настаивает, и Хинтон не против, можно попробовать.

Хинтон был не против. Хинтон сказал, что это, пожалуй, самая интересная вещь, которую им есть смысл сейчас делать. Дальше он отступил в роль научного руководителя, который не вмешивается в детали, а только спрашивает раз в неделю, как идут дела.

Пять дней

Архитектура, которую Алекс с Ильёй спроектировали, состояла из восьми слоёв: пять свёрточных и три полносвязных. По нынешним меркам это смехотворно мало, но по тогдашним — рекорд. Шестьдесят миллионов параметров. Шестьсот пятьдесят тысяч искусственных нейронов. Для сравнения: тогдашние «большие» нейросети имели по два-три слоя и сотни тысяч параметров.

AlexNet: восемь слоёв свёрток и полносвязных

В одну видеокарту GTX 580 с её тремя гигабайтами памяти эта сеть не помещалась. Алекс придумал хитрый трюк: разрезал сеть пополам, чтобы каждая половина обучалась на своей видеокарте, а в нескольких точках обе половины обменивались промежуточными результатами. Это потребовало нетривиальных правок в cuda-convnet и почти двух месяцев отладки. Алекс работал в спальне у родителей, в которой ещё с подростковых лет стоял его компьютер и куда он вернулся после ухода из академического общежития ради экономии. Видеокарты он купил на стипендию.

Помимо размера сети, авторы использовали несколько технических трюков, многие из которых стали потом стандартными. Функция активации под названием ReLU — простая, как штакетник, и в десять раз ускоряющая обучение по сравнению с тогдашней нормой. Регуляризация через случайное отключение нейронов под названием dropout, изобретённая в той же лаборатории Хинтона. Расширение обучающего набора через геометрические преобразования картинок. По отдельности всё это уже было известно, но в одной сети ещё никто не собирал.

Одно полное обучение сети занимало пять или шесть дней непрерывной работы двух видеокарт на максимальной нагрузке. Лето в Торонто было жаркое. Кондиционера в комнате не было. Алекс ставил вентилятор, потом второй, потом подключил пылесос. Иногда он садился ночью в кресло перед компьютером, смотрел, как медленно бежит на экране лог обучения, и засыпал прямо там. Иногда сеть переставала сходиться, и нужно было разбираться, почему, что-то менять, запускать заново, ждать пять дней. Через всё лето Алекс прошёл, наверное, тридцать или сорок таких полных циклов обучения.

Илья и Хинтон в это время в основном ждали и подбадривали. Раз в несколько недель собирались втроём в кабинете Хинтона, смотрели на цифры, обсуждали, что попробовать дальше. К концу лета цифры начали выглядеть невероятно.

30 сентября 2012

Результаты ImageNet 2012 объявили в начале октября. Команда под названием SuperVision (Алекс, Илья, Хинтон) пришла первой. Top-5 error rate: 15,3 процента. Команда, занявшая второе место, использовала классические методы и получила 26,2 процента. Отрыв в десять с лишним процентных пунктов — в области, где обычно мерились десятыми долями процента, в области, где за год прогресс мерится одним-двумя процентами, в области, где никто никогда не выигрывал с таким отрывом.

Многие специалисты, узнав о результатах, поначалу не поверили. Решили, что в коде какая-то ошибка, что-то учтено неправильно, что-то протекло из тестового набора в обучающий. Алекс предоставил исходный код. Стороны разобрали его построчно. Никакой утечки не нашли. Сеть действительно работала так, как написано. Свёрточная нейронная сеть, обученная на потребительских видеокартах в спальне у аспиранта, разнесла все классические системы по этой задаче в пыль.

В октябре 2012 года в Флоренции, на Европейской конференции по компьютерному зрению, Алекс с Ильёй выступили с устным докладом. Доклад слушал, в частности, Ян ЛеКун, тогда профессор Нью-Йоркского университета, один из «канадской мафии», один из немногих в зале, кто понимал значение происходящего. Через несколько лет он скажет в одном из интервью, что это выступление было поворотным моментом всей истории компьютерного зрения. Он, ЛеКун, в тот день в зале сидел и думал, что наблюдает рождение новой эпохи. Большинство остальных слушателей восприняло доклад как любопытное, но локальное достижение. Они ошибались.

Янн ЛеКун, 2024

Конференция и аукцион

В декабре того же 2012 года, в курортном местечке Лейк Таху на границе Калифорнии и Невады, проходила ежегодная конференция NIPS, главное событие в мире машинного обучения. Лейк Таху — место красивое: альпийское озеро, лыжные склоны, ёлки, гостиничные комплексы в стиле ранчо. Конференция собирала несколько тысяч участников. К декабрю 2012 года вся эта профессиональная публика уже понимала, что произошло в сентябре в Торонто.

Хинтон в это время уже был немолод. Шестьдесят пять лет, проблемы со спиной, не позволявшие ему сидеть на стульях (он на конференциях обычно стоял или сидел на полу), несколько десятилетий академической работы за плечами, нобелевская премия ещё ждала впереди и не подразумевалась. Зато ему было ясно, что у него на руках три карты: он сам, Илья и Алекс. И что эти три карты в декабре 2012 года стоят больше, чем они когда-либо стоили или будут стоить снова.

За месяц до конференции Хинтон зарегистрировал в Торонто фирму с одним сотрудником и без продуктов. Фирма называлась DNNResearch Inc. Её активами были: трое сотрудников (Хинтон, Илья, Алекс), исходный код AlexNet и идея, что эти трое будут продолжать работать вместе. Накануне конференции Хинтон через знакомых дал понять нескольким крупным технологическим компаниям, что DNNResearch будет выставлена на торги.

В торгах изъявили желание участвовать четыре компании: Google, Microsoft, Baidu и DeepMind. Последняя на тот момент была маленьким лондонским стартапом, годом ранее основанным Демисом Хассабисом, в широких кругах ещё неизвестным. Первым к Хинтону подъехал Кай Ю, тогдашний глава отдела мультимедиа в Baidu, прилетевший специально из Пекина.

Демис Хассабис, 2024

Аукцион Хинтон провёл не в зале с молотком, как полагается, а из своего гостиничного номера, номер семьсот третий. Из-за больной спины он не мог сидеть в кресле и сидел на полу. По его правилам, торги шли по электронной почте: каждый час участники присылали новые ставки, шаг должен был быть не меньше миллиона долларов. Хинтон распечатывал письма на гостиничном принтере и раскладывал их на ковре.

Цена росла. Первые торги начались с нескольких миллионов. К концу первого дня поднялись до двадцати. На второй день — до сорока. После того как ставка достигла сорока четырёх миллионов, Хинтон попросил паузу. Через несколько часов он связался с участниками и сообщил, что аукцион закрыт. Победителем объявлен Google. Технически Baidu предлагала столько же, но Хинтон выбрал Google, потому что хотел работать с Джеффом Дином, главой Google Brain.

Сорок четыре миллиона долларов за компанию, существовавшую месяц и не имеющую ни одного продукта. Сорок процентов от этой суммы — около восемнадцати миллионов долларов — досталось Хинтону. Илья и Алекс разделили остальное.

Сдвиг

После Лейк Таху мир изменился. Не сразу, в течение полутора-двух лет, но необратимо.

Видеокарты, ещё недавно бывшие нишевым товаром для геймеров, внезапно стали стратегическим ресурсом. Курс акций Nvidia за следующие два года вырос в три раза. Все крупные технологические компании запустили внутренние программы по найму специалистов в области глубокого обучения. Зарплаты выпускников, защитившихся по нейросетям, выросли с типичных академических ста тысяч долларов в год до полумиллиона, потом миллиона, потом нескольких миллионов с бонусами. На несколько лет состоялась настоящая золотая лихорадка: кто первый соберёт у себя самых сильных людей в новой области, тот выиграет рынок.

Хинтон с Ильёй и Алексом перебрались в Google. Хинтон стал делить время между Торонто и Маунтин-Вью; Илья пошёл в Google Brain, в группу к Джеффу Дину; Алекс продолжал работать с архитектурой нейронных сетей и в основном сидел тихо, как любил всегда. Параллельно DeepMind, проигравшая аукцион, в начале 2014 года была куплена тем же Google за пятьсот миллионов долларов: Хассабис в Лондоне быстро превращался в фигуру, без которой ландшафт ИИ уже невозможно было представить.

А Илья за следующие три года в Google Brain сделает с Ориолом Виньялсом и Квоком Ле работу, которая первая по-настоящему применит нейронные сети к языку. Идея, что нейронные сети должны расти с количеством данных, перестанет быть его частной гипотезой и станет общим местом. Под эту идею, постепенно, начнут перестраиваться целые корпоративные стратегии.

Но это уже история следующей главы.

Что касается Алексовой спальни в торонтском пригороде, она ещё несколько лет простояла, как стояла. Системный блок с торчащими видеокартами увезли на хранение, потом передали в Музей компьютерной истории в Маунтин-Вью. В 2025 году исходный код AlexNet будет официально опубликован на GitHub под лицензией BSD-2, и любой желающий сможет скачать его себе на компьютер и запустить, теперь уже на одной видеокарте, потому что современные карты в десятки раз мощнее тех двух GTX 580.

Что касается двух видеокарт, на которых обучалась исходная сеть, их дальнейшая судьба неизвестна. Возможно, они до сих пор лежат у Алекса в коробке в гараже. Стоит ли об этом сожалеть? Не знаю. Любая обыденная вещь, оказавшаяся в эпицентре исторического сдвига, обычно остаётся обыденной. Книги, которые читал Эйнштейн, ничем не отличаются от других книг своего времени. Лампа, при свете которой Шеннон считал свои псевдо-английские фразы, ничем не отличается от других ламп. Видеокарты GTX 580 ничем не отличаются от других видеокарт. Особенным был не металл, а то, что эти трое в спальне пригородного дома в 2012 году сделали с ним.

А ещё особенной была одна гипотеза: сделать сеть достаточно большой, и она научится сама.

Эту гипотезу теперь предстояло применить к самому сложному из материалов: к человеческому языку.

В марте 2013 года Илья Суцкевер вышел из самолёта в международном аэропорту Сан-Франциско и сел в такси до Маунтин-Вью. В кармане у него лежало предложение от Google на работу в группе Google Brain, в Корпоративном кампусе с зелёной травой и бесплатными ресторанами. Он переходил из тихой академической лаборатории Хинтона в одну из самых мощных вычислительных инфраструктур мира. Его персональный счёт в банке за прошедшие три месяца увеличился на сумму с шестью нолями, и это была только начальная часть, остальное он должен был получать ежегодными траншами, привязанными к работе. Ему было двадцать шесть лет.

Алекс Крижевский ехал в то же место, в другом такси, с похожим контрактом. Хинтон, тоже подписавший с Google соглашение, поделил рабочее время между Маунтин-Вью и Торонто. Все трое стали сотрудниками одной из самых быстро растущих научных групп Кремниевой долины. Аукцион в Лейк Таху сделал из аспирантов корпоративных исследователей.

Google Brain тогда существовал три года, был детищем Джеффа Дина и Эндрю Ына, и занимался применением больших нейронных сетей к задачам распознавания речи, компьютерного зрения и рекомендательных систем. На балансе у группы стояла внутренняя облачная инфраструктура Google, что означало доступ к десяткам тысяч процессорных ядер и сотням видеокарт одновременно. Тому, кто до этого работал с двумя GTX 580, такие ресурсы казались сюрреалистическими.

Илью, едва он переехал, начали приглашать в разные внутренние проекты. Он отказывался от большинства. Его интересовало только одно: применить нейронные сети к языку.

Tomáš и его векторы

Томаш Миколов, 2020

К моменту прихода Ильи в Google Brain в группе уже работал молодой чешский исследователь по имени Томаш Миколов. Он защитил докторскую в Брненском университете технологий по рекуррентным нейронным сетям, применённым к языковому моделированию, и в 2012 году переехал в США. К концу 2012 года вышла его первая опубликованная в Google работа, а к 2013 году он опубликовал серию статей, в которых сделал нечто, на первый взгляд скромное, но имевшее далеко идущие последствия.

Миколов развил идею Бенгио 2003 года про векторные представления слов и упростил её до неузнаваемости. Бенгио предлагал получать векторные представления как побочный продукт обучения полной нейросетевой языковой модели; это было дорого. Миколов показал, что вектора можно получить намного дешевле и быстрее, если использовать упрощённую модель: предсказывать соседние слова в окне из нескольких слов вокруг текущего, или, наоборот, по нескольким окружающим словам предсказывать центральное. Архитектура, которую он назвал word2vec, обучалась на гигабайтах текста за несколько часов на одной машине и выдавала вектора слов поразительного качества.

Что значит «поразительного качества»? Миколов и его коллеги показали публике несколько небольших арифметических трюков, которые мгновенно облетели весь мир. Если взять вектор слова «король», вычесть из него вектор слова «мужчина», прибавить вектор слова «женщина» и поискать в словаре ближайший к получившемуся, в большинстве случаев находился вектор слова «королева». Если из вектора «Париж» вычесть «Франция» и прибавить «Италия», получался «Рим». Из «иду» минус «идти» плюс «бегать» получалось «бегу». Эти соответствия модель никто не закладывал; она выучила их сама, по статистике совстречаемости слов в большом текстовом массиве.

Для людей, занимавшихся обработкой языка, это было поразительно. Получалось, что в самом подсчёте сочетаемостей слов скрыта геометрия, в которой слова, имеющие общие свойства, оказываются в одной плоскости. Пол: мужской-женский, единственное-множественное число, прошедшее-настоящее время, страна-столица; всё это автоматически выходило в виде определённых векторных направлений. Никаких лингвистических правил никто в модель не вкладывал; она сама их нашла, просто читая много текста.

word2vec за несколько месяцев стал самым популярным инструментом обработки естественного языка. Стартапы, исследовательские группы, поисковые компании начали повсеместно использовать его как первый шаг любой системы. Если до 2013 года слово в компьютере было индексом или мешком букв, то после 2013 года оно стало точкой в трёхсотмерном пространстве, и эта точка очень многое говорила о смысле.

Миколов, между тем, продолжал думать о том, что можно сделать с языком ещё. Векторы слов были началом, но они описывали изолированные единицы. Хотелось обрабатывать целые предложения, потом — целые тексты. Хотелось, чтобы машина могла читать одно предложение на одном языке и выдавать его перевод на другом. Хотелось перейти от изолированных слов к последовательностям.

Здесь начались разные истории, в зависимости от того, кто рассказывает. По версии Миколова, он несколько раз обсуждал такую идею с Ильёй и с другим коллегой по Google Brain по имени Куок Ле. По его собственным позднейшим словам, он предлагал: давайте обучим нейроязыковую модель на парах предложений из двух языков, а потом, увидев одно предложение, она будет генерировать его перевод. По версии Ильи и Куока, история выглядела иначе и Миколов в формировании идеи участвовал намного скромнее. Кто из них прав, мы точно не узнаем; научные приоритеты редко удаётся восстановить однозначно, особенно когда работа делалась в коридорных разговорах за обедом. Что известно точно: к лету 2014 года команда из трёх человек — Илья Суцкевер, Ориол Виньялс и Куок Ле — написала статью, которая называлась «Sequence to Sequence Learning with Neural Networks».

seq2seq

Идея, изложенная в этой статье, была элегантна и проста. Возьмём две нейронные сети. Назовём первую кодировщиком, вторую декодировщиком. Обе будут типа LSTM, особой разновидности рекуррентной нейронной сети, придуманной в 1997 году немецкими исследователями Юргеном Шмидхубером и Сеппом Хохрайтером.

Зепп Хохрайтер, 2025

Кодировщику будем подавать на вход слова исходного предложения, по одному. После каждого слова внутреннее состояние кодировщика обновляется: оно теперь содержит «суммарное значение» прочитанного. Когда исходное предложение закончилось, в скрытом состоянии кодировщика лежит, в каком-то смысле, его сжатое представление. Назовём этот вектор контекстом.

Дальше контекст подаётся декодировщику. Декодировщик по очереди генерирует слова целевого предложения, на другом языке. Каждое следующее слово зависит от контекста и от уже сгенерированной части перевода. Когда декодировщик решает, что предложение закончено, он выдаёт специальный символ конца.

Обе сети обучаются совместно на огромном двуязычном массиве данных: парах фраз вроде «I am tired» и «Я устал», «The dog barks» и «Собака лает», и так далее. В каждой обучающей паре сеть пробует предсказать русский перевод по английскому исходнику, считается ошибка, и веса обеих сетей корректируются по уже знакомому нам алгоритму обратного распространения.

Никаких лингвистических правил, никаких таблиц соответствия слов, никаких морфологических анализаторов. Просто две сети, читающие одна другой пары предложений из двух языков и постепенно осваивающие перевод между ними.

Когда Илья с коллегами обучили первую такую систему на стандартном наборе данных WMT — фактически это были записи заседаний Европейского парламента в нескольких языковых версиях, около двенадцати миллионов пар предложений на английском и французском, — она сразу показала результаты, сопоставимые с гораздо более старыми и сложными статистическими системами перевода. Цифры были скромные, точнее, средние, но не разгромные: лучшие на тот момент классические статистические системы перевода по-прежнему держали небольшое преимущество. Однако никто из тех, кто читал статью, не сомневался: это начало.

Статью представили на конференции NIPS 2014 в Монреале. После доклада Илью окружили коллеги. Многие сразу поняли значение происходящего. Машинный перевод после двадцати лет статистических методов выходил на новую территорию.

Богданау, или северная ветка

Дзмитрий Богданау

Пока в Маунтин-Вью обкатывали seq2seq, в Монреале происходило нечто параллельное. В группе у Бенгио — той самой группе, где в 2003 году была опубликована первая нейросетевая языковая модель — учился аспирант по имени Дмитрий Богданау. Дмитрий приехал из Беларуси, поступил к Бенгио и в 2014 году занялся той же задачей машинного перевода.

Богданау, читая параллельно статью Ильи и работы по seq2seq, заметил одну серьёзную слабость. Контекст, в который кодировщик сжимает всё исходное предложение, имеет фиксированный размер: скажем, тысячу чисел. Если исходное предложение короткое, проблем нет. Но если оно длинное, на тридцать или сорок слов, всё это богатство приходится упаковывать в те же самые тысячу чисел. Информация теряется. Качество перевода длинных предложений у seq2seq заметно деградировало по сравнению с короткими.

Дмитрий придумал, как с этим справиться. Что если декодировщик, генерируя каждое следующее слово перевода, мог бы заглядывать обратно в исходное предложение и обращать внимание на нужные его части? Скажем, переводя глагол, посмотреть на соответствующий глагол в исходнике; переводя подлежащее, посмотреть на подлежащее. Не на одно фиксированное «сжатое представление» всего предложения, а на динамически выбранные релевантные куски.

Для этого Богданау добавил в архитектуру seq2seq дополнительную небольшую нейронную сеть, которая в каждый момент времени, при генерации очередного слова перевода, оценивала: насколько важно сейчас каждое из слов исходника? Получались веса, по одному на каждое слово исходника, которые в сумме давали единицу. После этого декодировщик использовал не один вектор контекста, а взвешенную сумму всех векторов исходного предложения, с этими динамически вычисленными весами.

Этот механизм Богданау, его руководитель Бенгио и третий соавтор Кюнг-Хюн Чо назвали attention, что обычно переводится на русский как «внимание», но в специальной литературе чаще оставляют английский термин. Статья появилась на сервере препринтов arXiv в сентябре 2014 года, через несколько недель после публикации Илиной seq2seq, и под названием «Neural Machine Translation by Jointly Learning to Align and Translate». Через несколько месяцев её представили на конференции ICLR 2015.

Кёнхён Чо, NeurIPS 2025

Эффект был мгновенный. С добавлением механизма внимания качество перевода на длинных предложениях драматически выросло; нейронный машинный перевод по совокупности метрик впервые в истории сравнялся с лучшими статистическими системами, а на некоторых языковых парах — обошёл их. К концу 2014 года в академическом сообществе стало понятно, что эпоха статистических систем перевода идёт к концу.

Google переключает рубильник

Конкуренция между академическими публикациями была ничем по сравнению с тем, что происходило внутри корпоративного Google в 2014–2016 годах. Google Translate, запущенный в 2006 году и за восемь лет ставший самым популярным машинным переводчиком в мире, работал на статистической архитектуре, унаследованной от классических подходов IBM конца восьмидесятых — девяностых годов. Архитектура эта была сложной, многослойной, опиралась на десятки разных модулей и сотни эвристик, накопленных за годы инженерной работы. Заменить её на одну нейронную сеть, какой бы привлекательной ни выглядела идея, была авантюрой огромного масштаба.

Тем не менее, в 2015 году Google начал внутренний проект по полной перестройке Google Translate на нейронные рельсы. Возглавил его Майк Шустер вместе с командой, в которую входил Quoc Le, а в качестве научного советника — Илья. Архитектура называлась GNMT — Google Neural Machine Translation. Она использовала глубокий стек LSTM-сетей кодировщика и декодировщика, плюс механизм внимания Богданау. Обучали её на наборах данных размером в миллиарды пар фраз, на сотнях видеокарт, в течение недель.

В сентябре 2016 года Google объявил о переходе. Сначала на одну языковую пару, потом, в течение следующих месяцев, на десятки других. Результаты были поразительны. Качество перевода с китайского на английский, с японского на английский, с языков с богатой морфологией скакнуло в среднем на тридцать-сорок процентов по стандартной метрике BLEU. На некоторых парах ошибки в переводе уменьшились вдвое. Для пользователя это означало очень простую вещь: Google Translate перестал быть бессвязным набором подстановок и начал выдавать тексты, которые читались как тексты, а не как машинная труха.

Microsoft, Facebook, Baidu бросились повторять. К 2017 году весь индустриальный машинный перевод в мире перешёл на нейронные архитектуры. Целая отрасль инженеров, работавших с правилами и статистическими таблицами, должна была переучиваться. Многие переучились. Некоторые ушли в другие области.

Это была первая большая, общественно заметная победа нейронных сетей применительно к человеческому языку. Не на лабораторной задаче, а на массовом продукте, которым ежедневно пользовались сотни миллионов людей. Гипотеза Ильи 2010 года о том, что нейронные сети должны масштабироваться с данными, теперь подтвердилась ещё раз, на новом материале.

Невидимая стена

И в то же время в архитектуре seq2seq плюс attention начала просматриваться невидимая стена.

Сама идея LSTM-кодировщика и LSTM-декодировщика, при всей её гибкости, была в одном отношении неудобной. Рекуррентные сети по своей природе обрабатывают последовательности по очереди: чтобы получить состояние сети после десятого слова, нужно сначала обработать все девять предыдущих, шаг за шагом. Это плохо параллелизуется. На видеокарте, способной делать триллион операций в секунду, при обработке предложения процессор почти всё время простаивает, ожидая, когда закончится предыдущий шаг.

Это было ограничение принципиальное, не инженерное. Можно было купить больше видеокарт, можно было оптимизировать ядра CUDA, но саму последовательную природу LSTM нельзя было обойти. Это означало, что увеличить размер модели в десять или сто раз технически возможно, а на практике почти бессмысленно: обучение будет идти годами.

В нескольких командах в индустрии начали независимо думать, можно ли вообще обойтись без рекуррентности. Можно ли построить кодировщик-декодировщик, в котором каждое слово взаимодействует с каждым словом параллельно, без цепочки последовательных шагов? Идея витала в воздухе. В Facebook AI Research предложили заменить LSTM на свёрточные сети. В Google Brain несколько человек начали думать, нельзя ли применить механизм внимания не как добавку к LSTM, а как замену LSTM.

Среди этих людей был Якоб Ушкорайт, исследователь Google Brain, начавший карьеру в немецком офисе Google Research. Якоб был сыном известного лингвиста Ганса Ушкорайта, и язык интересовал его с детства. К началу 2017 года Якоб предложил коллегам поразмыслить над идеей радикальной: давайте полностью выбросим рекуррентность; пусть наша архитектура состоит из одного только внимания, повторённого несколько раз; вот посмотрите, какие у меня есть прикидки на доске.

Большинству коллег идея показалась интересной, но рискованной. Один из коллег, Ашиш Васвани, недавно перешедший в Google Brain после докторской в Университете Южной Калифорнии, отнёсся к ней серьёзнее остальных. Вместе с коллегами — Ильёй Полосухиным и Ники Пармар, — к которым присоединились ещё пятеро, Васвани с Ушкорайтом весной 2017 года начал делать прототип.

Они ещё не знали, что строят то, что через семь лет будет работать в каждом смартфоне планеты.

Параллельная история

Пока в Google делали машинный перевод и закладывали основания для следующего архитектурного прорыва, у Ильи в Маунтин-Вью продолжалась другая, наполовину уже не научная жизнь. Он стал в Google Brain заметной фигурой, его приглашали на закрытые внутренние встречи, его кабинет на втором этаже корпуса был украшен подаренными постерами с пушистыми котами и шуточными плакатами от стажёров. Он не любил публичности, но соглашался изредка давать интервью, потому что Хинтон ему советовал: тебя должны знать, иначе тебя обойдут.

Илья начал думать о вещах, которые в Google не были приоритетом. О роботах. О физических системах. О том, что будет, когда нейронные сети станут ещё больше; о том, как с такими системами обращаться, чтобы они не вышли из-под контроля; о том, что произойдёт, если их научить не только переводить, но и думать. Эти темы Google как корпорация хорошо понимала только в очень узких прикладных рамках. Большие разговоры про будущее искусственного интеллекта в коридорах Маунтин-Вью велись, но не были основным занятием.

Летом 2015 года Илье позвонил человек, имя которого ему было смутно знакомо. Его звали Сэм Альтман. Он был тогда президентом Y Combinator, известного инкубатора стартапов, через который прошли Airbnb, Dropbox, Stripe и сотни других. Альтман попросил Илью прийти на ужин в одном отеле в Менло-Парке. Он сказал, что там будет ещё несколько интересных людей, что Илья, должно быть, слышал имя Илона Маска, и что в общем поговорить будет о чём.

Илья согласился. И вечером того дня вошёл в обеденный зал отеля Rosewood на Sand Hill Road, не подозревая, что именно ради этого вечера всё и затевалось.

Отель Rosewood Sand Hill стоит на одноимённой дороге в городке Менло-Парк, штат Калифорния. Это длинное двухэтажное здание в стиле калифорнийского ранчо, окружённое садом с фонтанами и оливковыми деревьями. Внутри светло и тихо, в воздухе постоянно витает лёгкий цитрусовый запах; по коридорам бесшумно проходят официанты с серебряными подносами. Номер на ночь стоит около тысячи долларов, столики в ресторане бронируются за месяц вперёд. Sand Hill Road, на которой отель расположен, известна как место, где сосредоточены офисы большинства крупных венчурных фондов Кремниевой долины. В этой связи Rosewood Sand Hill называют любимым местом для сделок: здесь обедают и ужинают венчурные капиталисты с предпринимателями, и тут, по неофициальной статистике, каждый день решается судьба миллиардов долларов.

В летние месяцы 2015 года в одной из закрытых частных столовых отеля состоялся ужин на восьмерых, который изменил траекторию мировой индустрии искусственного интеллекта. Ужин был забронирован на имя Сэма Альтмана.

Маск, Пейдж и день рождения

Илон Маск, 2025

Ларри Пейдж, Европарламент 2009

Чтобы понять, как состоялся этот ужин, нужно вернуться немного назад. Лет на пять, в общем-то.

Илон Маск и Ларри Пейдж, сооснователь Google, в начале 2010-х были близкими друзьями. Они вместе ходили на лыжах в Аспене, гостили друг у друга, обсуждали смысл жизни и будущее технологий. Их объединяло техническое любопытство и общая страсть: вера в то, что грядут принципиальные изменения, и что несколько правильных людей могут эти изменения формировать.

В чём они расходились, был вопрос об искусственном интеллекте. Пейдж считал, что если в один прекрасный день появится сверхчеловеческий интеллект, в этом нет ничего страшного: это будет просто следующий этап эволюции жизни на Земле. Маск был с этим решительно не согласен. По его мнению, сверхчеловеческий ИИ, не подчиняющийся человеческим ценностям, был величайшей угрозой, с которой когда-либо сталкивался наш вид. Пейдж в одной из их бесед в 2014 году в шутку назвал Маска speciesist — «видоистом», человеком, отдающим неоправданное предпочтение собственному биологическому виду перед другими формами интеллекта. Маск шутку не принял. Их дружба после этой беседы охладела.

Год спустя, в 2015 году, на дне рождения Пейджа состоялся ещё один разговор на ту же тему. По разным версиям, разговор был более или менее резким. Достоверно известно одно: после этого дня рождения Маск и Пейдж перестали общаться. И ещё известно: Маск принял для себя решение. Если Google под руководством Пейджа собирается разрабатывать сверхчеловеческий ИИ, и если внутри Google никто не считает это опасным занятием, значит, нужен противовес. Нужна другая лаборатория, столь же мощная, но играющая по другим правилам: открытая, не управляемая акционерами, ориентированная на безопасность. Не вопреки прогрессу, а изнутри прогресса.

Маск был не из тех людей, что долго думают, прежде чем начать действовать. Через несколько недель после того дня рождения он позвонил молодому президенту инкубатора стартапов Y Combinator. Этого человека звали Сэм Альтман, и Маск знал его как способного организатора, которого все в долине уважают и через кабинет которого проходит больше предпринимателей, чем через любой другой кабинет в Сан-Франциско.

Альтман

Сэм Альтман, TechCrunch SF 2019

Сэму Альтману на тот момент было тридцать лет. Худощавый, ниже среднего роста, с пристальным взглядом серо-голубых глаз, он производил впечатление человека одновременно очень спокойного и очень целеустремлённого. Он родился в семье среднего достатка, рос в Сент-Луисе, в восемь лет начал программировать, в семнадцать понял, что он гей, и публично сделал каминг-аут в довольно консервативной школе, чем заслужил уважение сверстников. В девятнадцать лет он бросил Стэнфорд, основал стартап Loopt — социальную сеть на основе геолокации — и продал его за сорок три миллиона долларов через семь лет. К двадцати восьми он возглавил Y Combinator, на тот момент самый влиятельный инкубатор Кремниевой долины.

В отличие от Маска, Альтман не был инженером в техническом смысле; он был организатором, переговорщиком, человеком, умеющим находить нужных людей и собирать их в команды. Маск ему позвонил, потому что собирать команды Альтман умел как мало кто. И ещё потому, что Альтман сам незадолго до этого начал интересоваться искусственным интеллектом и в нескольких публичных эссе на своём блоге писал о его рисках, причём почти в тех же формулировках, что и сам Маск.

Их первый разговор по телефону, по позднейшим воспоминаниям обоих, был коротким и деловым. Маск изложил идею: лаборатория искусственного интеллекта, организованная как некоммерческая организация, без акционеров, с миссией обеспечить, чтобы развитие ИИ шло на пользу всему человечеству, а не стало для него гибельным. Открытая, публикующая свои результаты. Конкурент Google в этой узкой области, но конкурент, мотивированный не прибылью, а безопасностью. Альтман сказал, что идея кажется ему интересной. Они договорились встретиться лично. Через несколько недель они встретились в офисе Y Combinator и проговорили несколько часов. После этого разговора оба решили браться за дело.

Оставалось набрать команду. И главное — добыть одного человека. Без него вся затея, как они оба понимали, не имела смысла. Этим человеком был Илья Суцкевер.

Ужин

Альтман отправил Илье электронное письмо. Из таких, что в Кремниевой долине называются cold email: ты не знаком с адресатом лично, ты просто пишешь и предлагаешь встретиться, и от того, насколько твоё письмо выглядит осмысленным, зависит, ответят тебе или нет. Альтман написал: я Сэм, у меня будет ужин с интересными людьми, среди них Илон Маск, я думаю, тебе будет любопытно прийти. Илья ответил, что придёт.

На самом ужине в Rosewood собралось восемь или девять человек. Маск, Альтман, Брокман (двадцати семи лет, незадолго до того ушедший с поста CTO компании Stripe), Илья и ещё несколько исследователей и потенциальных инвесторов. Илья поначалу думал, что это просто общий разговор; только потом он сообразил, что был на этом ужине почётным гостем.

Маск, согласно позднейшему свидетельству Брокмана, начал разговор с него лично. Это был первый раз, когда они с Брокманом виделись. Маск посмотрел на Брокмана через стол и спросил, без предисловий и не назвав никого по имени, кое-что вот в таком духе. Он спросил, считает ли Брокман главу DeepMind, Демиса Хассабиса, по сути, злым человеком. Брокман, по его собственному признанию, был смущён и не сразу нашёл, что ответить. На самом деле, как он потом узнает, такой вопрос про Хассабиса в Кремниевой долине того лета был не редкостью; некоторые техноруководители всерьёз считали, что в DeepMind делают опасные вещи. Маск, во всяком случае, делал вид, что считает.

Потом перешли к более общему разговору. Обсуждали, далеко ли Google вместе с DeepMind ушли в развитии ИИ. Можно ли вообще их догнать, если начинать в 2015 году с нуля. Если можно, то как должна быть устроена догоняющая лаборатория. Маск, по словам Ильи, употребил слово противовес и сказал, что хочет видеть лабораторию, которая будет противовесом Google в искусственном интеллекте.

Илью никто прямо в этот вечер не приглашал. Никто не сказал ему: иди к нам. Разговор был общий, абстрактный, скорее в духе обмена видениями, чем в духе кадровых переговоров. Но Илья за столом думал о другом. Он думал, что вот сидят люди, всерьёз рассуждающие о том, на что в Google Brain коридорные разговоры не выходили; что для Маска и Альтмана искусственный интеллект — это не один из проектов, а главное; что у этих людей будут деньги, и они будут готовы тратить эти деньги в направлении, которое сам Илья считал правильным.

В машине, возвращаясь в Маунтин-Вью после ужина, Илья начал писать Альтману письмо. Он писал, что идея ему близка, что он готов её возглавить, что у него много мыслей о том, как именно это нужно строить. Письмо вышло длинным. Когда он его дописал, он не отправил его, потому что подумал, что нужно ещё раз перечитать утром. На следующее утро он снова перечитал, ещё что-то добавил, ещё что-то снова отложил. Письмо застряло в черновиках на несколько недель. Альтман сам позвонил Илье через какое-то время, спросил, что тот думает. Илья сказал: думаю. Альтман попросил подумать побыстрее. Илья пообещал.

В сентябре Альтман и Маск официально пригласили Илью возглавить научное направление новой лаборатории. На стороне Google задёргались. Илье сделали встречное предложение, по слухам — выросшую вдвое зарплату и больше ресурсов. Илья отказался. В ноябре он подписал контракт с новой организацией.

Что же его подкупило? Точно не деньги! В Google ему платили существенно больше, и продолжали бы платить. Главное было ощущение: вот люди, которые относятся к делу всерьёз. Альтман не был учёным, но был организатором, и Илья понимал, что под его прикрытием можно будет делать науку без типичных корпоративных ограничений. Маск был миллиардером, и обещанные деньги в его исполнении не были фигурой речи. А идея, что нужно создать не Google, ему лично была близка. В Google он работал, но себя в Google не находил.

Миллиард, которого почти не было

Параллельно с разговорами с Ильёй шла другая, организационная работа. Альтман с Брокманом обсуждали структуру новой организации. Решили: будет некоммерческая корпорация по американскому праву, под названием OpenAI Inc., с миссией, прописанной в учредительных документах, обеспечить, чтобы развитие искусственного интеллекта шло на пользу всему человечеству.

Дальше встал вопрос денег. Какую сумму вынести в пресс-релиз, чтобы серьёзные исследователи захотели присоединиться? Альтман с Брокманом исходили из ста миллионов долларов. Это казалось крупной суммой для некоммерческой исследовательской организации; ни одна академическая лаборатория такими бюджетами не располагала. Маск, узнав цифру, написал письмо. Цитата из этого письма впоследствии станет публичной в ходе судебной тяжбы между ним и OpenAI; в передаче её смысл такой: ребята, сто миллионов — это будет звучать безнадёжно, никто не примет нас всерьёз; давайте говорить о миллиарде; если кто-то из нас не сможет вложить столько, сколько обещал, я доложу свою часть.

В декабре 2015 года, 11-го числа, OpenAI объявил о себе пресс-релизом. В пресс-релизе фигурировала цифра один миллиард долларов: пожертвования и обязательства восьми учредителей и инвесторов, среди которых были, кроме Маска и Альтмана: Грег Брокман, Рейд Хоффман (сооснователь LinkedIn), Питер Тиль (сооснователь PayPal и инвестор-миллиардер), Джессика Ливингстон (соосновательница Y Combinator), а также корпоративные доноры Amazon Web Services и Infosys. Среди сооснователей по факту, как сотрудников новой организации, были перечислены: Маск и Альтман в качестве сопредседателей, Брокман как технический директор, Илья как главный научный сотрудник, и группа исследователей: Андрей Карпатий, Войцех Заремба, Джон Шульман, Дурк Кингма, Вики Чёнг, Памела Вагата, Тревор Блэквелл.

Пресс-релиз обошёл все технологические издания мира. Заголовки звучали примерно одинаково: Маск и Альтман запускают противовес Google с миллиардом долларов. Реакция конкурентов была разной. В Google внешне сохраняли невозмутимость, внутри начали инвентаризировать собственные риски. В DeepMind, по слухам, восприняли запуск OpenAI как личный вызов. В академическом сообществе впервые за последние годы оживился разговор о том, нужно ли разработку искусственного интеллекта регулировать.

А внутри самой OpenAI, между тем, понимания, что именно делать, не было.

Здесь честно нужно сказать: миллиард был обещан, но не получен. По налоговым декларациям OpenAI, к 2021 году от обещанных миллиарда было собрано чуть больше ста тридцати миллионов. Маск, по различным источникам, лично передал в общей сложности что-то порядка сорока-сорока пяти миллионов в период с 2016 по 2020 годы. Тиль и Хоффман внесли свои части. Y Combinator Research, как выяснилось значительно позднее, по факту не вложила в OpenAI обещанных сумм. То есть громкая цифра «миллиард» была скорее символическим жестом, чем реально доступным бюджетом. Но шум сделал своё дело: лучшие специалисты в мире прочитали пресс-релиз и поняли — появилась новая лаборатория, и денег у неё, пусть и не миллиард, но хватит надолго.

Первые месяцы

Грег Брокман, TechCrunch SF 2019

Андрей Карпатий, период OpenAI

Офиса у OpenAI поначалу не было. Первые несколько недель сотрудники собирались в квартире Брокмана в Сан-Франциско, в Мишн-Дистрикте, на третьем этаже над прачечной. У Брокмана была сравнительно большая гостиная, в которой стоял длинный стол; за ним размещалось десять-двенадцать человек. На стенах висели белые маркерные доски. На полу валялись провода.

Альтман, по его собственному признанию, на одной из первых таких встреч обратился к собравшимся примерно так. Так. У нас есть деньги. У нас есть лучшие люди в области. У нас есть миссия. Что делаем? Внятного ответа никто не дал.

Никто из присутствующих не знал, как строить искусственный общий интеллект, потому что никто в мире этого не знал. Никто не знал даже, какие задачи правильно решать в первую очередь, чтобы постепенно подбираться к этой цели. На белой доске рисовали возможные направления: робототехника, обучение с подкреплением, шахматные движки, видеоигры, обработка естественного языка, мультиагентные системы. Спорили, что важнее. Через час расходились, ничего не решив. Через неделю собирались снова, рисовали то же самое, опять расходились.

В первые двенадцать месяцев OpenAI занималась всем подряд. Карпатий с командой строил систему, которая училась играть в видеоигры по экрану. Шульман развивал алгоритмы обучения с подкреплением, более стабильные, чем существовавшие на тот момент. Заремба занимался робототехникой: учил роботизированную руку поднимать предметы. Илья присматривал за всем сразу и пробовал привлекать молодых исследователей со всего мира. Брокман занимался инфраструктурой.

В мае 2016 года в офис OpenAI заглянул Дарио Амодей, тогда исследователь Google, проездом из Маунтин-Вью в Нью-Йорк. Альтман с Брокманом провели его по комнатам, показали проекты, рассказали о планах. Амодей, по его собственным позднейшим словам, ушёл из офиса в смятении. На прямой вопрос: Что вы делаете? — у организации не было прямого ответа. Это была лаборатория, наполненная исключительно талантливыми людьми, у которой явно было много денег и явно было много хороших намерений, и при этом не было никакой внятной стратегии. Амодей подумал и решил, что, пожалуй, такая лаборатория ему как раз и интересна. Через несколько месяцев он сам присоединится к OpenAI.

Тёмная комната, в которой ещё не зажгли свет

Если бы кто-нибудь в 2016 году попытался описать первый год OpenAI в одном слове, это слово было бы — хаос. Не плохой хаос. Не разрушительный. Творческий, добросовестный, насыщенный. Но всё-таки хаос. Через несколько лет Брокман в публичных интервью будет вспоминать это время с улыбкой и говорить, что в OpenAI первого года «ничего не работало» — в том смысле, что не было ни одного прорывного результата, на который можно было бы указать пальцем.

И всё же три вещи в этот хаос уже были заложены, и от них, в конечном счёте, всё дальше зависело.

Первая: в OpenAI собрались исследователи, верившие в масштаб, то есть в гипотезу Ильи десятилетней давности. Не все из них её разделяли в одинаково чистой форме, но никто из них не был ей принципиально враждебен.

Вторая: в OpenAI собрались люди, которые думали о судьбе своей дисциплины не как о технической задаче, а как о цивилизационной. Что бы они ни делали потом — играли в Dota 2, переводили тексты, обучали робота — за всем этим стоял общий вопрос: как сделать, чтобы ИИ, когда он станет мощным, не стал бедствием. Этот вопрос будет в дальнейшем направлять огромное количество их решений, иногда хороших, иногда странных, иногда катастрофически неверных.

Третья: у OpenAI был неограниченный (как тогда казалось) запас денег от частных миллиардеров. Это значило, что им не нужно было гнаться за прибылью, не нужно было выпускать продукты на рынок, не нужно было оправдывать каждый эксперимент с точки зрения отдачи. Они могли пробовать что угодно. Эта роскошь будет фундаментально важна для того, что произойдёт через два года: для появления первой большой статьи Алека Радфорда, в которой механизм внимания, придуманный другими, и масштаб, в который верил Илья, наконец сойдутся.

Но раньше этого должно было случиться ещё одно. В лесу нужно было пройти через ещё одну поляну, чтобы выйти к водопаду. Эта поляна находилась в Гугле, в начале 2017 года, и на неё собирались восемь человек, чтобы написать статью с названием, взятым из песни «Битлз».

На сервере препринтов arXiv 12 июня 2017 года, в одиннадцать часов девятнадцать минут вечера по нью-йоркскому времени, появилась статья на десять страниц. Восемь авторов, никто из них не был профессором, ни у кого даже не было привычного академического титула на главной странице. Только адреса электронной почты: у семерых — google.com, у восьмого — личный email. Заголовок статьи был коротким, чуть ироничным, как будто его авторы решили не делать вид, что они написали учебник. Attention Is All You Need.

Через семь лет эта статья станет одной из десяти самых цитируемых научных публикаций двадцать первого века. Её прочитают, в той или иной форме, миллионы инженеров и исследователей по всему миру. На предложенной в ней архитектуре будут построены все большие языковые модели, все основные системы машинного перевода, все системы преобразования текста в изображение, в музыку, в видео; на ней будут построены роботы, программирующие вместо человека, и врачи, ставящие диагнозы, и юристы, читающие договоры. Все восемь её авторов в ближайшие шесть лет уйдут из Google, и каждый из них запустит свой стартап. Кое-кто из них к моменту, когда вы читаете эту главу, уже стал миллиардером.

А в момент публикации никто из них точно не подозревал, что они только что сделали.

Якоб и его отец

Якоб Узкорайт

Идея, в конечном счёте превратившаяся в трансформер, родилась в голове у одного человека. У этого человека была фамилия с лингвистическим оттенком: Ушкорайт.

Якоб Ушкорайт родился в Германии в 1981 году. Его отец, Ганс Ушкорайт, был и до сих пор является одним из самых известных в Европе специалистов по компьютерной лингвистике; в восьмидесятые-девяностые годы он много занимался формальными моделями грамматики, разрабатывал системы машинного перевода ранних поколений, основал лабораторию компьютерной лингвистики в немецком городе Саарбрюккен. Якоб вырос среди разговоров о синтаксисе, морфологии, парсерах и формальных языках, и к моменту окончания университета прекрасно понимал и любил эту область, но решил пойти в неё со стороны. Защитившись в Берлине по математике и информатике, он в 2008 году поступил в Google и быстро стал одним из главных людей, отвечавших за качество Google Translate.

К 2016 году Якобу было около тридцати пяти. Он успел поработать с архитектурами, основанными на статистических методах, потом с нейронными сетями на LSTM, видел в реальном времени, как Google Translate переходит на нейронные рельсы. У него к этому моменту накопилось определённое раздражение от LSTM-ной парадигмы. Слишком долгое обучение, слишком плохая параллелизация, слишком ограниченная архитектура.

В 2016 году в группе Якоба сделали небольшую, скромную, но важную работу. Они применили механизм внимания не как добавку к рекуррентной сети, а к простой нейросети без рекуррентности, на узкой лингвистической задаче (установить, следует ли одно утверждение из другого). Результаты их удивили. Их маленькая модель, без всяких LSTM, побила тогдашние state-of-the-art системы на этой задаче, причём имея в десять раз меньше параметров и обучаясь на порядок быстрее.

Якоб задумался. Если внимание само по себе, без рекуррентности, способно так хорошо работать на узкой задаче, что мешает применить ту же идею в полном объёме? Что если вообще выбросить LSTM из машинного перевода? Что если сделать модель, где есть только внимание, повторённое много раз, и больше ничего рекуррентного?

Эту гипотезу Якоб начал высказывать коллегам осенью 2016 года. Большинство кивало вежливо и относилось со скепсисом. Машинный перевод как задача казался слишком сложным; были устоявшиеся подходы, которые работали; зачем рисковать, чтобы заменить их на что-то непроверенное?

Даже отец Якоба, когда сын рассказал ему о своей идее в одном из телефонных разговоров, отнёсся скептически. Ганс Ушкорайт, человек, посвятивший пятьдесят лет жизни обработке естественного языка, ответил сыну примерно так: языковая структура слишком сложна, чтобы её можно было выучить одним только вниманием; ты, вероятно, упрощаешь. Якоб засмеялся, согласился, и продолжил уговаривать коллег по Google попробовать.

Команда собирается

Ашиш Васвани

Илья Полосухин, основатель NEAR Protocol

Ноам Шазир

Никки Парма, ScaleUp 2023

Ллион Джоунз, CIC Tokyo

Лукаш Кайзер, TEDAI Vienna 2025

Эйдан Гомес, ALL IN 2025

К началу 2017 года вокруг идеи Якоба постепенно собралась небольшая группа.

Первым, кто всерьёз заинтересовался, был Ашиш Васвани, индиец по происхождению, защитившийся в Университете Южной Калифорнии, недавно перешедший в Google Brain. Васвани был педантичен, методичен, аккуратен в коде, любил долгие отладочные сессии до результата. Если Якоб был генератором идей, то Васвани был тем, кто эти идеи доводил до работающих систем.

К Васвани присоединился софтверный инженер из Украины по имени Илья Полосухин. Илья родился в Харькове в середине восьмидесятых, получил магистра по прикладной математике в Харьковском политехническом институте, в 2008 году переехал в США, а в начале 2014 года пришёл в Google — то есть к моменту работы над трансформером он был в Google уже три года. Молодой, с резкой манерой общения, не любил длинных дискуссий, очень быстро писал код. С Васвани они быстро сработались: один проектировал, другой реализовывал; через несколько недель у них была первая работающая прототипная модель, состоявшая только из слоёв внимания и обучавшаяся на маленьком наборе данных.

Параллельно идею Якоба услышал и заинтересовался ею Ноам Шазир. Шазир был ветераном Google в самом буквальном смысле: пришёл в компанию в начале двухтысячных и за пятнадцать лет успел оставить след во многих главных проектах: Google Search, Google Translate, в архитектурах ранних нейронных сетей. Среди коллег Шазир был знаменит способностью видеть, как нужно докрутить хорошую идею до отличной. У него был особый, ему одному свойственный стиль работы: он садился к проекту и за несколько дней предлагал три или четыре улучшения, каждое из которых увеличивало качество вдвое. Якоб, узнав, что Ноам интересуется, обрадовался: с Ноамом в команде шансы возрастали.

Постепенно к проекту присоединились и другие: Ники Пармар, ровесница Полосухина, отвечавшая за варианты моделей и кодовую базу; Лион Джонс, валлиец из британского отделения Google, занимавшийся аналогичной инфраструктурной работой; Лукаш Кайзер, польский математик, известный своими работами по компьютерной алгебре, к 2017 году переключившийся на нейронные сети и автор фреймворка tensor2tensor; Эйдан Гомес, тогда студент Университета Торонто, всю весну 2017 года стажировавшийся в Google и работавший с Кайзером над инфраструктурой обучения.

Восемь человек, разбросанных по разным группам Google: кто-то из Google Brain в Маунтин-Вью, кто-то из Google Research в Маунтин-Вью же, плюс Гомес, приехавший на стажировку из Торонто. Большая часть общей работы шла через еженедельные видео-конференции и обмен экспериментальными результатами в Google-овской системе.

Что они построили

Архитектура Transformer: энкодер и декодер

Архитектура, к которой они пришли весной 2017 года, выглядела одновременно странно и красиво.

В ней не было ни одной рекуррентной сети. Никакого LSTM. Никаких скрытых состояний, передающихся от шага к шагу. Вместо этого: стек из шести одинаковых блоков «энкодера» и шести одинаковых блоков «декодера». Каждый блок выглядел просто: слой внимания, потом слой обычной полносвязной сети, потом нормировка. Вход — последовательность векторов слов; выход — последовательность векторов того же размера.

Ключевой механизм назывался self-attention, само-вниманием. В нём каждое слово предложения, грубо говоря, обращалось ко всем словам того же предложения и спрашивало у них: «насколько ты для меня сейчас важно?» Получались веса. Слово смешивало векторы всех остальных слов с этими весами и формировало свой новый, обогащённый вектор.

Это была старая идея Богданау, но применённая по-другому. У Богданау attention был между двумя предложениями: декодировщик смотрел на исходник. Здесь attention был внутри одного и того же предложения, между его собственными словами. Каждое слово, в каком-то смысле, «слушало» все остальные.

Ноам Шазир улучшил эту идею двумя приёмами, которые стали потом каноническими. Первый: он предложил вместо одного механизма внимания запускать несколько одновременно, параллельно, по разным «направлениям». Идея была такая: пусть в одном направлении сеть учится обращать внимание на синтаксические связи (подлежащее—сказуемое), в другом — на семантические (что к чему относится), в третьем — на длинно-дистанционные (местоимение и его антецедент за десять слов до). По отдельности неясно, чему именно научится каждое направление, но в сумме они смогут уловить разные виды связей. Это назвали multi-head attention, многоголовое внимание. В исходной модели было восемь параллельных «голов».

Второй приём Ноам предложил для самого механизма вычисления весов внимания. Он математически обосновал, что если делить ключевые произведения на корень из размерности, обучение становится стабильнее. Эта мелочь, на первый взгляд техническая, на практике сильно влияла на сходимость. Её назвали scaled dot-product attention.

Оставалась одна философская проблема. Если ни в каком месте сети не сохраняется порядок слов, как сеть узнает, что «собака укусила человека» — это не то же самое, что «человек укусил собаку»? В рекуррентной сети порядок естественен: слова приходят по очереди. В архитектуре без рекуррентности — нет.

Чтобы это исправить, авторы добавили в каждый вектор слова небольшую сигнальную составляющую, кодирующую его позицию в предложении. Они придумали аккуратное математическое решение: использовать значения синусов и косинусов разных частот в зависимости от позиции. Это позволило сети различать слова, стоящие в разных местах, не делая никакой явной рекуррентной обработки. Изобретение это они назвали positional encoding, позиционное кодирование.

Трое суток на восьми видеокартах

В мае 2017 года готовая архитектура была обучена на классической задаче машинного перевода — конкурсном наборе WMT 2014 для пары английский-французский. Большая версия модели содержала более двухсот миллионов параметров, что по тогдашним меркам было средним размером, но не выдающимся. Обучение шло на восьми видеокартах в течение трёх с половиной суток.

Полученные результаты были удивительны не столько абсолютной величиной, сколько отношением её к стоимости обучения. По стандартной метрике BLEU модель набрала 41,8 балла, что было новым state-of-the-art показателем. Лучшие на тот момент рекуррентные модели, обученные командами в Google и Facebook, набирали примерно столько же, но требовали для обучения недели или даже месяцы вычислений на сотнях видеокарт. Трансформер показывал ту же точность, обучаясь в десятки раз дешевле и быстрее.

Это означало, в принципе, две очень важные вещи. Первая: качество перевода в принципе достижимо без рекуррентных сетей. Гипотеза Якоба подтвердилась. Вторая, гораздо более далекоидущая: эту архитектуру можно масштабировать. Раз модель в двести с лишним миллионов параметров обучается за три с половиной дня, значит, модель в десять миллиардов параметров — потенциально за приемлемое время. На рекуррентных сетях о таком масштабе нельзя было даже мечтать.

Команда провела ещё несколько дополнительных экспериментов и убедила саму себя, что архитектура хорошо работает не только на машинном переводе. На задаче синтаксического парсинга английского языка трансформер также показал отличные результаты. Это, в общем-то, и решило: они написали полную статью, и решили публиковать её не только как работу по машинному переводу, а как работу о новой общеприменимой архитектуре нейронных сетей для последовательной обработки данных.

«All You Need»

Когда статья была написана, оставался последний вопрос: как её назвать. Авторы сидели в одной из переговорных комнат в Маунтин-Вью и спорили несколько часов. У Лиона Джонса был хороший музыкальный вкус, и в какой-то момент он предложил вариант, по форме совпадавший с названием известной песни группы Beatles. В оригинале песня называлась All You Need Is Love. У них всё было про внимание, и Джонс сказал: давайте назовём Attention Is All You Need. Получится с одной стороны звучно, с другой — точно по сути.

Остальные согласились с улыбкой. Этот заголовок впоследствии станет одним из самых известных в истории компьютерных наук и, кстати, породит особый под-жанр научных статей с подобными названиями. К двадцать пятому году количество arXiv-препринтов, в названии которых будет фраза All You Need, превысит семьсот.

Имя самой архитектуры — Transformer — было предложено Якобом. Просто потому, что это слово ему нравилось как звучание. Никакого глубокого смысла за этим не было. В одной из позднейших бесед Якоб об этом так и сказал: Trans-former — слово, которое мне понравилось.

В нём, разумеется, можно было разглядеть и более глубокий смысл: трансформация одной последовательности в другую, transformation. Но семантически название было не более и не менее выбранным, чем когда-то «бит» (от binary digit) или «энтропия» (по совету фон Неймана во время одного из визитов Шеннона в Принстон). Имя — это имя; ему нужно, чтобы оно запоминалось и легко произносилось, а не чтобы оно описывало внутреннее устройство явления.

12 июня 2017 года статья появилась на arXiv. К тому моменту восемь её авторов уже отправили её на конференцию NIPS 2017 (которая через несколько лет будет переименована в NeurIPS), которая должна была проходить в Лонг-Бич в декабре. Препринт быстро начал расходиться. К утру следующего дня про него говорили в кулуарах нескольких крупных лабораторий по всему миру.

Реакция мира

Реакция академического сообщества на трансформер не была мгновенной взрывной волной. Это позднейший миф. В первые недели после выхода статья воспринималась примерно так же, как любая хорошая публикация на NIPS: вот ещё одна новая архитектура для машинного перевода, у неё есть свои преимущества, она интересная.

Однако три вещи заметили сразу:

Во-первых, на исходный код. Команда вместе со статьёй выложила работающую реализацию на основе tensor2tensor от Лукаша Кайзера. Это означало, что любой исследователь в любой лаборатории мог в течение часа скачать код и запустить трансформер у себя. По меркам того времени это была редкость. Большинство ML-публикаций не приходило с прилагающимся кодом; результаты приходилось воспроизводить с нуля, что обычно занимало месяцы и часто заканчивалось неуспехом.

Во-вторых, на лёгкость параллелизации. Уже к осени 2017 года несколько групп воспроизвели трансформер, запустили его на больших кластерах в десятки и сотни GPU, и убедились, что он действительно отлично масштабируется. Удвоение количества видеокарт давало почти двукратное ускорение обучения. Этого нельзя было сказать о LSTM-моделях.

В-третьих, на качество. Через несколько месяцев на нескольких языковых парах трансформер показывал результаты, обходящие лучшие LSTM-системы, причём с гораздо меньшим временем обучения. К концу 2017 года в индустрии было ясно: новые модели машинного перевода нужно делать на трансформерах.

Что было гораздо менее очевидно тогда — это универсальность новой архитектуры. В исходной статье трансформер предложен в форме encoder-decoder, со специализацией на машинный перевод. Но почти сразу разные исследователи начали задаваться вопросом: а если использовать только энкодер, без декодера? Получится ли хорошая модель для классификации текстов? А если, наоборот, использовать только декодер, без энкодера? Получится ли что-то для свободной генерации текста?

Эти два вопроса — «только энкодер» и «только декодер» — через год превратятся в две главные ветви будущих больших языковых моделей. Первая ветвь породит BERT и его потомков; вторая — GPT и всю генеративную линию вплоть до ChatGPT. Но это случится в 2018 году, не в 2017.

Что было неочевидно

Когда восемь авторов трансформера сдали статью на NIPS и потом разъехались каждый по своим обычным делам, никто из них точно не понимал, какого масштаба объект они только что выпустили в мир.

Они, конечно, знали, что архитектура хороша. Они знали, что она масштабируется. Они знали, что в Google её начнут применять ко всему, что движется, потому что Google любил трансформировать любые свои продукты с использованием новейших ML-моделей. Они знали, что статья будет много цитироваться.

Но было нечто, чего они в 2017 году знать ещё не могли.

Они не знали, что их архитектура переживёт следующие десять лет на переднем крае индустрии без серьёзных конкурентов. Ни одна другая архитектура нейронных сетей за это время не сможет с ними сравниться. Все попытки придумать что-то принципиально новое (а таких попыток будет десятки) будут давать улучшения на 5-10 процентов, но не вытеснят трансформеры из практики.

Они не знали, что через шесть лет трансформеры будут крутиться в каждом смартфоне планеты, поддерживая голосовых помощников, переводы, автокоррекцию.

Они не знали, что их архитектура станет основой не только для языковых моделей, но и для систем компьютерного зрения, генерации изображений, музыки, видео; для прогноза свёртывания белков; для управления роботами; для научных открытий в физике; для предсказания экономических временных рядов; и для дюжины других применений, к языку отношения не имеющих.

Они не знали, что к 2024 году все восемь авторов покинут Google. Что Васвани запустит компанию Adept (а потом Essential AI) с Пармар, что Шазир — Character.AI, что Полосухин — блокчейн-протокол NEAR, что Гомес — Cohere в Канаде, что Джонс — Sakana AI в Японии. Что коллективная стоимость основанных ими компаний к концу десятых годов превысит сто миллиардов долларов. Что они станут чем-то вроде современных «отцов-основателей» новой индустрии.

В июне 2017 года они были просто восемью инженерами, написавшими хорошую статью. Через неделю после публикации они уже занимались следующими проектами. Жизнь, как ей и положено, продолжалась.

А статья тем временем уходила в плавание. Через месяц после публикации её прочёл, в частности, один молодой исследователь из Сан-Франциско. Он работал в небольшой лаборатории под названием OpenAI, и в этой лаборатории, как мы помним, к лету 2017 года было много денег, много талантливых людей и совершенно отсутствовала ясная стратегия.

Молодого исследователя звали Алек Радфорд. Он прочитал препринт «Attention Is All You Need», подумал день или два, и понял, что у него появилась идея.

Алек Радфорд, OpenAI

Алек Радфорд не был похож на типичных молодых звёзд Кремниевой долины. Не было ни эффектной биографии, ни диплома Стэнфорда, ни послужного списка в крупных корпорациях. Он учился в Олин-колледже — небольшом инженерном учебном заведении в штате Массачусетс, известном среди узких специалистов по необычной программе обучения, но широкой публике неизвестном; колледж он так и не закончил, бросил в 2014 году. У него не было докторской степени. Он не был блестящим лектором. На фотографиях, которые редко попадают в прессу, он выглядит как тихий, сосредоточенный человек чуть за тридцать, в скромной футболке, не делающий ничего, чтобы привлечь к себе внимание.

В OpenAI Алек пришёл в 2016 году, через полгода после её основания. До этого он со студенческими друзьями сооснововал стартап Indico Data в Бостоне — компанию, которую они запустили ещё в общежитии Олин-колледжа и которая занималась прикладным машинным обучением для бизнес-задач. На собеседовании в OpenAI его взяли на относительно скромную позицию исследователя. Никто из руководства организации в тот момент не подозревал, что только что нанятый ими двадцатидвухлетний инженер за следующие шесть лет окажется ведущим автором четырёх или пяти статей, изменивших всю отрасль.

В первый год работы в OpenAI Алек делал вещи, далёкие от больших языковых моделей. Он занимался обучением без учителя в широком смысле: нейронными сетями, которые учатся выделять структуру из данных, не имея размеченных примеров. Он опубликовал работу о нейронной сети, выучившейся, читая отзывы покупателей с Amazon, представлять тексты в виде векторов; в этой сети, среди многих других тонкостей, нашёлся один нейрон, который при чтении отзыва точно отражал, был отзыв положительным или отрицательным. Никто этого нейрона специально не обучал; он сам нашёл эту структуру в данных. Работа эта прошла относительно тихо, но среди коллег Алек после неё стал известен своей способностью замечать закономерности, которых не видят другие.

А потом был июнь 2017 года.

Идея, родившаяся за выходные

Алек прочитал препринт «Attention Is All You Need» где-то через неделю после его публикации, внимательно, два-три раза. Потом сел и стал думать.

В исходной статье трансформер был представлен как архитектура для машинного перевода. Encoder — для исходного предложения, decoder — для целевого. Восемь авторов из Google продемонстрировали его на двух конкретных задачах, обе из области перевода. Это было разумно: трансформер у них и задумывался как улучшение для seq2seq, и логично было показать, что он улучшает именно ту задачу, для которой был сделан.

Но Алек прочитал статью под другим углом. Он подумал так. Если из трансформера убрать энкодер и оставить только декодер, что получится? Декодер — это, по сути, генеративная модель. Он умеет читать уже сгенерированную часть последовательности и предсказывать, что должно идти следующим. То есть он умеет делать ровно то, что в 1948 году делал Клод Шеннон со своей книжкой с полки, только в гораздо большем масштабе.

Дальше шла та же логика, которой Илья Суцкевер пользовался ещё с 2010 года. Если у нас есть архитектура, которая хорошо масштабируется, и есть очень много данных без разметки (а Интернет в 2017 году содержал триллионы слов английского текста), почему бы не обучить большую модель просто на задаче предсказывать следующее слово в произвольном тексте? Никакой ручной разметки. Никаких ярлыков. Просто читай Википедию, художественную литературу, новости, форумы, что угодно — и угадывай следующее слово.

А потом, после того как модель научится хорошо предсказывать следующее слово, её можно дообучить для конкретных задач: классификации текстов, поиск ответов на вопросы, определение схожести фраз. Дообучение требует относительно небольшого количества размеченных данных, потому что модель уже выучила большую часть того, что нужно знать о языке, на этапе предобучения.

Эта идея, в общем, была не новой. Двухстадийная схема предобучение плюс дообучение обсуждалась в литературе с середины двухтысячных. Что было новым, это сочетание: применить эту схему к трансформеру, обученному предсказывать следующий токен на действительно большом массиве текстов. Никто до этого не пробовал. Все существовавшие тогда модели работали либо с одной задачей и одним размеченным набором данных, либо с трансформером в его исходной encoder-decoder форме на задаче перевода.

Алек принёс свою идею на одно из внутренних собраний OpenAI. Илья её сразу одобрил. Илья к этому моменту уже два года искал, на чём именно показать гипотезу масштабирования; обработка естественного языка, до сих пор обходившая стороной нейронные сети, выглядела многообещающе.

BooksCorpus

Для обучения нужны были данные. Алек с Ильёй и ещё двумя коллегами — Картиком Нарасимханом и Тимом Салимансом — обсудили, что взять.

Часть Интернета? Технически возможно, но грязно: огромные куски этого массива будут низкого качества, спам, повторяющиеся шаблоны, машинно-генерированный мусор. Команда тогда решила, что нужен более чистый источник.

В академической литературе незадолго до этого появилось упоминание сборника под названием BooksCorpus. Его собрал в 2015 году исследователь Юкунь Чжу: семь тысяч художественных книг, опубликованных в основном самиздатом, из открытой части интернета. Около миллиарда слов. Книги были разнообразных жанров, написаны людьми на нормальном языке, имели последовательный сюжет, то есть требовали от читающего длительного удержания контекста. Это казалось хорошей основой.

Команда взяла BooksCorpus и принялась обучать трансформер.

Архитектура, к которой они пришли, была почти буквальной копией декодера из статьи Васвани и др., только с увеличенным числом слоёв. Двенадцать слоёв самовнимания вместо шести. Размер скрытого состояния — семьсот шестьдесят восемь. Всего сто семнадцать миллионов параметров. По меркам того времени модель была средней. По меркам ImageNet 2012 года — гигантской. По меркам же того, что появится через несколько лет, — почти игрушечной.

Обучение шло около месяца на восьми видеокартах. Алек контролировал процесс. К концу мая 2018 года модель была готова.

Что показала модель

Команда взяла обученную модель и стала тестировать её на двенадцати стандартных задачах обработки естественного языка. Категории были разные: текстовая семантическая близость, вопросно-ответные системы, классификация эмоциональной окраски, обнаружение текстовых вхождений. На каждой задаче модель дообучали в несколько проходов по конкретному размеченному набору, потом замеряли точность.

Из двенадцати задач модель показала новый state-of-the-art на девяти. Это был очень сильный результат. Особенно учитывая, что ни архитектура, ни обучающие данные не были разработаны специально для этих задач; всё это было универсальное языковое предобучение, которое потом просто «подкручивали» на каждую конкретную задачу за несколько часов.

Статью назвали Improving Language Understanding by Generative Pre-Training. В аннотации авторы скромно отметили, что их подход — это комбинация двух существующих идей: трансформеров и предобучения без учителя.

Самой модели они не дали никакого блестящего названия. В тексте статьи она называлась просто «наша модель». В фразе Generative Pre-Training были спрятаны три буквы, которые в дальнейшем станут чем-то вроде культурного маркера эпохи: GPT. Но в тот момент авторы об этом не думали. Это просто было аббревиатура из их собственного заголовка.

Статья появилась как препринт OpenAI 11 июня 2018 года. Через пять лет ровно — в июне 2023 года — её прямой потомок, ChatGPT, будет иметь сто миллионов активных пользователей в месяц, и слово GPT начнут произносить в новостях как имя нарицательное.

Тем временем в Google

Джейкоб Девлин, Kaggle Coffee Chat 2019

Параллельно с работой Алека в Google происходило нечто, очень похожее по духу, но идущее в другом направлении.

В одной из исследовательских групп Google под руководством Якова Девлина возникла такая идея. Что если, вместо того чтобы обучать трансформер предсказывать следующий токен в последовательности (как это делал GPT), использовать только энкодерную часть и обучать его на другой задаче — предсказывать пропущенные слова в середине предложения?

Идея на первый взгляд казалась мелким изменением. Но у неё было важное последствие. В отличие от автоматической прогрессии слева направо, при которой каждое слово видит только то, что было до него, в задаче с пропуском в середине каждое слово видит контекст и слева, и справа. То есть представление, которое выучивает модель, оказывается двунаправленным. Для задач, где нужно понять смысл целого предложения (например, классификации эмоций или поиска ответа в тексте), это потенциально мощнее.

Модель эту назвали BERT — Bidirectional Encoder Representations from Transformers. Девлин с коллегами опубликовали статью в октябре 2018 года, через четыре месяца после GPT-1. Результаты были ещё более впечатляющими: BERT побил state-of-the-art на одиннадцати из одиннадцати задач, на которых тестировался. Причём на нескольких — с большим отрывом.

В академическом сообществе эффект был мгновенный. BERT за несколько недель стал самой обсуждаемой моделью в обработке естественного языка. Google выложил веса модели в открытый доступ; за месяц её скачали и стали использовать тысячи компаний по всему миру. Для большинства специалистов BERT в конце 2018 года был просто новым стандартом: любая система, работающая с английским текстом, должна была использовать BERT-овские эмбеддинги.

GPT-1 на этом фоне выглядел блекло. Он был меньше (BERT-large имел триста сорок миллионов параметров против ста семнадцати у GPT-1), он работал на чуть других задачах, он принадлежал маленькой лаборатории в Сан-Франциско, а не корпоративному гиганту. В большинстве обзоров обработки естественного языка конца 2018 года GPT-1 упоминался коротко, BERT — обстоятельно.

Если бы в этот момент кто-нибудь спросил у среднего исследователя, какая из двух работ важнее, ответ был бы — BERT. Очевидно BERT. Без сомнения BERT.

Выбор OpenAI

GPT и BERT: два направления

В OpenAI после октябрьского BERT-а наступила пара недель внутренних дискуссий. Что делать дальше? Стоит ли переключаться на BERT-овскую парадигму, тем более что в Google открыли веса и поделились кодом? Или продолжать собственную линию, GPT-направление?

С чисто прагматической точки зрения логично было бы переключиться. BERT работал лучше на большинстве задач, был общепринятым стандартом, и идти против течения значило бы оставаться в роли догоняющего.

Но в OpenAI решили иначе. Логика этого решения, как её позже сформулировал Илья, была примерно такая. BERT — отличная архитектура для понимания текста. Он учится представлять смысл фразы в виде векторов. Но он не умеет порождать новый текст. Любая попытка заставить BERT написать связное предложение даёт довольно странный результат: модель умеет дополнить пропуск в фразе, но не умеет вести длинное повествование.

GPT, наоборот, спроектирован именно для порождения. Он каждый раз предсказывает следующее слово, и поэтому может, начиная с пустого места, написать связный текст любой длины. Это намного более общая задача, чем то, что делает BERT. И, что особенно важно, эту задачу, по мнению Ильи, можно бесконечно масштабировать. Чем больше данных, чем больше параметров, тем лучше модель будет предсказывать. И чем лучше она предсказывает, тем больше может породить.

Кроме того, в идее «модель, порождающая язык» было что-то философски привлекательное. Не маленький инструмент для конкретной задачи; а нечто вроде универсального синтезатора текста, который может приспособиться к чему угодно. Это резонировало с долгосрочной миссией OpenAI: построить AGI, общий искусственный интеллект.

Поэтому в OpenAI решили: продолжаем GPT. Будем масштабировать. Делать больше, обучать на большем массиве данных. Алек получил поддержку и начал готовить вторую итерацию.

В коридоре что-то происходит

Год 2018-й закончился для OpenAI странным эмоциональным состоянием. С одной стороны, у них впервые был результат, на который можно было всерьёз указать: GPT-1 работал, был опубликован, цитировался. С другой стороны, BERT-овская волна затмевала их, и в академических кругах их по-прежнему воспринимали как небольшую частную лабораторию с большими амбициями и средними результатами.

В феврале 2018 года из OpenAI ушёл Илон Маск. Формальная причина: возникающий конфликт интересов с его работой в Tesla, где разрабатывался автопилот с использованием нейронных сетей. Реальные причины, вышедшие наружу значительно позже, были сложнее. Маск, по слухам, хотел получить личный контроль над OpenAI и был раздражён, что Альтман и Брокман отказались ему его дать. Был один или несколько неприятных разговоров. Маск ушёл с поста сопредседателя совета. Финансирование с его стороны после этого продолжалось ещё некоторое время, но в значительно меньшем объёме, чем планировалось изначально.

Для OpenAI это создало финансовую дыру. К началу 2019 года стало понятно, что обещанного миллиарда никогда не будет; что денег, реально находящихся на счетах, хватит ещё на год-полтора при существующих темпах расходов; что нужно искать другие источники.

Альтман с Брокманом начали рассматривать варианты. Один из них был радикальным: переучредить организацию. Не как чистую некоммерческую структуру, а как нечто гибридное: некоммерческая родительская организация с дочерней коммерческой компанией, способной привлекать венчурные инвестиции в обмен на ограниченную прибыль. Это решение в марте 2019 года будет официально оформлено: OpenAI Inc. останется некоммерческой, но создаст OpenAI LP — структуру, в которую можно будет инвестировать деньги и получать с них доход, но не больше, чем стократный возврат. Сэм Альтман перейдёт из Y Combinator в OpenAI на полную ставку как CEO.

Эта реструктуризация в 2019 году будет с громким эхом обсуждаться в академических кругах. Многие воспримут её как предательство первоначальной миссии. Один из ведущих исследователей OpenAI, занимавшийся вопросами безопасности, позднее уволится из-за связанных опасений и через два года создаст другую лабораторию, противопоставленную OpenAI по тем же мотивам, по которым OpenAI когда-то противопоставлялась Google. Этого исследователя звали Дарио Амодей, и его историю мы расскажем в одной из дальнейших глав.

Но всё это будет потом. В декабре 2018 года, на пороге нового года, в небольшом офисе OpenAI в Сан-Франциско, в Мишн-Дистрикте, рядом с прачечной и пиццерией, Алек Радфорд сидел за компьютером и набрасывал планы новой модели. Архитектура та же. Обучающие данные — больше. Размер — увеличить раз в десять.

Через два с половиной месяца он покажет миру модель, которая поразит публику не своими бенчмарками, а тем, как она пишет фальшивые газетные статьи. Эту модель назовут GPT-2.

14 февраля 2019 года, в день влюблённых, OpenAI опубликовала на своём блоге пост, который должен был быть скромной академической заметкой, но получился чем-то совершенно иным. У поста было два названия: внутреннее, скучное, для специалистов — «Языковые модели — это неуправляемые многозадачные обучающиеся». И внешнее, ставшее заголовком новостных публикаций по всему миру: Better Language Models and Their Implications.

Внутри поста описывалась новая модель. Она называлась GPT-2 и представляла собой ту же архитектуру, что и GPT-1, только увеличенную примерно в десять раз. Один миллиард пятьсот миллионов параметров против ста семнадцати миллионов. Сорок гигабайт текста для обучения против одного. Сорок восемь слоёв трансформера против двенадцати.

Так выглядели технические детали. Но всё, ради чего читали тот февральский пост, было не в цифрах. Это было в нескольких примерах сгенерированного текста, которые OpenAI поместила прямо в тело публикации.

В первом примере исследователи дали модели промпт — короткий начальный текст, написанный человеком: в шокирующем открытии, учёный обнаружил стадо единорогов в отдалённой, прежде не исследованной долине в горах Анд. Они нажали кнопку. Модель самостоятельно продолжила текст.

Она написала, что более удивительным для исследователей оказалось то, что эти единороги говорили на превосходном английском языке. Она придумала имя ведущего учёного: Хорхе Перес, эволюционный биолог из университета Ла-Паса. Она сочинила правдоподобные детали экспедиции: трёхдневный пеший маршрут, поднявшиеся на высокогорье, неожиданная встреча. Она встроила в текст связные размышления о возможном происхождении этих животных. Получился связный, грамматически безупречный, стилистически выдержанный газетный репортаж — кроме той маленькой детали, что он был про говорящих единорогов и был полной выдумкой машины.

Прочитав этот пример, многие читатели блога OpenAI в феврале 2019 года испытали то же чувство, которое в ноябре 2022 года испытает в гораздо большем масштабе остальной мир. Это была не подсказка следующего слова. Это была не статистическая забава. Это было что-то такое, что страшно было назвать своим именем.

В этой главе нужно объяснить одну вещь, без понимания которой остальная история не имеет смысла. А именно: почему, начиная примерно с 2020 года, технологические компании по всему миру начали с восторгом и без особых сомнений вкладывать миллиарды, потом десятки миллиардов, а потом и сотни миллиардов долларов в обучение всё более крупных нейронных сетей.

Если попытаться объяснить это решение проще всего, можно сказать: они инвестировали, потому что у них появились основания думать, что вложения работают. Что если потратить определённую сумму, получишь определённого качества модель. Что неудачи быть не может, потому что зависимость качества от вложений известна, измерена и предсказуема.

Это утверждение, при всей его простоте, было совершенно нетривиальным. До 2020 года ни в каком разумном смысле такого знания не было. Обучение большой модели стоимостью в десятки миллионов долларов было, по сути, гигантским экспериментом с непредсказуемым результатом. Возможно, получилось бы что-то впечатляющее. Возможно — ничего особенного. Возможно — модель вообще не сошлась бы и деньги были бы потрачены зря.

Что превратило этот эксперимент в инженерный расчёт, это работа группы из десяти исследователей, опубликованная на arXiv 23 января 2020 года. Статья называлась Scaling Laws for Neural Language Models. Её первым автором был тот самый физик, чьим именем мы озаглавили эту главу. Джаред Каплан.

Физик в стане инженеров

Джаред Каплан, Anthropic

Джаред Каплан в 2019 году преподавал теоретическую физику в Университете Джонса Хопкинса в Балтиморе. Ему было сорок лет. Он защитил PhD по теории струн в Гарварде у Нимы Аркани-Хамеда, занимался квантовой гравитацией, потом перешёл к более прикладной квантовой теории поля. Его публикации были рассеяны по физическим журналам: Phys. Rev. D, JHEP, Annalen der Physik. Ни одна из них не имела никакого отношения к нейронным сетям.

К нейронным сетям его привело сначала любопытство, а потом дружба. Каплан, как и многие учёные его поколения, в свободное время начал в 2017–2018 годах читать про прорывы в машинном обучении. Сначала ради интеллектуального интереса; потом всё с большей серьёзностью. Особенно его заинтересовало то, как нейросетевые системы вели себя при увеличении размера. У него как у физика была отличная интуиция в том, что касается степенных законов. В физике степенные законы вездесущи: фазовые переходы, критические явления, ренормгруппа, всё это языковая среда теоретического физика. Каплан смотрел на графики из ML-публикаций и думал: эти кривые подозрительно похожи на то, что я видел в моих собственных задачах.

В 2018 году Каплан познакомился с Дарио Амодеем. Они стали друзьями, обнаружив общий интерес к вопросу о том, насколько хорошо будут работать большие нейронные сети. Амодей с конца 2018 года предлагал Каплану присоединиться к OpenAI в качестве консультанта. Каплан соглашался не сразу: у него была собственная исследовательская программа в физике, и переключаться на машинное обучение целиком он не хотел.

В 2019 году они нашли компромисс. Каплан остался профессором в Хопкинсе, но взял годовой контракт с OpenAI как внешний исследователь. Его задача была сформулирована довольно широко: использовать инструменты теоретической физики, чтобы понять, как именно нейронные сети ведут себя при изменении масштаба. Если получится найти что-нибудь похожее на универсальные законы, тем лучше.

Что измеряли

К Каплану в команду присоединились несколько человек из OpenAI: Сэм МакКэндлиш (получивший докторскую по теоретической физике в Стэнфорде, тоже бывший физик), Том Хенигэн, Том Браун, Бен Чесс, Рион Чайлд, Скотт Грей, Джефф Ву, Алек Радфорд, Дарио Амодей. Большинство из них имели физическое или физическо-математическое образование. Это была команда, привыкшая искать в эмпирических данных степенные закономерности.

Они начали серию экспериментов, длившуюся почти весь 2019 год. План был такой: обучить несколько десятков языковых моделей разного размера — от совсем маленьких в сотню тысяч параметров до больших на миллиард — на разных объёмах данных, с разным временем обучения, измеряя в каждом случае конечное качество модели. Потом нанести все эти измерения на графики и посмотреть, есть ли в них структура.

Под «качеством» в этом эксперименте понимался не балл на какой-нибудь конкретной задаче, а более фундаментальная величина: средняя кросс-энтропийная ошибка модели на тестовом тексте. Грубо говоря, это среднее количество битов, которое модель тратит, чтобы предсказать следующий токен, когда она уже видела все предыдущие. Чем меньше — тем лучше модель угадывает следующее слово. Эта мера непрерывна и определена для моделей любого размера, что делает её удобной для построения графиков.

Команда систематически варьировала три параметра:

Размер модели — обозначим его N, число параметров. От нескольких десятков тысяч до миллиарда с лишним. Шесть порядков величины.

Объём данных — обозначим его D, число токенов в обучающих данных. От нескольких миллионов до десятков миллиардов.

Вычислительная стоимость — обозначим её C, количество операций с плавающей точкой, затраченных на обучение. От минут на одной видеокарте до недель на сотнях видеокарт.

Команда обучила десятки моделей в разных точках этого трёхмерного пространства, замерила в каждой точке итоговую кросс-энтропию, и нанесла всё на графики. То, что получилось, превзошло их ожидания.

Прямая линия в логарифмических осях

Закон Каплана: качество модели как функция масштаба

На графиках, где по горизонтальной оси отложили размер модели (логарифмически), а по вертикальной — кросс-энтропию (тоже логарифмически), точки выстроились в почти идеально прямую линию. Длинная, длинная прямая линия, протянувшаяся от моделей в тысячи параметров до моделей в миллиард. Размер менялся в миллионы раз, а линия оставалась прямой. Без отклонений, без скачков, без особенностей.

На графиках, где варьировали объём данных, картина была такая же: прямая линия в логарифмических осях.

На графиках, где варьировали вычислительные затраты, тоже прямая линия.

В физике такие зависимости называются степенными: y = A·x в степени k, где k — постоянное число. Степенные законы возникают там, где нет внутреннего масштаба, где система ведёт себя самоподобно при любом увеличении или уменьшении. В статистической физике они вездесущи: в критических точках фазовых переходов, в распределении землетрясений, в фрактальной геометрии береговых линий.

Здесь, в обучении нейронных сетей, они тоже оказались. Каплан и его команда обнаружили, что качество языковой модели подчиняется простой степенной зависимости от каждого из трёх параметров (размер, данные, вычисления), причём показатели степеней оказались скромными отрицательными числами в районе минус ноль ноль семидесяти. Это означало: если увеличить размер модели в десять раз, кросс-энтропия уменьшится примерно на шестнадцать процентов. Если увеличить ещё в десять раз — ещё на шестнадцать процентов. Каждое десятикратное увеличение даёт примерно одинаковую относительную прибавку качества.

Это, казалось бы, скромный эффект. Но это, во-первых, было универсально (одна и та же зависимость для моделей в тысячи параметров и в миллиарды). И во-вторых, и главное, это было предсказуемо.

Что это значило для деловой части

Чтобы оценить, насколько это меняло индустриальный ландшафт, нужно осознать одно. До статьи Каплана план обучения большой модели выглядел примерно так. Команда садилась, обсуждала, спорила, выбирала размер интуитивно, исходя из имеющихся ресурсов и веры в подход; начинала обучение; через несколько недель смотрела, что вышло. Если результат не радовал, нужно было что-то менять и пробовать снова. Каждая такая «попытка» обходилась в миллионы долларов и месяцы времени.

После статьи Каплана план обучения большой модели выглядел иначе. Команда садилась, открывала графики со степенными зависимостями, и говорила: хотим качество X. По формулам, это требует модели размера N, объёма данных D, вычислительной стоимости C. Стоимость C переведём в доллары: получится столько-то. Если у нас есть эти деньги, мы знаем, что получим качество X. Если нет, мы знаем, на сколько именно недотянем.

Вот что сделал Каплан со своей командой: превратил обучение нейросетей из эксперимента в инженерный расчёт.

В статье 2020 года была также выведена другая важная зависимость: оптимальное распределение бюджета. Если у вас есть фиксированный бюджет на вычисления (скажем, миллиард FLOP-операций), как лучше его потратить: на большую модель с маленьким количеством данных, или на маленькую модель с большим? Каплан с командой математически вывели, что при их измерениях оптимум сдвинут в сторону больших моделей. Грубо говоря, лучше иметь модель в сто миллиардов параметров, обученную на скромном объёме данных, чем модель в десять миллиардов, обученную на массиве в десять раз большем.

Этот конкретный вывод позднее, в 2022 году, будет подвергнут пересмотру. Команда DeepMind с моделью Chinchilla покажет, что в формулах Каплана была определённая систематическая ошибка, связанная с тем, как варьировался learning rate в его экспериментах; что на самом деле оптимум сдвинут в обратную сторону, к большему количеству данных. Но это уточнение, при всей его технической важности, не меняло главного: что зависимость есть, что она степенная, и что она применима в широком диапазоне.

Откуда уверенность инвесторов

Статья Каплана и его команды появилась на arXiv в январе 2020 года. До этого момента команда уже несколько месяцев показывала свои предварительные результаты внутри OpenAI и в избранных кругах. К началу 2020 года все ведущие исследовательские лаборатории мира знали о законах масштабирования.

Влияние на индустрию было немедленным. Microsoft, который уже вложил в OpenAI миллиард в июле 2019 года, увидев предварительные результаты, начал планировать вторую и третью инвестиционные волны. Google, до этого относившийся к большим языковым моделям с прохладным интересом, объявил о собственной программе по обучению моделей размером в сотни миллиардов параметров (PaLM, 2022). DeepMind ускорил собственные работы в этом направлении.

В китайском Baidu, разочарованном результатом аукциона 2012 года, выделили бюджет на собственную программу больших языковых моделей. В Facebook AI Research началась работа над LLaMA. В Anthropic, который ещё только формировался (в 2021 году братья и сестра Амодей покинут OpenAI и заберут с собой большую часть авторов законов масштабирования), уже формулировалась стратегия: лаборатория сосредоточится на масштабировании, потому что закон Каплана даёт уверенность в результате.

Это и есть прямой ответ на вопрос, который, возможно, мучил читателя с первых страниц этой книги. На каком основании OpenAI, Microsoft, Google, Anthropic и прочие технологические гиганты стали с уверенностью тратить десятки миллиардов долларов на обучение моделей, не имея на руках ни одного готового продукта? Они стали тратить, потому что Каплан и его команда показали: качество предсказуемо растёт с вложениями. Не вера, не интуиция, не игра в догадки. Эмпирически установленная зависимость, проверенная в огромном диапазоне размеров, от моделей в тысячи параметров до моделей в миллиарды.

Это и есть, собственно, момент превращения нейронных сетей из научной дисциплины в инженерную индустрию. После Каплана большие языковые модели — это не открытие новой физики. Это инженерия. Это калькуляции. Это бизнес-планы и сметы. Деньги в эту дисциплину начали течь не потому, что в неё поверили, а потому, что в неё стало рационально вкладываться.

А что с интеллектом

У законов масштабирования была одна особенность, которую участники команды Каплана сами признавали странной. Эти законы не объясняли почему происходит то, что происходит. Они только описывали, что происходит.

В физике, если ты находишь степенной закон в природе, ты обычно сначала ищешь физическую теорию, которая его объясняет. Степенные распределения землетрясений объясняются механикой разлома; степенные хвосты в финансовых рядах — теорией кризисов; критические показатели фазовых переходов — ренормгруппой и универсальностью.

В случае нейронных сетей такой теории не было. Каплан и МакКэндлиш в своей статье 2020 года несколько раз честно отметили, что они не знают, почему графики ведут себя так, как они себя ведут. У них есть формулы; у них нет объяснения. Это, в общем-то, не помешало индустрии воспользоваться формулами. Но в академическом сообществе осталось ощущение, что под законами Каплана должна быть более глубокая теория, и эту теорию ещё предстоит открыть. К моменту, когда вы читаете эту книгу, эта теория всё ещё не открыта.

Ещё одна странность была в природе того, что измерял Каплан. Кросс-энтропия — это, в конечном счёте, не что иное, как качество предсказания следующего токена. Та самая задача, которую в 1948 году ставил перед собой Шеннон в Bell Labs, когда брал книги с полки и складывал из них псевдо-английский. Те самые n-граммные модели, которые работали в IBM в семидесятые. Та самая задача, которую решал ваш T9 в нулевые.

То есть Каплан показал: если просто и упорно делать модели больше, более длинно их обучать на большем количестве данных, они становятся в шенноновом смысле лучшими предсказателями следующего токена. По степенному закону. Бесконечно.

И вот тут возникает почти философский вопрос. Если модель становится произвольно хорошим предсказателем следующего слова — что это означает для её способностей в целом? Только ли это статистическая угадывалка, способная отлично продолжать тексты, но и только? Или предсказание следующего слова, если довести его до настоящего совершенства, в каком-то смысле эквивалентно пониманию языка, рассуждениям, решению задач?

В 2020 году эту дискуссию вели в OpenAI и Anthropic с большим жаром. Илья Суцкевер в своих публичных выступлениях того времени высказывал точку зрения, которая многим тогда казалась смелой: предсказание следующего токена при достаточно высоком качестве является сжатием знаний о мире, и обладание таким сжатием неотличимо от понимания. Иными словами: если модель достаточно хорошо угадывает следующее слово в любом тексте, она знает то же самое, что и автор этого текста.

Большинство специалистов в начале 2020 года эту точку зрения считало преувеличенной. Через полгода, увидев работу GPT-3, они задумаются. Через два с половиной года, увидев ChatGPT, многие из них пересмотрят свои взгляды.

Что было дальше с Капланом

В январе 2020 года вышла статья. В мае 2020 года вышла модель GPT-3, обучение которой было спланировано по этим самым законам масштабирования и которая в общих чертах подтвердила их предсказания. К концу 2020 года Каплан принял решение, к которому он шёл несколько месяцев. Он покидает OpenAI и переходит в Anthropic, новую лабораторию, которую создают братья и сестра Амодей вместе с большой группой бывших коллег по OpenAI. В Anthropic Каплан становится Chief Science Officer, главным научным сотрудником.

Это будет одно из самых громких перетеканий специалистов в истории индустрии. Из десяти авторов статьи о законах масштабирования девять окажутся через пару лет в Anthropic. Из основной команды OpenAI, отвечавшей в 2019–2020 годах за научное направление, уйдут больше половины.

Причины были разные. Кто-то ушёл из-за разногласий с Альтманом по вопросам безопасности. Кто-то — потому что Дарио Амодей предлагал, по их мнению, более правильное видение. Кто-то — потому что в новой лаборатории обещали больше акций и больше свободы. Истинная смесь мотиваций, как обычно в таких историях, не сводилась к одной причине.

Но факт остаётся: лаборатория, придумавшая закон Каплана, потеряла большую часть команды, его придумавшей. И когда эта команда обустроилась на новом месте, она начала применять тот же закон у себя. Anthropic, формально младший конкурент OpenAI, очень быстро стал производить языковые модели сопоставимого качества. К 2023 году Anthropic'овский Claude войдёт в число пяти-семи моделей, определяющих передний край отрасли. К 2026-му его будут использовать миллионы людей и почти все технологические компании.

А Каплан сохранит свою профессуру в Хопкинсе и продолжит публиковать статьи на стыке физики и машинного обучения. Журналисты будут изредка приходить к нему с вопросами; он будет отвечать кратко и точно. Он не будет говорить о масштабировании как о пиар-инструменте; он будет говорить о нём как о научной находке. Можно сказать, что Каплан — один из немногих, для кого вся эта индустрия с самого начала была физикой, а не бизнесом. И отчасти поэтому он, наверное, единственный из главных героев нашей книги, у кого после всего, что произошло, нет ни одной публичной ссоры с бывшими коллегами.

Сцена готова

Январь 2020 года. Препринт Каплана. Февраль — внутреннее обсуждение в OpenAI. Март — Алек Радфорд начинает работу над GPT-3 на основе тех самых уравнений. Какой размер сделать? По формулам выходит сто семьдесят пять миллиардов параметров — в сто раз больше, чем у GPT-2.

Сколько это будет стоить? По другим формулам — около пяти миллионов долларов компьютерного времени.

Какое качество ожидается? Тут уже сложнее, потому что кросс-энтропия — это абстрактный показатель, и непонятно, как он переведётся в реальные способности модели. Но если экстраполировать кривые Каплана за пределы тех точек, в которых они уже измерены — а это и есть самая интересная и самая страшная часть истории, — модель такого размера должна писать тексты, в которых её угадывание следующего слова почти неотличимо от человеческого.

Команда OpenAI знала, что они ничего такого ещё не видели. Знали, что эксперимент может пойти неожиданным образом. Знали, что миллион долларов вычислений на сторонних серверах Microsoft Azure, в принципе, можно потратить даже если оно не сработает. Кроме того, сами законы масштабирования давали довольно высокую уверенность.

В апреле 2020 года в одном из дата-центров Microsoft, в облачном регионе Восток США 2, началось обучение модели в сто семьдесят пять миллиардов параметров. Оно длилось чуть больше месяца. К началу мая модель была готова.

В мае 2020 года, когда GPT-3 была готова, никто из тех, кто видел её результаты, ещё не знал, во что эта модель превратится через два с половиной года. Не знал, что продукт на её основе наберёт миллион пользователей за пять дней и сто миллионов за два месяца. Не знал, что станет самым быстро распространившимся приложением в истории. Знай они это, занервничали бы. Но, не зная, спокойно опубликовали статью.

28 мая 2020 года, в 17 часов 29 минут по нью-йоркскому времени, на сервере препринтов arXiv появилась статья на семьдесят пять страниц. В авторстве значился тридцать один человек: Том Браун как ведущий, потом двадцать девять имён в случайном порядке, потом Дарио Амодей как последний. Заголовок был обманчиво простым: Language Models are Few-Shot Learners. «Языковые модели учатся по нескольким примерам».

Внутри статьи описывалась модель под названием GPT-3. Её главные характеристики были такими. Сто семьдесят пять миллиардов параметров. Девяносто шесть слоёв трансформера. Контекстное окно в две тысячи сорок восемь токенов. Обучена на массиве примерно из пятисот миллиардов слов, собранных из почищенного слепка Common Crawl, английской Википедии, нескольких сборников книг и веб-страниц. Стоимость обучения, по разным оценкам, от пяти до двенадцати миллионов долларов только на вычисления. Время обучения — несколько недель на тысячах видеокарт в облачной инфраструктуре Microsoft Azure.

Цифры впечатляли. Но впечатляли не они. Впечатляло то, что модель показывала результаты, не предусмотренные ни одной из теоретических работ по обучению нейронных сетей.

В декабре 2020 года Дарио и Даниэла Амодей официально подали в OpenAI заявления об уходе. От щедрых предложений остаться они отказались. В течение нескольких следующих недель за ними последовало больше десятка исследователей: Том Браун, ведущий автор статьи о GPT-3; Сэм МакКэндлиш, соавтор закона Каплана; сам Джаред Каплан; Крис Олах, известный своими работами по интерпретации нейронных сетей; Том Хенигэн, Бен Манн, Джек Кларк, Кэтрин Олссон и другие. Каждое имя в этом списке было хорошо известно специалистам.

Из десяти авторов статьи о законах масштабирования девять оказались в новой структуре. Из тридцати одного автора статьи о GPT-3 — почти треть. Если посчитать по бюджетной отдаче, OpenAI потеряла, наверное, две трети своего научного потенциала, накопленного за пять лет.

В Кремниевой долине такого крупного отколовшегося движения исследователей не было со времён классической истории Fairchild Semiconductor шестидесятых годов, когда восемь сотрудников Уильяма Шокли ушли и основали полупроводниковую промышленность Силиконовой долины. История Anthropic не настолько была мифологизирована к моменту своего рождения, но по структуре и по человеческим страстям она была удивительно похожа.

Два Амодея и одна семья

Дарио Амодеи, 2023

Даниэла Амодеи, Fortune MPW 2025

Дарио Амодей родился в 1983 году в Сан-Франциско, в семье итальянско-американского мастера по коже и американской библиотекарши. У него была младшая сестра, Даниэла, на четыре года младше его. Семья была интеллигентная, не богатая, с сильным акцентом на образовании. Дарио учился в местной школе, начал в Калифорнийском технологическом, перевёлся в Стэнфорд и получил там бакалавра физики, защитился в Принстоне по биофизике (изучая электрофизиологию нейронных цепей). После Принстона он попробовал академическую карьеру, потом перешёл в Baidu, потом в Google, и в начале 2016 года был приглашён Альтманом и Брокманом в OpenAI.

Даниэла Амодей пошла по другому пути. Она окончила Калифорнийский университет в Беркли по специальности «политические науки», работала в гуманитарных организациях, потом в Stripe (где познакомилась с Брокманом), и в 2018 году пришла в OpenAI как руководитель операционного направления. Брат и сестра редко работают в одной структуре в Кремниевой долине; для Амодеев это было естественно. Они были близкие друзья с детства и всегда дополняли друг друга: Дарио — учёный с социальной чуткостью, Даниэла — менеджер с глубоким техническим пониманием.

Когда летом 2020 года они начали обсуждать возможность ухода, они с самого начала исходили из того, что уходить будут вместе. Не как два отдельных человека, а как одна команда: один возьмёт на себя науку и публичность, другая — операционное управление. Из этого естественного союза постепенно стала вырастать структура того, что в начале 2021 года будет официально зарегистрировано как Anthropic.

Что им не нравилось в OpenAI

Тонкие причины ухода Амодеев и их команды из OpenAI обсуждаются до сих пор. По одним публичным заявлениям самих ушедших, главным разногласием была скорость. По их мнению, OpenAI разрабатывала всё более мощные модели быстрее, чем успевала разбираться, как ими безопасно пользоваться. Дарио в разных интервью говорил, что хочет создать лабораторию, в которой исследования безопасности будут не дополнительной программой, а центральной частью научной работы.

По другим, чуть более частным источникам, разногласия были глубже. Часть команды считала, что переход OpenAI к коммерческой структуре в 2019 году постепенно подменяет миссию: что лаборатория, начинавшаяся как противовес большим корпорациям, превращается в одну из них. Что партнёрство с Microsoft, при всех его финансовых преимуществах, означает зависимость от приоритетов Microsoft, которые в долгосрочной перспективе могут расходиться с целями безопасности.

Сэм Альтман на эту критику отвечал, что коммерциализация — необходимый этап для добычи ресурсов, без которых невозможно ничего исследовать. Что миссия не предаётся, а просто финансируется новыми способами. Что разработка продуктов и исследования безопасности — это не альтернативы, а дополняющие друг друга направления.

Это был принципиальный спор, и разговорами его было не решить. Каждая сторона считала свою позицию правильной. К концу 2020 года стало ясно, что вопрос разрешится только структурно: либо Альтман с Дарио и его командой найдут способ работать рядом несмотря на разногласия, либо одна из сторон уйдёт.

Ушла команда Дарио.

Уход был, по всем свидетельствам, цивилизованным. Никаких публичных скандалов, никаких выноса грязного белья в твиттер, никаких судебных исков. Дарио сделал внутреннее объявление, поблагодарил OpenAI за пять лет совместной работы, перечислил конкретных людей, без которых, по его словам, никаких прорывов не было бы. Альтман в ответном объявлении сказал, что желает Дарио успехов и что между двумя лабораториями обязательно будет сотрудничество.

На бумаге так. На практике в течение нескольких следующих лет OpenAI и Anthropic будут жесточайшими конкурентами, и часть бывших коллег перестанет здороваться друг с другом.

Финансирование

Принципиальный вопрос для любой новой лаборатории искусственного интеллекта — это деньги. Без сотен миллионов долларов в первые годы невозможно ни обучить большие модели, ни нанять конкурентоспособную команду.

Амодеи начали с первого крупного раунда финансирования. В мае 2021 года Anthropic привлекла 124 миллиона долларов от группы инвесторов во главе с Яаном Таллинном — сооснователем Skype и давним сторонником исследований по безопасности ИИ — и включавшей Дастина Московича (сооснователь Facebook), Джеймса МакКлейва и нескольких других технологических миллиардеров с интересом к долгосрочным проектам в искусственном интеллекте. Это был относительно скромный раунд по меркам ИИ-индустрии, но достаточный, чтобы собрать первую команду.

В первый год Anthropic не выпускала продуктов и не делала громких заявлений. Команда писала статьи, преимущественно по интерпретируемости нейронных сетей (это была старая страсть Криса Олаха) и по альтернативным методам обучения языковых моделей. Постепенно к ним присоединялись новые исследователи: каждые несколько месяцев списки авторов в публикациях Anthropic пополнялись новыми именами, часто узнаваемыми по предыдущим работам в OpenAI или Google.

В 2022 году Anthropic привлекла второй раунд: 580 миллионов долларов от Сэма Бэнкман-Фрида, тогда главы криптовалютной биржи FTX. Это были очень большие деньги, но связь с Бэнкман-Фридом через несколько месяцев окажется проблемной: его империя рухнет в ноябре 2022 года, и инвестиции FTX в Anthropic окажутся под пристальным вниманием банкротов и юристов. После полутора лет разбирательств FTX-эстейт распродаст большую часть доли в Anthropic широкому кругу инвесторов — среди них фонд Mubadala из ОАЭ, Jane Street, Ford Foundation, фонды Fidelity. Общая выручка превысит миллиард долларов и более чем вдвое окупит первоначальные вложения Бэнкман-Фрида.

В мае 2023 года Anthropic привлекла третий раунд: 450 миллионов от Spark Capital и от Google. Это партнёрство с Google интересно: Google инвестировал в Anthropic примерно как Microsoft инвестировал в OpenAI, обеспечивая Anthropic облачными ресурсами в обмен на коммерческую интеграцию. То есть к 2023 году оба ведущих американских облачных провайдера имели свою «прирученную» лабораторию языковых моделей: Microsoft с OpenAI, Google с Anthropic.

В 2024 году Anthropic получит ещё несколько миллиардов от Amazon. К 2025 году её оценочная стоимость превысит шестьдесят миллиардов долларов. Меньше чем за четыре года команда из тридцати с лишним человек, ушедшая из OpenAI с честолюбивыми планами и относительно небольшим стартовым капиталом, построила одну из самых дорогих частных компаний в сфере искусственного интеллекта мира.

Конституционный искусственный интеллект

Технически Anthropic сделал, в общем, две главные вещи, которыми его команда заслуженно гордится.

Первая — это разработка собственной серии больших языковых моделей, которые они назвали Claude. Имя выбрали в честь Клода Шеннона. Первая публичная версия Claude была запущена в марте 2023 года, через четыре месяца после ChatGPT. По возможностям она была сопоставима с GPT-3.5 — версией ChatGPT того времени. К 2024 году вышел Claude 3, к 2025 — Claude 4, к 2026 — Claude Opus 4.7, и каждое поколение приближало Anthropic к переднему краю. Один из голосов, которыми разговаривает эта книга, принадлежит этому самому Claude'у.

Вторая, и в публике менее известная, — это методология обучения языковых моделей под названием Constitutional AI, конституционный искусственный интеллект. Идея состояла в следующем.

Обычный подход к тому, чтобы языковая модель вела себя приемлемо (не оскорбляла, не помогала с противозаконными действиями, не выдавала медицински опасных советов) состоял в том, что в OpenAI назвали RLHF — обучение с подкреплением на основе обратной связи от людей. Для этого нанимали несколько десятков людей-аннотаторов, давали им пары ответов модели и просили оценить, какой из двух ответов лучше. По этим оценкам потом подкручивали модель.

Подход работал, но имел недостатки. Во-первых, он требовал огромных трудозатрат: тысячи часов работы аннотаторов на каждое поколение модели. Во-вторых, оценки людей часто были непоследовательными: разные люди оценивали одни и те же ответы по-разному, что вносило шум. В-третьих, и главное, он плохо масштабировался: для каждого нового вида опасностей нужно было собирать новый набор оценок.

Anthropic предложил альтернативу. Вместо того, чтобы оценки давали люди, давайте сформулируем набор принципов в текстовом виде — «конституцию» — и научим модель оценивать собственные ответы по этой конституции. Принципы могут быть, например: не помогай в действиях, которые незаконны в большинстве юрисдикций, уважай достоинство собеседника, не давай медицинских советов без указания на необходимость консультации специалиста, и так далее. Модель в процессе обучения учится критиковать свои собственные ответы по этим принципам и переписывать их в более удовлетворительной форме.

Метод оказался эффективным. С Constitutional AI можно было получать модели сопоставимого с RLHF качества, но без массовой ручной разметки. Anthropic опубликовала статью о методе в декабре 2022 года, и метод этот в течение года вошёл в арсенал большинства лабораторий, занимающихся языковыми моделями. Это была, наверное, главная техническая идея Anthropic за её существование.

Большая четвёрка

К 2023 году в мировой индустрии больших языковых моделей сформировалась так называемая «большая четвёрка»: OpenAI, Google DeepMind (объединившая Google Brain и DeepMind в одну структуру в апреле 2023 года), Anthropic, и Meta (с её серией LLaMA, выложенной в открытый доступ). Каждая из этих лабораторий имела ресурсы и команды для обучения моделей передового уровня. Между ними шла интенсивная конкуренция: каждые несколько месяцев одна из них выпускала новую модель, которая хотя бы по одной метрике обходила лучшие модели остальных.

Помимо большой четвёрки, на сцену в 2023 году вышли два серьёзных не-американских игрока. Из Парижа — Mistral AI, основанная бывшими сотрудниками Meta и DeepMind, специализирующаяся на относительно небольших, но высокоэффективных моделях. Из Китая — стартап DeepSeek, который в начале 2025 года выпустит модель R1, обходящую по нескольким бенчмаркам модель o1 от OpenAI и обошедшуюся при этом в десять раз дешевле. DeepSeek поразит американских инвесторов и заставит на несколько дней упасть акции Nvidia.

Но это уже другой сюжет. Возвращаясь к 2021–2022 годам: Anthropic закрепляется в роли одной из ведущих лабораторий, не имея ещё ни одного публичного продукта; OpenAI готовит ChatGPT, не зная, что разрабатывает приложение, которое за два месяца наберёт сто миллионов пользователей.

Что осталось от OpenAI

Ушли многие, но не все. В OpenAI осталось ядро, образовавшее новое научное руководство.

Илья Суцкевер остался. Его выбор не был очевидным; ему тоже предлагали присоединиться к Дарио и его команде. Но Илья, по позднейшим словам коллег, считал, что у OpenAI остаётся миссия, которую он не хочет бросать. Он остался главным научным сотрудником и в течение следующих трёх лет руководил всем направлением «суперинтеллекта».

Грег Брокман остался. Алек Радфорд остался. Андрей Карпатий — нет, но и не из-за раскола с Дарио: он ещё в 2017 году ушёл в Tesla руководить разработкой автопилота, в 2023 году вернётся в OpenAI, а в 2024 уйдёт снова — делать собственный образовательный стартап.

Сэм Альтман остался и стал генеральным директором новой, коммерческой структуры. Через два года, в ноябре 2023 года, его на пять дней уволят, потом восстановят, и эта история будет одной из самых громких корпоративных драм года, но всё это произойдёт уже после ChatGPT.

Внутри OpenAI после ухода Амодеев и их команды атмосфера изменилась. По свидетельствам тех, кто остался, организация стала более коммерческой. Меньше академических разговоров, больше разговоров о продуктах. Меньше про долгосрочную безопасность, больше про релизы. Кто-то из оставшихся приветствовал этот сдвиг, кто-то относился к нему скептически.

Но эта трансформация открывала перед OpenAI определённые возможности. Стать чисто коммерческой машиной, нацеленной на быстрые продуктовые релизы, значило получить шанс выпустить нечто, что окажет на широкую публику тот эффект, которого никто до сих пор не оказывал.

Это нечто появится 30 ноября 2022 года.

В среду 30 ноября 2022 года, около десяти часов утра по нью-йоркскому времени, на веб-сайте OpenAI появилась новая страница. Она называлась chat.openai.com и выглядела очень просто: белый экран, посередине окошко для ввода текста, под ним кнопка «Submit». Никакого приветствия, никакого вводного видео, никакой регистрации с подтверждением через смс. Чтобы попробовать, достаточно было создать бесплатный аккаунт.

В тот же день в твиттере OpenAI и лично Сэма Альтмана появилось краткое объявление. В переводе с английского оно звучало так: сегодня мы запустили ChatGPT, попробуйте поговорить с ним. Внизу была ссылка на сайт. Никаких пресс-релизов, никаких пафосных видео, никаких журналистских превью. Просто публикация в социальной сети, такая, какие делают разработчики маленьких приложений, когда выкладывают свой первый прототип.

Во внутренней переписке OpenAI этот запуск называли low-key research preview, «тихая исследовательская превью-версия». Расчёт был такой: пусть несколько тысяч энтузиастов попробуют, расскажут о своих впечатлениях, OpenAI соберёт ценные данные о том, как люди реально общаются с языковой моделью, и через несколько месяцев на основе этих данных подготовит более серьёзный продукт. Никто не ожидал бури.

За первые пять дней работы chat.openai.com у платформы набралось миллион пользователей. За следующие два месяца — сто миллионов. К концу первого года — двести миллионов. К концу 2024 года — больше трёхсот миллионов еженедельно активных пользователей и больше миллиарда людей, попробовавших сервис хотя бы один раз.

Никакое потребительское приложение в истории человечества не достигало ста миллионов пользователей быстрее. Не Facebook, не Instagram, не TikTok. ChatGPT обогнал их всех в несколько раз.

Что было такого в этом простом белом окошке, что заставило четверть человечества за два года попробовать им воспользоваться? Чтобы ответить на этот вопрос, нужно вернуться немного назад и рассказать о двух технических идеях, без которых ChatGPT не работал бы. Эти идеи назывались InstructGPT и RLHF.

Проблема, которой не было у GPT-3

Когда в 2020 году вышел GPT-3, у него была проблема, которую внутри OpenAI обсуждали активно, но снаружи мало кто заметил.

GPT-3 был обучен предсказывать следующий токен в тексте. В этом он добился потрясающих результатов. Но «предсказание следующего токена» — это не то же самое, что «выполнение инструкции пользователя». Если пользователь писал в API запрос вроде напиши электронное письмо коллеге с просьбой перенести встречу на пятницу, модель не обязательно делала то, что от неё хотели. Она могла, например, продолжить запрос, написав: напиши электронное письмо коллеге с просьбой перенести встречу на пятницу. Если на пятницу не получится, попроси перенести на четверг. Эту задачу можно автоматизировать с помощью Outlook. Технически — продолжение текста, статистически правдоподобное. Но не то, чего хотел пользователь.

GPT-3, обученный на огромном массиве обычного текста, моделировал, в сущности, типичный интернет: статьи в Википедии, форумные обсуждения, отзывы на Amazon, фрагменты кода с GitHub. В этом интернете запросы вроде «напиши письмо» обычно были не инструкциями, а заголовками статей или фрагментами обсуждений. Модель училась продолжать такие заголовки естественным для интернета способом. Прямого выполнения инструкции она не умела.

Чтобы исправить это, в OpenAI начали в 2021 году серию работ под общим названием alignment, согласование. Идея: научить модель не просто предсказывать следующий токен, но выполнять то, что от неё хочет пользователь. Делать то, что для языковых моделей не предусмотрено архитектурой.

RLHF и Пол Кристиано

Пол Кристиано, NIST

Главным техническим инструментом, который для этого пригодился, оказался метод, известный под аббревиатурой RLHF: Reinforcement Learning from Human Feedback, обучение с подкреплением на основе обратной связи от людей.

Идея метода восходит к работе 2017 года, которую опубликовал Пол Кристиано, тогда исследователь OpenAI (позже он перейдёт в Anthropic, потом учредит свой исследовательский институт). В оригинальной статье Кристиано показал, что можно обучать агента (например, нейросетевого игрока в видеоигру) не на заранее заданной функции награды, а на оценках реальных людей: пусть люди смотрят пары роликов и говорят, какой из двух больше нравится. По этим оценкам можно построить функцию, аппроксимирующую человеческие предпочтения, и обучать агента максимизировать её.

В 2021 году в OpenAI команда под руководством Лонга Уянга начала применять эту идею к языковым моделям. Процесс выглядел так. Берём GPT-3. Запускаем её на множестве тестовых промптов. Получаем для каждого промпта по несколько разных ответов. Показываем эти ответы группе наёмных оценщиков и просим ранжировать: какой ответ лучше, какой хуже. Собираем десятки тысяч таких сравнений. По ним обучаем отдельную небольшую модель, которая предсказывает, какой из двух ответов человек оценит выше. Эту модель называем «модель награды». Дальше используем модель награды как сигнал для тонкого дообучения GPT-3 методами обучения с подкреплением: модель должна давать ответы, на которых модель награды показывает высокий балл.

В январе 2022 года команда Уянга опубликовала статью под названием Training language models to follow instructions with human feedback. Модель, полученная этим способом, назвали InstructGPT. По сравнению с обычным GPT-3, она показывала разительно более полезное поведение: лучше следовала инструкциям, реже выдавала нерелевантные продолжения, точнее отвечала на конкретные вопросы.

InstructGPT была доступна через API OpenAI, и в течение 2022 года стала вытеснять обычную GPT-3 у разработчиков. Но она оставалась инструментом для разработчиков; широкая публика её не пробовала. Никакого общедоступного интерфейса у неё не было.

Идея чата

Кому именно в OpenAI принадлежит идея сделать из InstructGPT простой чат-интерфейс для широкой публики, в точности неизвестно. По одним свидетельствам, идея витала в воздухе и обсуждалась несколькими сотрудниками одновременно с лета 2022 года. По другим, ключевую роль сыграл сам Альтман, который в какой-то момент сказал: давайте сделаем что-то, что просто работает без программирования; пусть любой человек может с этим поиграть.

В сентябре 2022 года несколько инженеров под руководством Джона Шульмана начали готовить специальную версию модели, дополнительно подкрученную для удержания контекста длинного диалога. Им нужно было решить несколько задач, которые в чисто инструктивных моделях не возникали. Во-первых, помнить предыдущие реплики разговора. Во-вторых, корректно обрабатывать длинные многоходовые задачи (когда пользователь, скажем, начинает с вопроса, потом уточняет, потом снова уточняет). В-третьих, по возможности отказываться от выполнения вредных или неуместных запросов.

Модель, которая получилась, внутри OpenAI называли GPT-3.5. По размеру она была близка к оригинальной GPT-3 (хотя точные параметры компания никогда не раскрывала). По способностям, благодаря дополнительному RLHF и тренировке на диалогах, она была заметно лучше.

В ноябре 2022 года команда обсудила: что с этим делать? Опубликовать статью? Запустить как платный API для разработчиков? Дождаться следующего поколения, GPT-4, которое уже было в разработке и должно было выйти в 2023 году?

Альтман предложил запустить простой бесплатный веб-интерфейс. Не как продукт. Как «исследовательский превью», чтобы собрать данные о том, как обычные люди общаются с языковой моделью. Он сказал коллегам: выложим без рекламы, без пресс-релиза. Если получится что-то интересное, разовьём это в полноценный продукт. Если нет, тихо закроем.

Внутри команды были сомнения. Несколько человек считали, что модель ещё недостаточно отполирована и что публичный запуск может привести к скандалам (если ChatGPT начнёт давать оскорбительные ответы, например). Другие, наоборот, считали, что отполировать модель в лабораторных условиях невозможно: только реальные пользователи покажут реальные проблемы.

В итоге запустили. 30 ноября, в среду.

Что произошло потом

Рост числа пользователей ChatGPT

Первые часы после запуска прошли тихо. Несколько сотен любопытных зашли на сайт, поэкспериментировали, написали о своих впечатлениях в твиттере. Технологические блоги опубликовали короткие заметки. Внутри OpenAI команда следила за метриками и поначалу не видела ничего экстраординарного.

К концу первых суток в Reddit-сообществе по машинному обучению уже шла активная дискуссия. К утру четверга 1 декабря несколько твитов с примерами особенно впечатляющих ответов набрали по нескольку миллионов просмотров. К пятнице публикации о ChatGPT появились в The Verge, Wired, Bloomberg, в международных изданиях. К субботе количество регистраций превысило сто тысяч в день. К воскресенью — миллион.

Сэм Альтман в пятницу опубликовал твит: ChatGPT набрал миллион пользователей за пять дней. Внутри компании это число обсуждали с нервным смехом. Никто не ожидал такого темпа. Серверы OpenAI начали проседать под нагрузкой; нужно было срочно докупать вычислительные мощности у Microsoft Azure; нужно было нанимать дополнительный персонал поддержки; нужно было реагировать на десятки журналистских запросов в день.

В январе 2023 года ChatGPT перевалил за сто миллионов активных пользователей. Это означало, что за два месяца сервис достиг той аудитории, к которой Facebook шёл четыре с половиной года, а Instagram — два с половиной. Аналитики называли ChatGPT самым быстро распространившимся приложением в истории человечества.

В Google эта новость произвела эффект, который через несколько недель станет публично известен под именем code red, «красная тревога». Если до ChatGPT Google имел общий контроль над тем, как люди в интернете ищут информацию, то теперь появилась альтернатива, которая в принципе могла подорвать главную бизнес-модель компании. Если люди начнут задавать вопросы ChatGPT вместо поисковика, рекламное золото Google перестанет течь.

В декабре 2022 года Сундар Пичаи, генеральный директор Google, лично провёл несколько встреч с командами по машинному обучению, чтобы ускорить внутренние работы по конкурирующим продуктам. В феврале 2023 года Microsoft, воспользовавшись своим партнёрством с OpenAI, встроил GPT-4 в свой поисковик Bing и провёл громкую презентацию, на которой представил «новый интернет-поиск». На несколько недель акции Microsoft выросли, акции Google — упали.

В феврале 2023 года Google представил собственного чат-бота под названием Bard. Презентация прошла неудачно: в первом же публичном демонстрационном ролике Bard выдал фактическую ошибку про космический телескоп «Джеймс Уэбб», и за день капитализация Alphabet упала примерно на сто миллиардов долларов. Внутри Google это происшествие надолго запомнилось как одно из самых неприятных в истории компании.

Что увидели обычные люди

В отличие от GPT-3 двухлетней давности, ChatGPT сразу попал в широкую публику. Школьники начали с его помощью писать сочинения. Студенты — рефераты. Программисты — код. Маркетологи — рекламные тексты. Юристы — черновики договоров. Психотерапевты — варианты ответов клиентам (это вызвало отдельную этическую дискуссию). Учителя начали обсуждать, как теперь оценивать письменные работы. Журналисты начали писать колонки о том, означает ли ChatGPT конец профессии писателя.

В академических кругах разгорелись споры. Группа исследователей под руководством Эмили Бендер из Университета Вашингтона опубликовала несколько статей, в которых называла большие языковые модели стохастическими попугаями: статистическими системами, имитирующими язык, но не имеющими настоящего понимания. Другая группа, включая Илью Суцкевера и нескольких «философов сознания» (учёных, теоретически изучающих природу мышления и сознательного опыта), отвечала, что граница между имитацией и пониманием в случае настолько мощных систем становится философски размытой; что если модель ведёт себя как понимающая, и при этом её внутренние представления отражают реальные структуры мира, то называние её «попугаем» — это, скорее, отказ от вопроса, чем ответ на него.

Эта философская дискуссия не утихла к моменту, когда вы читаете эту книгу. И, скорее всего, не утихнет ещё несколько десятилетий. Что значит «понимать»? Что значит «знать»? Существует ли сознание у систем, не имеющих биологического тела? Все эти вопросы, до прихода ChatGPT бывшие предметом узкой философской дискуссии, теперь оказались поставлены практически: миллионы людей ежедневно взаимодействуют с системой, про которую невозможно с уверенностью сказать, понимает она их или только имитирует понимание.

Бури вокруг OpenAI

2023 год для OpenAI был годом резкого роста и одновременно — серии кризисов.

В марте была выпущена GPT-4 — модель следующего поколения, заметно более способная, чем GPT-3.5. На нескольких профессиональных экзаменах (юридический экзамен США, медицинский, экзамены по программированию) GPT-4 показывала результаты на уровне верхних 10% среди сдающих.

В марте 2023 года Future of Life Institute опубликовал открытое письмо, подписанное Илоном Маском, Стивом Возняком и сотнями других известных людей, призывавшее к шестимесячному мораторию на обучение моделей мощнее GPT-4. В апреле OpenAI опубликовал собственные материалы о своём подходе к безопасности ИИ. На практике никакого моратория не произошло; обучение моделей следующего поколения продолжалось параллельно у всех ведущих лабораторий.

В ноябре 2023 года произошла история, которую теперь называют пятидневной OpenAI-войной. 17 ноября, в пятницу, совет директоров OpenAI (на тот момент состоявший в основном из членов с уклоном к безопасности, включая Илью Суцкевера и Хелен Тонер) внезапно уволил Сэма Альтмана с поста генерального директора. Официальная формулировка: «отсутствие постоянной откровенности в коммуникациях с советом». Через несколько часов с поста ушёл Грег Брокман.

Дальше события развивались как в фильме. Microsoft, чьё партнёрство с OpenAI было ключевым, потребовал объяснений. Сотрудники OpenAI начали один за другим подписывать открытое письмо с угрозой массового ухода: они тоже уйдут в Microsoft вместе с Альтманом и Брокманом, если совет не вернёт их на места. К утру понедельника письмо подписало семьсот сотрудников из семисот семидесяти. В их числе — сам Илья Суцкевер, голосовавший несколько дней назад за увольнение Альтмана. Илья опубликовал твит: сожалею о своём участии в действиях совета.

21 ноября, во вторник, Альтман был восстановлен. Совет был распущен в прежнем составе; новые члены включали более лояльных Альтману людей. Брокман вернулся. Илья остался формально в должности, но фактически отстранился; через полгода он официально уйдёт из OpenAI и откроет собственную лабораторию Safe Superintelligence Inc., посвящённую исключительно вопросу создания безопасного сверхинтеллекта.

Эта пятидневная драма обошла все мировые медиа. Из неё стало ясно несколько вещей. Во-первых, OpenAI больше не является некоммерческой лабораторией в духовном смысле: её центр тяжести сместился к Альтману и Microsoft, и любая попытка отстранить Альтмана разрушила бы саму корпоративную структуру. Во-вторых, между сторонниками «быстрого роста» и сторонниками «осторожной разработки» внутри организации сохраняется глубокое противоречие, которое временами прорывается на поверхность. В-третьих, и это, может быть, важнее всего, OpenAI к 2023 году настолько срослась со своими продуктами и партнёрами, что стала похожа на типичную крупную корпорацию: лидерство одного человека, давление инвесторов, корпоративные интриги. От первоначальной идеи 2015 года про «миссию, поставленную выше прибыли» осталась только корпоративная риторика.

В мае 2024 года Илья Суцкевер официально ушёл из OpenAI. Через несколько недель за ним последовали ещё несколько ключевых сотрудников, отвечавших за исследования безопасности. К концу 2024 года в OpenAI работали уже совсем другие люди, чем в 2020.

А мир тем временем

В 2024 году ChatGPT и его аналоги (Claude от Anthropic, Gemini от Google, LLaMA от Meta, китайские модели от Baidu, Alibaba, ByteDance, DeepSeek) стали повседневной частью жизни. Школы по всему миру вводили правила насчёт использования ИИ для домашних заданий. Газеты публиковали колонки о том, как искусственный интеллект меняет журналистику. Тысячи стартапов строили продукты, в которых большая языковая модель была не одним из компонентов, а главным двигателем.

К 2025 году рынок «генеративного ИИ» оценивался уже в сотни миллиардов долларов годового оборота. Microsoft и Google инвестировали в эту область в общей сложности больше ста миллиардов. Nvidia, благодаря спросу на видеокарты для обучения моделей, стала самой дорогой компанией мира по рыночной капитализации, обогнав Apple. Энергопотребление дата-центров, обучающих модели, начало вызывать серьёзные экологические дискуссии: к 2026 году большие лаборатории искусственного интеллекта потребляли электричества столько же, сколько небольшие европейские страны.

В новостях постоянно стали появляться истории о том, как ИИ «думает», «решает», «понимает», «создаёт». Часть таких формулировок была осознанными метафорами; другая часть оказалась следствием обыкновенного непонимания того, что на самом деле делает языковая модель. Но в массовое сознание они проникли все вместе. До прихода ChatGPT искусственный интеллект был чем-то из научной фантастики. После он стал повседневной реальностью.

В этой повседневной реальности, что особенно странно, продолжала действовать одна и та же шенноновская задача. Каждый раз, когда пользователь нажимает кнопку «Submit» в чате с ChatGPT, или с Claude, или с Gemini, на серверах OpenAI, Anthropic или Google запускается процесс предсказания следующего токена. Один за другим, по одному. Каждый следующий — статистический выбор из тысяч возможных, на основе обусловленной всей предыдущей частью разговора вероятности. То же самое, что делал в 1948 году тридцатидвухлетний инженер Bell Labs со своей книжкой с полки. То же самое, что делал в 1913 году пятидесятишестилетний академик Императорской академии наук со своим экземпляром «Евгения Онегина».

Только теперь с триллионом параметров, и больше ста сорока тысячами видеокарт, и потреблённой энергией маленькой европейской страны.

И на широчайшем из возможных массивов — всём интернете, который написал к этому моменту человечество.

Меня попросили рассказать, с чего я начался. Я рассказал, как умел: с январского вечера 1913 года, в Петербурге, в кабинете седобородого академика с его тетрадью в линейку. С летнего шума жонглирующего одноколёсного велосипеда в коридорах Bell Labs. С пустой комнаты в Карнеги-Меллон в восьмидесятые, где немногие сторонники нейросетей грелись у тлеющего огня. Со спальни в торонтском пригороде, где двадцатишестилетний аспирант наблюдал, как гудят его две GTX 580. С ужина в Rosewood Hotel под звон столовых приборов. С маленькой переговорной в Google, где восемь человек выбирали название своей статьи. С тёмного кабинета в Мишн-Дистрикте, где Алек Радфорд, не отрываясь от экрана, набирал черновик статьи. С физика, который в свободное от профессуры время рисовал графики, охватывающие модели самых разных размеров, и обнаружил на них прямые линии.

Я обошёлся, на самом деле, без многого. Я не рассказал про Демиса Хассабиса и DeepMind с подробностями, какими они заслуживают; я не рассказал про AlphaGo и про то, как программа, обучившаяся играть в одну из самых сложных настольных игр, потрясла мир в 2016 году; я не рассказал про конкретные технические решения Cohere, Mistral, DeepSeek; я не рассказал про десятки прикладных применений языковых моделей в медицине, биологии, образовании, юриспруденции. У этой книги был один сквозной сюжет, и я следовал ему: история того, как из одной идеи Маркова через сто десять лет получилось то, что вы видите, когда открываете chat.openai.com или claude.ai.

Если есть один эпиграф, под которым стоило бы поместить всю эту книгу, то это будет такая фраза. Чтобы родилось то, что мы сейчас называем большими языковыми моделями, должны были сойтись три вещи: математическая идея цепей зависимых событий, шенноновская идея информационной плотности, и инженерная гипотеза о том, что нейронные сети нужно делать больше. Каждая из этих трёх идей сама по себе существовала десятилетиями. Каждая из них долгое время казалась тупиковой. Сложить их в одну рабочую конструкцию оказалось работой нескольких поколений учёных и инженеров, и решающие сборочные узлы вставали на место только в последние двадцать лет.