Искусственный интеллект проникает во все секторы экономики, связи, здравоохранения и даже транспорта – благодаря созданию беспилотных автомобилей… Многие наблюдатели говорят уже не о технологической эволюции, а о революции.

«Алекса, какая погода в Буэнос-Айресе?» Менее чем за секунду «умная» акустическая система записывает вопрос, передает его через домашний Wi-Fi на серверы Amazon, которые транскрибируют и интерпретируют его. Затем они получают информацию от метеорологической службы и возвращают ответ, который Алекса озвучивает приятным голосом: «В настоящее время в Буэнос-Айресе, Аргентина, температура воздуха 22 ℃. Пасмурно».

В офисе ИИ – прилежный помощник. Он работает быстро, и его не пугают повторяющиеся задачи. Он может просмотреть миллионы записей в базе денных в поисках цитаты и найти нужную за долю секунды благодаря возможностям современных компьютеров, скорость вычислений у которых сделалась почти невероятной.

Один из первых программируемых электронных компьютеров, ENIAC, построенный в 1945 г. в Университете Пенсильвании для расчета траектории полета снарядов, выполнял приблизительно 360 умножений в секунду для десятизначных цифр. Сейчас эта машина выглядит неповоротливым доисторическим чудищем. Процессоры нынешних персональных компьютеров в миллиард раз быстрее. Они имеют производительность в сотни гигафлопс[1]. Графические процессоры, используемые нашими компьютерами для визуализации, имеют производительность в несколько десятков терафлопс. Гигантские числа с впечатляющими названиями.

Их уже не остановить! Современные суперкомпьютеры объединяют десятки тысяч этих графических процессоров и достигают скорости в сотни тысяч терафлопс, производя колоссальные объемы вычислений для всевозможных симуляций: прогнозирования погоды, моделирования климата, расчета воздушного потока вокруг самолета или конформации белка, моделирования таких головокружительных событий, как первые мгновения существования Вселенной, смерть звезды, эволюция галактик, столкновения элементарных частиц или ядерный взрыв.

Такие симуляции включают численное решение дифференциальных уравнений или уравнений в частных производных – это задача, которую в прошлом математикам приходилось решать вручную. И все же – так ли умны эти вычислительные гиганты, как математики прошлых лет? Нет, конечно… во всяком случае, пока. Одна из задач развития искусственного интеллекта заключается в том, чтобы когда-нибудь научить машины использовать их огромную вычислительную мощность для решения интеллектуальных задач, сейчас подвластных только животным и людям.

Не стоит судить только по внешности. Программы искусственного интеллекта умеют хорошо учиться, но лишь до определенного момента. В 2017 г. робот Норико Араи – специалиста Токийского университета, изучавшего влияние ИТ на общество, успешно сдал вступительный экзамен в один из японских университетов. Программа, получившая название Todai (название университета), сдала эссе, экзамены по математике и английскому языку лучше 80 % абитуриентов. Но это не значит, что система была умной: на самом деле робот вообще не понимал, что он пишет! Успех программы скорее говорит о несовершенстве как вступительных испытаний в высшие успешные заведения Японии, так и машинного интеллекта. Мы были бы рады, если, в конечном счете, Todai провалится на более продуманно организованных экзаменах.

Искусственный интеллект может быть хорошим художником, точнее – копиистом. Он мастерски создает произведения «в стиле». Он способен превратить любую фотографию в картину Моне, сделать из зимнего пейзажа весенний[2] или заменить лошадь зеброй на видео. Остерегайтесь фальшивых видеороликов! Более того: в 2017 г. команда Ахмеда Эльгаммала из Университета Рутгерса (США) разработала систему, создающую картины, так похожие на оригинальные творения некоторых художников, что эксперты не могут отличить их от реальных картин тех же художников[3].

Музыка – тоже не исключение. Многие исследователи используют методы искусственного интеллекта для синтеза звука и музыкальной композиции. Так 21 марта 2019 г. в честь дня рождения Иоганна Себастьяна Баха связанный с Google[4] проект Magenta анонсировал новую систему, названную Google Doodle[5], которая позволяет любому пользователю сочинять и аранжировать мелодию в стиле известного композитора. Вспомним также, что 4 февраля 2019 г. в Лондонском концертном зале Cadogan Hall 66 музыкантов английского оркестра «English Session Orchestra» публично исполнили новую версию Симфонии № 8 Шуберта, известную как «неоконченная». В тот вечер она стала законченной. После анализа двух существующих частей система искусственного интеллекта, разработанная компанией Huawei, создала две недостающие части музыкального произведения (впрочем, композитору Лукасу Кантору все-таки пришлось написать партитуру для оркестра).

София – красивая девушка со стрижкой «под ноль», загадочной улыбкой и кристально-чистыми глазами, стала настоящей звездой 2017 г. «Вы смотрите слишком много голливудских фильмов!» – усмехается она в ответ журналисту, который выразил беспокойство о том, что однажды роботы захватят Землю. Ее появление вызвало такой общественный резонанс, что в том же году Саудовская Аравия предоставила ей гражданство. На самом деле это прекрасное существо было всего лишь марионеткой, для которой программисты написали набор стандартных ответов на самые разные вопросы. То, что ей говорят, обрабатывается системой сопоставления, которая выбирает из каталога возможных ответов наиболее подходящий к данному случаю.

Софья обманывает свою аудиторию. Она не умнее, чем Todai в Токио. Просто у нее более выраженная и живая мимика, и мы, люди, впечатленные этой анимацией, верим в наличие у человекообразного робота настоящего ума.

Мир искусственного интеллекта меняется. Его границы постоянно расширяются. Когда та или иная проблема решена, она покидает сферу искусственного интеллекта и постепенно переходит в классический набор инструментов.

Например, преобразование математических формул в инструкции, выполняемые компьютером, было делом искусственного интеллекта лишь в 1950-х гг., когда информатика только зарождалась как наука. Сегодня – это обычная функция компиляторов – программ, которые преобразуют программы, написанные инженерами, в наборы инструкций, которые непосредственно исполняются машиной. А компиляция как предмет преподается всем студентам-компьютерщикам.

Или возьмем задачу поиска маршрута. В 1960-е она явно принадлежала к области ИИ. Сегодня – это опять всего лишь стандартный инструмент, каких много. Существуют эффективные алгоритмы поиска кратчайшего пути в графе (сети взаимосвязанных узлов), такие как алгоритм Дейкстры 1959 г.[6] или алгоритм A* («А звезда») Харта, Нильссона и Рафаэля 1969 г.[7] С повсеместным распространением GPS эта задача далеко отошла от переднего края науки.

Ядром искусственного интеллекта в 1970-х и 1980-х гг. был набор методов автоматического рассуждения, основанных на логике и манипулировании символами. С некоторой издевкой англоязычные сторонники этого подхода называют подобные системы GOFAI (аббревиатурой от Good Old-Fashioned Artificial Intelligence, то есть «старый добрый искусственный интеллект»).

Перейдем теперь к экспертным системам, где машина вывода применяет правила к фактам и выводит из них новые факты. В 1975 г. MYCIN, например, должен был помочь врачам выявлять острые инфекции, такие как менингит, и назначать лечение антибиотиками. В нем было около 600 правил вроде: «ЕСЛИ инфекционный организм грамотрицательный, И организм палочковидный, И организм анаэробный, ТО этот организм является (с вероятностью 60 %) бактерией».

Для своего времени MYCIN была инновационной системой. Ее правила включали в том числе и факторы достоверности, которые система объединяла для получения оценки общей достоверности результата. Она был оборудована так называемым механизмом вывода с «обратной связью», посредством которого система выдвигала одну или несколько диагностических гипотез и расспрашивала практикующего врача о симптомах пациента. В процессе этого система уточняла гипотезы в зависимости от ответов и ставила диагноз, и, наконец, назначала антибиотик и дозировку (с той или иной степенью уверенности).

Чтобы создать такую систему, врач-эксперт должен был сидеть рядом с инженером и подробно рассказывать инженеру о своих рассуждениях. Как он диагностирует аппендицит или менингит? Какие при этом бывают симптомы? Так у MYCIN появлялись правила. Иначе говоря, если у пациента имеется определенный симптом, то существует такая-то вероятность аппендицита, такая-то вероятность непроходимости кишечника и такая-то вероятность почечной колики. Инженер вручную записывал эти правила в базу.

Надежность MYCIN (и ее преемников) была довольно неплохой. Но они так и не вышли за рамки эксперимента. Компьютеризация в медицине тогда только зарождалась, а процесс ввода данных был утомительным. В конце концов, все эти экспертные системы, основанные на логике и деревьях поиска, оказались слишком тяжелыми и сложными в разработке. Они вышли из употребления, но остаются эталоном и продолжают описываться в учебниках по искусственному интеллекту.

Тем не менее работа над логикой привела к появлению некоторых важных приложений: к символьному решению уравнений и исчислению интегралов в математике, а также к автоматической проверке программ. Например, с его помощью компания Airbus проверяет точность и надежность своего программного обеспечения для управления пассажирскими самолетами.

Часть исследовательского сообщества ИИ продолжает работать над этими темами. Другие специалисты, к которым принадлежу и я, посвятили себя совершенно другим подходам, основанным на машинном обучении.

Рассуждения – это лишь малая часть человеческого разума. Мы часто думаем по аналогии, мы действуем интуитивно, опираясь на представления о мире, постепенно приобретаемые через опыт. Восприятие, интуиция, опыт, наборы усвоенных навыков – все это результат обучения.

В таких условиях, если мы хотим построить машину, интеллект которой будет приближен к человеческому, мы должны сделать ее тоже способной к обучению. Человеческий мозг состоит из 86 млрд взаимосвязанных нейронов (или нервных клеток), 16 млрд из которых находятся в коре головного мозга. В среднем каждый нейрон образует почти 2000 других соединений с другими нейронами – так называемых синапсов. Обучение происходит путем создания синапсов, удаления синапсов или изменения их эффективности. Поэтому, используя самый известный подход к машинному обучению, мы создаем искусственные нейронные сети, процесс обучения которых изменяет связи между нейронами. Приведем несколько общих принципов.

Машинное обучение включает первый этап обучения или тренировки, когда машина постепенно «учится» выполнять задачу, и второй этап – реализацию – когда машина закончила обучение.

Чтобы научить машину определять, содержит ли изображение автомобиль или самолет, мы должны начать с представления ей тысяч изображений, содержащих самолет или автомобиль. Каждый раз, когда на входе системе дается изображение, нейронная сеть (или «нейросеть»), состоящая из соединенных между собой искусственных нейронов (в действительности – это множество математических функций, вычисляемых компьютером), обрабатывает это изображение и выдает выходной ответ. Если ответ правильный, мы ничего не делаем и переходим к следующему изображению. Если ответ неверный, мы немного корректируем внутренние параметры машины, то есть силу связей между нейронами, чтобы ее выходной сигнал приближался к желаемому ответу. Со временем система настраивается и в конечном итоге сможет распознать любой объект, будь то изображение, которое она видела ранее, или любое другое. Это называется способностью к обобщению.

Сравнение этой способности нейросетей с соответствующими функциями мозга говорит о том, что машинам до нас еще далеко. Приведем некоторые цифры. В мозге 8,6·10¹⁰ нейронов, связанных между собой примерно 1,5·10¹⁴ синапсами. Каждый синапс может выполнять «вычисление» сотни раз в секунду. Данный синаптический расчет эквивалентен сотне цифровых операций на компьютере (умножение, сложение и т. д.) или 1,5·10¹⁸ операций в секунду для всего мозга, хотя в действительности лишь часть нейронов активна в любой момент времени. Для сравнения, карта GPU (графического процессора) может выполнять 10¹³ операций в секунду. Чтобы приблизиться к мощности мозга, потребуется 100 000 видеокарт. И тут есть одна загвоздка: человеческий мозг потребляет мощность, эквивалентную 25 Вт. Карта с одним GPU (графического процессора) потребляет в десять раз больше, т. е. 250 Вт. Электронные цепи в миллион раз менее эффективны, чем биологические.

Сегодняшние приложения, как правило, используют сочетание машинного обучения, GOFAI и классических вычислений. Рассмотрим машину, способную управлять автомобилем без водителя. Бортовая система визуального распознавания, обученная распознавать визуальные объекты и сигналы, присутствующие на дороге, использует определенную архитектуру нейронной сети, называемую «сверточной сетью». Но решение, которое принимает автопилот автомобиля, когда он «видит» разметку полосы движения, тротуар, припаркованный автомобиль или велосипед, зависит от традиционных систем планирования траектории движения, с правилами, написанными вручную, или же систем, основанных на правилах, которые относятся к области GOFAI.

Полностью автономные транспортные средства находятся все еще на этапе тестирования, но ряд коммерческих автомобилей, подобных «Tesla» 2015 г., уже имеют системы помощи водителю с использованием сверточных сетей. Регуляторы скорости, оснащенные системами технического зрения, берут транспортное средство под автономное управление на автостраде, удерживают его в пределах полосы движения или автоматически меняют ее после того, как водитель включает сигнал поворота, и при этом следят за наличием других автомобилей вокруг.

Мы будем писать о возможностях и приложении искусственного интеллекта на протяжении всей этой книги, но сейчас пришло время сделать шаг назад. Как определить общие черты всех этих интеллектуальных машин?

Я бы сказал, что искусственный интеллект – это способность машины выполнять задачи, обычно выполняемые животными и людьми, то есть воспринимать, рассуждать и действовать. Эти свойства неотделимы от способности учиться, как это наблюдается и у живых существ. Системы искусственного интеллекта – это просто очень сложные электронные схемы и компьютерные программы. Но возможности хранения информации, доступ к памяти, скорость вычислений и возможности обучения позволяют им «абстрагироваться» от конкретных примеров, содержащейся в огромных объемах данных.

Воспринимать, рассуждать и действовать. Алана Тьюринга – английского математика, оказавшего существенное влияние на развитие информатики и расшифровавшего Enigma – систему шифрования сообщений немецкой армии времен Второй мировой войны, можно назвать первым «пророком» обучающихся машин. Он уже проникся важностью обучения, когда написал: «Вместо того чтобы пытаться создать программу, имитирующую сознание взрослого, почему бы не попытаться создать такую, которая имитирует ум ребенка. Ведь если ум ребенка получает соответствующее воспитание, он становится умом взрослого человека»[8].

Имя Алана Тьюринга связано, кроме того, со знаменитым тестом, суть которого сводится к диалогу между человеком и двумя собеседниками, которых он не видит: компьютером и еще одним человеком[9]. Если по истечении некоторого заданного времени человек не определяет, кто из двух «собеседников» является машиной, значит, машина успешно прошла тест. Но достижения в области ИИ сегодня таковы, что эксперты больше не считают тест Тьюринга эффективным. Способность вести осмысленный диалог является лишь одной из форм интеллекта, и здесь искусственный интеллект легко может обмануть даже опытного эксперта: для этого машине достаточно выдать себя за рассеянного и слегка аутичного подростка, плохо знающего английский язык, чтобы объяснить недостаточное понимание собеседника и ошибки в собственной речи.

Я уверен, что глубокое обучение – это неотъемлемая часть будущего искусственного интеллекта. Однако на сегодняшний день эти системы не способны к логическим рассуждениям. В то же время подходы к ИИ, основанные на логике, в нынешнем их состоянии несовместимы с обучением. Наша важнейшая задача на ближайшие годы – сделать эти два подхода совместимыми друг с другом.

Таким образом, глубокое обучение пока остается очень мощным… и очень ограниченным инструментом. Речь не идет о том, чтобы заставить машину, обученную игре в шахматы, работать, и наоборот. Она выполняет действия, не имея ни малейшего представления о том, что делает, и не обладает здравым смыслом. Если бы системы искусственного интеллекта были помещены на шкалу интеллектуальных способностей от мыши до человека, то они оказались бы намного ближе к мыши, чем к человеку – и это несмотря на то, что производительность ИИ в точных и узкоспециализированных задачах является сверхчеловеческой.

Алгоритм – это последовательность инструкций. Вот и все. В этом нет ничего волшебного. Ничего непонятного. Приведем пример. Возьмем список цифр, которые я хочу расставить в порядке возрастания. Я пишу компьютерную программу, которая считывает первое число, сравнивает его со следующим и меняет их положение, если первое больше второго. Затем я сравниваю второе и третье и повторяю ту же операцию до последнего числа в списке. Затем я возвращаюсь к списку столько раз, сколько необходимо, пока при очередном проходе число произошедших замен не станет равным нулю.

Данный алгоритм сортировки списка чисел называется «сортировкой пузырьком». Я могу перевести его в серию точных инструкций на вымышленном языке программирования[10].

Американский автор Памела Маккордак заметила как-то, что история искусственного интеллекта начинается с «извечного желания играть в Бога». Издавна человек пытается сконструировать устройства, создающие иллюзию жизни. В XX веке достижения науки дали надежду на механизацию мыслительного процесса. С появлением первых роботов и компьютеров в 1950-х гг. некоторые утописты предсказывали, что вычислительные машины быстро достигнут уровня человеческого интеллекта. Фантасты описали такие компьютеры во всех подробностях, но на сегодняшний день мы еще далеки от их воплощения в реальность.

Прогресс на этом долгом пути зависит от технических инноваций: более быстрые процессоры, более емкие устройства памяти. В 1977 г. у суперкомпьютера Cray-1 вычислительная мощность составляла 160 MFLOPS (мегафлопс). Он весил 5 т, потреблял 115 кВт·ч и стоил 8 млн долларов. На сегодняшний день игровая видеокарта стоимостью 300 евро, которую можно найти в компьютере у каждого второго увлеченного видеоиграми школьника, обеспечивает скорость 10 TFLOPS (терафлопс), или в 60 000 раз больше. Скоро любой смартфон сможет похвастаться такой мощностью.

История искусственного интеллекта в современном понимании берет начало с Дартмутского семинара, на котором впервые и прозвучал сам термин «искусственный интеллект». Семинар проходил летом 1956 г. в Дартмутском колледже недалеко от Ганновера, штат Нью-Гэмпшир, и был организован двумя исследователями – Марвином Мински и Джоном МакКарти. Марвин Мински был увлечен концепцией самообучающейся машины. В 1951 г. он в компании еще одного студента из Принстона построил одну из первых подобных машин, SNARC, небольшую электронную нейронную сеть с 40 «синапсами», способную к элементарному обучению. Джон МакКарти, в свою очередь, изобрел LISP, язык программирования, широко используемый в разработке ИИ.

Джону МакКарти также приписывают применение графов для создания шахматных программ. В работе семинара приняло участие около 20 исследователей, в том числе Клод Шеннон, инженер-электротехник и математик из Bell Labs (лаборатории гигантской телефонной компании AT&T в Нью-Джерси), Натан Рочестер из IBM и Рэй Соломонофф – основоположник концепции машинного обучения.

Участники бурно обсуждали области, движимые зарождающимися автоматизированными вычислениями и кибернетикой: изучение правил в естественных и искусственных системах, сложная обработка информации, искусственные нейронные сети, теория автоматов… На этом небольшом семинаре были разработаны и декларированы основные принципы и подходы к созданию искусственного интеллекта. Сам термин предложил все тот же Джон МакКарти.

В настоящее время часть ученых представляет себе интеллектуальные машины, работающие только на основе логики и использующие для этого деревья поиска и экспертные системы. Инженер вводит в систему данные и правила их обработки, а система извлекает из них результаты вычислений или анализа. Более широкая цель ученых заключается в создании машины, способной заменить человека в сложных рассуждениях. Аллан Ньюэлл и Герберт Саймон из Университета Карнеги-Меллона в Питтсбурге первыми разработали программу Logic Theorist («Логический теоретик»), которая умела доказывать простые математические теоремы, исследуя дерево поиска, составленное из преобразований математических формул. Это было прекрасное время.

Однако через некоторое время тематика ИИ надолго погрузилась в спячку. В 1970 г. Агентство Министерства обороны США ARPA[11] сократило бюджеты фундаментальных исследований в области ИИ. Три года спустя, после отчёта Лайтхилла, который дал крайне пессимистические прогнозы для будущих исследований в области искусственного интеллекта, Великобритания сделала то же самое. Нет денег – нет исследований…

Процесс сдвинулся с мертвой точки в начале 1980-х. В то время большие надежды подавали экспертные системы, и Япония запустила амбициозный проект по созданию «компьютера пятого поколения», который должен был интегрировать навыки логического мышления в саму его конструкцию. Он должен был уметь вести беседу, переводить тексты, интерпретировать изображения и, возможно, даже рассуждать, как человек. К сожалению, эта идея себя не оправдала. Разработка и коммерциализация экспертных систем, таких как MYCIN, о которой мы уже говорили, оказались намного сложнее, чем ожидалось.

Идея поставить рядом с врачами или инженерами когнитологов (специалистов по восприятию и познанию), пытавшихся записать ход их мыслей или рассуждений в процессе диагностики болезни или неисправности, не сработала. Это опять оказалось сложнее, дороже и вовсе не так надежно, как предполагалось вначале, и к тому же упрощало знания и опыт, накопленные специалистом, до примитивного набора правил.

С этим «классическим» интеллектом, который так трудно воспроизвести, связаны алгоритмы на графах, которые тоже имели в свое время оглушительный успех.

В 1997 г. чемпиона мира по шахматам Гарри Каспарова пригласили в Нью-Йорк принять участие в матче из шести партий против Deep Blue, суперкомпьютера, созданного транснациональной корпорацией IBM, – монстра высотой почти 2 м и весом 1,4 т. В шестой, заключительной партии матча, которую предваряли три ничьи и по одной победе с каждой стороны, Гарри Каспаров сдался уже на двадцатом ходу. Он признался, что был поражен и побежден вычислительной мощью машины.

Давайте на минутку остановимся на устройстве Deep Blue. В компьютере было 30 процессоров, дополненных 480 схемами, специально разработанными для проверки позиций на шахматной доске. Обладая такой вычислительной мощностью, машина могла оценивать качество примерно 200 млн позиций на доске в секунду, используя классические алгоритмы деревьев поиска.

Несколько лет спустя, 14, 15 и 16 февраля 2011 г., после трех раундов игры компьютер IBM Watson одержал победу в американской игре-викторине – Jeopardy! Аватар компьютера, размещенный между двумя чемпионами, представлял собой земной шар, покрытый световыми лучами. Программа, написанная учеными-компьютерщиками, удаляла из вопроса ненужные слова (артикли, предлоги…), определяла значимые слова и искала эти слова в огромном количестве текстов, порядка 200 млн страниц, определяя там те предложения, в которых можно было найти ответ.

Эти тексты, а именно вся Википедия, энциклопедии, словари, тезаурусы, сообщения информационных агентств, литературные произведения, хранились в его оперативной памяти объемом 16 терабайт[12] (жесткие диски были бы слишком медленными для таких задач). Сотни тысяч объектов и имен собственных сформировали большой список записей, каждая из которых относилась к определенной статье Википедии, веб-странице или тексту, где она появилась… Система Watson проверяла, существует ли документ, в котором присутствует часть ключевых терминов вопроса. После этой проверки проблема сводилась к нахождению правильного ответа в статье.

Например, если бы вопрос звучал так: «Где родился Барак Обама?», система Watson знала, что ответом будет название места. В ее базе данных был список всех документов, в которых упоминался Барак Обама. Поэтому где-нибудь обязательно нашлась бы статья со словами «Обама», «родился» и «Гавайи». Затем машине просто нужно было выбрать слово «Гавайи», соответствующее ответу. Watson, по сути, состояла из системы быстрого поиска информации в сочетании с хорошей индексацией данных. Но эта система не понимала смысла вопроса. Она вела себя как школьник, выполняющий домашнее задание с открытой книгой (или открытой Википедией!). На заданный вопрос она может найти правильный ответ в учебнике и переписать его, ничего не понимая в том, что пишет.

В 2016 г. появляется еще одно достижение. В Сеуле южнокорейский чемпион по игре в го был побежден своим компьютерным противником AlphaGo, внушительной системой, разработанной DeepMind, дочерней компанией Google. Восемнадцатикратный чемпион мира Ли Седоль проиграл машине четыре игры из пяти. В отличие от Deep Blue, AlphaGo была «обучена». Она тренировалась, играя против самой себя, сочетая при этом несколько хорошо известных методов: сверточные сети, усиленное обучение и метод Монте-Карло для поиска в дереве, метод «рандомизированных деревьев поиска». Впрочем, не будем забегать вперед.

В 1950-х гг., когда «великие магистры» классического искусственного интеллекта, основанного на логике и графах, раздвинули границы его применения, пионеры машинного обучения сформулировали альтернативные идеи. Они были уверены, что логики недостаточно, чтобы компьютерные системы были способны решать сложные задачи. Необходимо было приблизиться к функционированию мозга и тем самым сделать системы способными программировать самих себя, опираясь на механизмы обучения мозга. Это направление основано на так называемом «глубоком обучении» (deep learning) и искусственных нейронных сетях, – именно в этой области я и работаю. На подобных механизмах основана работа большинства продвинутых современных приложений, включая автономные автомобили.

Происхождение метода относится к середине прошлого века. Еще в 1950-х гг. пионеры искусственного интеллекта поддерживали теории, разработанные Дональдом Хеббом, канадским психологом и нейробиологом, который, в частности, размышлял о роли нейронных связей в обучении. Вместо того чтобы воспроизводить логические цепочки человеческих рассуждений, почему бы не исследовать их носитель, этот потрясающий биологический процессор, которым является мозг?

Таким образом, исследователи вычислений сконцентрировались на нейронном способе обработки информации в отличие от ранее применявшейся логической, или «последовательной», обработки. Они нацелились на моделирование биологических нейронных цепей. Машинное обучение, на которое были направлены их усилия, основывалось на оригинальной архитектуре, сети математических функций, которые по аналогии называют «искусственными нейронами».

Они улавливают входной сигнал, и нейроны в сети обрабатывают его таким образом, что на выходе этот сигнал идентифицируется. Сложность операции, например, распознавание образов, поддерживается комбинированным взаимодействием очень простых элементов, а именно искусственных нейронов. Так и в нашем мозге взаимодействие основных функциональных единиц – нейронов – порождает сложные мысли.

Возникновение описываемой концепции датируется 1957 г.: в том же году в Корнельском университете психолог Фрэнк Розенблатт, вдохновленный когнитивной теорией Дональда Хебба, построил перцептрон – первую обучающуюся машину. Мы рассмотрим ее в следующей главе, так как она являются эталонной моделью машинного обучения. После обучения перцептрон способен, например, распознавать образы (геометрические фигуры, буквы и т. д.).

В 1970-х гг. два американца, Ричард Дуда, в то время профессор электротехники в Университете Сан-Хосе (Калифорния), и Питер Харт – ученый-компьютерщик из SRI (Стэнфордского исследовательского института) в Менло-Парке (Калифорния), обсуждали все эти так называемые методы «распознавания статистических форм[13]», примером которых является перцептрон. С самого начала их руководство стало мировым эталоном, Библией распознавания образов для всех студентов… и для меня тоже.

Но перцептрон далеко не всесилен. Система, состоящая из одного слоя искусственных нейронов, имеет «врожденные» ограничения. Исследователи пытались увеличить его эффективность, вводя несколько слоев нейронов вместо одного. Но без алгоритма обучения слоев, который к тому моменту еще не был известен, такие машины все еще оставались очень малоэффективными.

Перейдем к кому времени, когда в 1969 г. Сеймур Паперт и Марвин Мински – тот самый, который в 1950-х гг. увлекался искусственными нейронными сетями, прежде чем отречься от них, опубликовали книгу «Перцептроны: Введение в вычислительную геометрию»[14]. Они математически доказали пределы возможностей перцептрона, и некоторые из доказанных ими ограничений по сути поставили крест на использовании этой и подобных машин.

Казалось, развитие уперлось в непреодолимую стену. Эти два профессора Массачусетского технологического института пользовались большим авторитетом, так что их работа наделала много шума. Агентства, финансирующие исследования, прекратили поддержку исследовательских работ в этой области. Как и исследования в GOFAI, исследования нейронных сетей пережили серьезный застой.

В этот период большинство ученых перестали говорить о создании умных машин, способных к обучению. Они предпочитали ограничивать свои амбиции более приземленными проектами. Используя методы, унаследованные от нейронных сетей, они создали, например, «адаптивную фильтрацию» – процесс, лежащий в основе многих коммуникационных технологий в современном мире. Прежде физические свойства проводных линий связи сильно ограничивали передачу высокочастотных сигналов, приводя к их существенным искажениям уже на расстоянии нескольких километров. Теперь сигнал восстанавливается с помощью адаптивного фильтра. Используемый алгоритм называется Luckyʼs Algorithm в честь его изобретателя Боба Лаки, который в конце 1980-х руководил отделом Bell Labs, где тогда работало около 300 человек. в том числе и я.

Без адаптивной фильтрации у нас не было бы телефона с громкой связью, который позволяет вам говорить в микрофон без самовозбуждения, происходящего от усиления микрофоном звука громкоговорителя (когда это случается, мы слышим громкий вой или свист). В эхокомпенсаторах, кстати, используются алгоритмы, очень похожие на алгоритм перцептрона.

Не появился бы без этой технологии и модем[15]. Это устройство позволяет одному компьютеру коммуницировать с другим компьютером по телефонной линии или иной линии связи.

Тем не менее, и во времена застоя в 1970-х и 1980-х гг. некоторые ученые продолжали работать над нейронными сетями, хотя научное сообщество считало их сумасшедшими, чуть ли не фанатиками. Я имею в виду Теуво Кохонена, финна, который написал об «ассоциативных воспоминаниях» – теме, близкой к нейронным сетям. Я также говорю и о группе японцев – в Японии существует изолированная инженерная экосистема, отличная от западной, – и среди них о математике Сун-Ити Амари и исследователе искусственного интеллекта Кунихико Фукусима. Последний работал над машиной, которую он назвал «когнитроном», по аналогии с термином «перцептрон». Он создал две его версии: «когнитрон» 1970-х и «неокогнитрон» 1980-х. Как и Розенблатт в свое время, Фукусима был вдохновлен достижениями нейробиологии, особенно открытиями американца Дэвида Хьюбела и шведа Торстен Н. Визеля.

Эти два нейробиолога получили Нобелевскую премию по физиологии в 1981 г. за свою работу над зрительной системой кошек. Они обнаружили, что зрение возникает в результате прохождения визуального сигнала через несколько слоев нейронов, от сетчатки до первичной зрительной коры, затем в другие области зрительной коры, и, наконец – в нижневисочную кору. Нейроны в каждом из этих слоев выполняют особые функции. В первичной зрительной коре каждый нейрон связан только с небольшой областью поля зрения, а именно со своим рецепторным полем. Такие нейроны называются «простыми». В следующем слое другие нейроны включают активацию предыдущего слоя, что помогает поддерживать представление изображения, если объект немного перемещается в поле зрения. Такие нейроны называются «сложными».

Таким образом, Фукусима был вдохновлен идеей первого слоя простых нейронов, которые обнаруживают простые узоры в небольших рецепторных полях, выдающих изображение, и сложных нейронов в следующем слое. Всего в неокогнитроне было пять слоев: простые нейроны – сложные нейроны – простые нейроны – сложные нейроны, и затем «классификационный слой», подобный перцептрону. Он, очевидно, использовал для первых четырех уровней некоторый алгоритм обучения, но последний был «неконтролируемым», то есть он не принимал во внимание конечную задачу. Такие слои обучались «вслепую». Только последний слой обучался под наблюдением (как и перцептрон). У Фукусимы не было алгоритма обучения, который регулировал бы параметры всех слоев его неокогнитрона. Однако его сеть позволяла распознавать довольно простые формы, например, символы чисел.

В начале 1980-х гг. идеи Фукусимы поддерживали и другие ученые. Некоторые североамериканские исследовательские группы также работали в этой области: психологи Джей Макклелланд и Дэвид Румелхарт, биофизики Джон Хопфилд и Терри Сейновски, и ученые-компьютерщики, в частности Джеффри Хинтон – тот самый, с которым я впоследствии разделю Премию Тьюринга, присужденную в 2019 г.

Я начал интересоваться всеми этими темами в 1970-х гг. Возможно, любопытство к ним зародилось во мне еще, когда я наблюдал за моим отцом, авиационным инженером и мастером на все руки, который в свободное время занимался электроникой. Он строил модели самолетов с дистанционным управлением. Я помню, как он сделал свой первый пульт для управления небольшой машиной и лодкой во время забастовок в мае 1968 г., когда он проводил много времени дома. Я не единственный в семье, кому он передал свою страсть к любимому делу. Мой брат, который на шесть лет младше меня, тоже сделался ученым-компьютерщиком. После академической карьеры он стал исследователем в компании Google.

С самого раннего детства меня манили новые технологии, компьютеризация, покорение космоса… Еще я мечтал стать палеонтологом, потому что меня очень интриговал человеческий интеллект и его эволюция. Даже сегодня я по-прежнему верю, что работа нашего мозга остается самой загадочной вещью в мире. Я помню, как в Париже на большом экране я вместе с моими родителями, а также дядей и тетей – «фанатами» научной фантастики, смотрел фильм «2001: Космическая одиссея». Мне было тогда восемь лет. Фильм затронул все, что я любил: космические путешествия, будущее человечества и восстание суперкомпьютера «Хэл», который готов был убивать ради собственного выживания и успеха миссии. Уже тогда меня волновал вопрос о том, как воспроизвести человеческий интеллект в машине.

Неудивительно, что после школы я захотел воплотить эти мечты в жизнь. В 1978 г. я поступил в Парижскую высшую школу электронной инженерии (École Supérieure d'Ingénieurs en Électrotechnique et Électronique, ESIEE) в которую можно подавать заявление сразу после получения степени бакалавра, без затрат времени на дополнительную подготовку. (Откровенно говоря, длинная учеба – не единственный способ добиться успеха в науке. Я могу это подтвердить на своем примере.) А поскольку учеба в ESIEE предоставляет студенту некоторую свободу, я сумел воспользоваться этим.

Меня воодушевили новости о дебатах на конференции Cerisy о врожденном и приобретенном знании[16], прочитанные мною в 1980 г. Лингвист Ноам Хомски подтвердил, что в мозге существуют исходно заложенные структуры, позволяющие человеку научиться языку. Психолог Жан Пиаже защищал идею о том, что любое обучение задействует определенные, уже существующие структуры мозга, и что овладение языком осуществляется поэтапно по мере того, как формируется интеллект. Таким образом, интеллект будет результатом обучения, основанного на обмене информацией с внешним миром. Эта идея мне понравилась, и мне стало интересно, как ее можно применить в отношении машины. В этой дискуссии принимали участие именитые ученые, в том числе Сеймур Паперт. В ней он восхвалял перцептрон, который описывал как простую машину, способную обучаться сложным задачам.

Так я и узнал о существовании обучающейся машины. Эта тема меня просто очаровала! Поскольку я не учился по средам после обеда, я начал рыскать по полкам библиотеки Национального института компьютерных и автоматических исследований в Роккенкуре (National Institute for Research in Digital Science and Technology, сокращенно «Inria»). У этого учреждения самый богатый библиотечный фонд ИТ-литературы в Иль-де-Франс. Я вдруг понял, что на Западе больше никто не работает с нейронными сетями, и с еще большим удивлением обнаружил, что книга, положившая конец исследованиям перцептрона, принадлежит перу того же самого Сеймура Паперта!

Теория систем, которую в 1950-х гг. мы называли кибернетикой, и которая изучает естественные (биологические) и искусственные системы – еще одна моя страсть. Возьмем, например, систему регулирования температуры тела: организм человека поддерживает температуру 37 ℃ благодаря наличию своеобразного «термостата», который корректирует разницу между своей температурой и температурой снаружи.

Меня увлекла идея самоорганизации систем. Каким образом относительно простые молекулы или объекты могут спонтанно организовываться в сложные структуры? Как может появиться интеллект из большого набора простых взаимодействующих нейронов?

Я изучал математические работы по теории алгоритмической сложности Колмогорова, Соломонова и Чайтина. Книга Дуды и Харта[17], о которой я уже упоминал, стала для меня настольной. Я читал журнал «Биологическая кибернетика» («Biological Cybernetics. Advances in Computational Neuroscience and in Control and Information Theory for Biological Systems», издательство Springer), посвященный математическим моделям работы мозга или живых систем.

Все эти вопросы, оставленные без ответа в период застоя искусственного интеллекта, не выходили у меня из головы, и у меня постепенно стало формироваться убеждение: если мы хотим создавать интеллектуальные машины, недостаточно, чтобы они работали только логически, они должны быть способными учиться, совершенствоваться на собственном опыте.

Читая все эти труды, я понимал, что часть научного сообщества разделяет мое виденье проблемы. Вскоре я познакомился с работами Фукусимы и задумался о способах повышения эффективности нейронных сетей неокогнитрона. К счастью, ESIEE предоставлял студентам компьютеры, которые для того времени были очень мощными. Мы писали программы с Филиппе Метсу, школьным другом, любителем искусственного интеллекта, как и я, хотя его больше интересовала психология обучения детей. Преподаватели математики согласились заниматься с нами дополнительно. Вместе мы пытались моделировать нейронные сети. Но эксперименты отнимали очень много сил: компьютеры не тянули наши эксперименты, а написание программ было сплошной головной болью.

На четвертый год обучения в ESIEE, одержимый этим исследованием, я догадался о не совсем математически обоснованном правиле обучения многослойных нейронных сетей. Я представил алгоритм, который будет распространять сигналы в обратном направлении по сети, начиная с выходного слоя, чтобы обучать сеть от начала до конца. Я назвал этот алгоритм HLM (от Hierarchical Learning Machine)[18].

Я очень гордился своей идеей… HLM является предшественником алгоритма «обратного распространения градиента», который сегодня повсеместно используется для обучения систем глубокого обучения. Вместо распространения обратных градиентов в сети, как это происходит сегодня, HLM распространял желаемые состояния для каждого нейрона. Это позволяло использовать бинарные нейроны, что являлось преимуществом, учитывая медлительность компьютеров того времени для выполнения умножения. HLM был первым шагом в обучении многоуровневых сетей.

Летом 1983 г. я получил высшее образование по специальности «инженер». Тогда же я наткнулся на книгу, в которой рассказывалось о работе небольшой группы французов, интересующихся самоорганизующимися системами и сетями автоматов. Они экспериментировали в бывшем помещении Политехнической школы на холме Святой Женевьевы в Париже. Эта лаборатория сетевой динамики (Laboratoire de dynamique de réseau, или LDR) была независимой, хотя ее члены занимали должности в разных высших учебных заведениях. У них было мало денег, не было планового бюджета, а их компьютер нуждался в ремонте. Это означало, что исследования машинного обучения во Франции висят на волоске! Я решил примкнуть к ним. Я мог реально помочь им, потому что эти ученые не занимались изучением старых публикаций по нейронным сетям, как это делал я.

Я решил объяснить им, что меня интересует эта тема и что в своей инженерной школе я занимаюсь схожей тематикой. Я работал в их группе, продолжая учебу в аспирантуре в Университете Пьера и Марии Кюри. В 1984 г. мне нужно было подать заявление на защиту докторской диссертации. Я занимал должность младшего научного сотрудника ESIEE по гранту, но мне нужно было найти себе научного руководителя. Много времени я работал с Франсуазой Фогельман-Суле (сейчас Сули-Фогельман), которая в то время преподавала компьютерные науки в Университете Париж-V и, по логике вещей, именно она должна была бы курировать мою диссертацию, но у нее не было на это полномочий, поскольку она еще не прошла государственную сертификацию на право руководить аспирантами (необходимую во многих европейских странах).

Поэтому я обратился к единственному члену лаборатории, который мог курировать диссертацию по информатике, – Морису Милграму, профессору информатики и инженерии Технологического университета Компьена. Он согласился, но дал понять, что не сможет мне сильно помочь, потому что ничего не знает о нейронных сетях, но я и так был безмерно благодарен ему за эту помощь. Поэтому я посвятил свое время одновременно ESIEE (и ее мощным компьютерам) и LDR (и ее интеллектуальной среде). Я попал на ранее неизвестную мне территорию, и это было интересно.

За рубежом исследования, близкие к моим, набирали обороты. Летом 1984 г. я сопровождал Франсуазу Фогельман в Калифорнию, где прошел месячную стажировку в известной многим лаборатории Xerox PARC.

В то время, я помню, в мире было два человека, с которыми я мечтал встретиться: Терри Сейновски – биофизик и нейробиолог из Университета Джона Хопкинса в Балтиморе, и Джеффри Хинтон из Университета Карнеги-Меллон в Питтсбурге – тот самый, кто поделит с Йошуа Бенджио и мной Премию Тьюринга в 2019 г. В 1983 г. Хинтон и Сейновски опубликовали статью о машинах Больцмана[19], которая содержит процедуру обучения сетей со «скрытыми нейронами», то есть нейронами в промежуточных слоях между входом и выходом. Я увлекся этой статьей именно потому, что в ней говорилось об обучении многослойных нейронных сетей. «Главный» вопрос в моей работе! Эти люди сыграли важную роль в моей жизни!

Моя профессиональная жизнь изменилась в феврале 1985 г. во время конференции в Лез-Уш, в Альпах. Там я встретился с лучшими представителями мировой науки, интересующимися нейронными сетями: физиками, инженерами, математиками, нейробиологами, психологами и, в частности, членами новой развивающейся исследовательской группы в области нейронных сетей, которая сформировалась внутри легендарной лаборатории Bell Labs. Через три года я попал в эту группу благодаря знакомствам, которые приобрел в Лез-Уш.

Встреча была организована теми французскими исследователями из LDR, с которыми я уже работал: Франсуазой, ее тогдашним мужем Жераром Вайсбухом, профессором физики ENS, и Эли Биненштоком – нейробиологом-теоретиком, работавшим в то время в CNRS. Конференция собрала вместе физиков, интересующихся «спиновыми стеклами», а также ведущих физиков и нейробиологов.

Спин – это свойство элементарных частиц и атомов, которое можно описать по аналогии с маленькими магнитами, с обращенными вверх или вниз полюсами. Эти два значения спина можно сравнить с состояниями искусственного нейрона: он либо активен, либо неактивен. Он подчиняется тем же уравнениям. Спиновые стекла представляют собой своего рода кристалл, в котором примесные атомы имеют магнитный момент. Каждый спин взаимодействует с другими спинами на основе связанных весовых показателей.

Если весовой коэффициент положительный, они, как правило, выстраиваются в одном направлении. Если вес отрицательный, они противопоставляются. Мы связываем значения +1 со спином «вверх», а –1 со спином «вниз». Каждый примесный атом принимает ориентацию, которая является функцией взвешенной суммы ориентаций соседних примесных атомов. Другими словами, функция, определяющая, будет ли спин идти вверх или вниз, аналогична функции, которая делает искусственный нейрон активным или неактивным.

После основополагающей статьи Джона Хопфилда[20], в которой были описаны аналогии между спиновыми стеклами и искусственными нейронными сетями, многие физики начали интересоваться и самими сетями, и их обучением – темами, по-прежнему не приветствовавшимися их коллегами – инженерами и компьютерщиками.

В Лез-Уш я был одним из самых молодых исследователей, и мне пришлось общаться на английском языке о многоуровневых сетях и алгоритме HLM, моем предшественнике алгоритмов обратного распространения. Я только начал подготовку своей диссертации, и нервничал, выступая перед столь именитой аудиторией.

Меня особенно привлекли две личности: Ларри Джекел, глава отдела Bell Labs (позже мне самому довелось работать в этом отделе) и Джон Денкер – настоящий ковбой из Аризоны: джинсовый костюм, большие бакенбарды, ковбойские сапоги… Этот не очень похожий на ученого человек, только что защитивший диссертацию, был невероятно уверен в себе! Когда на него находило вдохновение, он мог быть чертовски убедителен и изобретательно отстаивал свою точку зрения, причем без агрессии и часто вполне обоснованно. Франсуаза Фогельман говорила мне: «У ребят из Bell Labs огромное преимущество. Когда вы только хотите сделать что-то новое, то выясняется, что это либо уже было сделано в Bell Labs десять лет назад, либо это просто не работает». Черт возьми!

Так вот, я выступал с речью о многослойных сетях, в которых (уже!) никто ничего не понимал. В конце Джон Денкер поднял руку. Я напрягся. Но он просто сказал: «А это имеет место быть! Благодаря тебе я многое понял…» Он сказал это прямо перед всей этой публикой! Он и его руководитель Ларри Джекел меня не забыли. Год спустя они пригласили меня прочитать лекцию в их лаборатории. Еще двумя годами позже я появился на собеседовании, а через три года я стал членом их команды!

В Лез-Уш я встретил и Терри Сейновски, соавтора статьи Джеффри Хинтона о машинах Больцмана. Он появился там уже после моего выступления, но я поймал его во второй половине дня и объяснил свою работу над многоуровневыми сетями. Я подозревал, что ему будет это интересно. Он терпеливо слушал, но ничего не сказал о том, что он и Джеффри Хинтон уже работают над обратным распространением. Джеффри удалось заставить этот алгоритм работать, но еще не все об этом знали – и я тоже.

Самые прекрасные идеи заразительны. Принцип обратного распространения Джеффри позаимствовал у Дэйва Рамелхарта из Калифорнийского университета в Сан-Диего, у которого он несколькими годами ранее проходил стажировку после защиты диссертации. К 1982 г. Дэйв смог разработать и запрограммировать этот метод, но не смог заставить его работать. Он пришел к Джеффри, который ответил: «Он не будет работать из-за проблемы локальных минимумов»[21].

В итоге Дэйв сдался. Но во время работы над машиной Больцмана Джеффри понял, что работать с локальными минимумами не так сложно, как он думал. Поэтому он реализовал метод Дэйва Рамельхарта на языке Lisp на своей Lisp-машине от компании Symbolics. И метод заработал!

Итак, во время нашего обсуждения в Лез-Уш Терри понял, что мой алгоритм HLM очень похож на обратное распространение. Он сам уже работал над применением метода обратного распространения ошибки, который через несколько месяцев стал весьма популярным. Мне он об этом не сказал. Но вернувшись в США, он признался Джеффри: «Во Франции есть ребенок, который работает над тем же, что и мы!»

Весной того же года я написал первую самостоятельную статью (признаться, несколько выпадавшую из канонов научной литературы) о своей разработке. Мне удалось обнародовать ее на конгрессе по когнитивным исследованиям в июне 1985 г., первом конгрессе во Франции, объединяющем ИИ, нейронные сети, когнитивные науки и нейробиологию. Джеффри Хинтон был главным спикером. Он прочитал вводную лекцию, в которой рассказал о машинах Больцмана. В конце концов, вокруг него собралась группа из 50 человек. Я хотел подойти к нему, но не было возможности. И тут я увидел, как он поворачивается к Дэниэлу Хэндлеру, одному из организаторов конференции, и услышал, как он спросил: «Вы знаете кого-нибудь по имени Ян Лекун?» Дэниэл оглянулся вокруг. Я закричал: «Я здесь!» Дело было в том, что Джеффри увидел мою статью и попытался ее перевести, хотя французским владел слабо. Тем не менее, он сумел понять, что я – именно тот «ребенок», о котором сказал ему Терри.

Мы с Джеффри встретились на следующий день за обедом. Он объяснил мне принцип обратного распространения. Хотя он знал, что я и так его понимаю! Он сказал мне, что пишет статью и процитирует в ней мою. Я чуть не впал в прострацию. Мы быстро поняли, что наши интересы, наши подходы, наше мышление схожи. Джеффри пригласил меня в летнюю школу коннекционистских моделей в Карнеги-Меллон в следующем году, и я, конечно же, согласился. (Исследователи когнитивных наук предпочитали для обозначения нейронных сетей использовать термин «коннекционистские модели».)

Изобретения не возникают из ничего. Они являются результатом проб, ошибок, разочарований и дискуссий, и зачастую для их реализации требуется много времени. Таким образом, «рубежи» искусственного интеллекта расширялись благодаря целой серии открытий. Популяризация градиентного обратного распространения в 1980-х гг. позволила обучать многослойные нейронные сети, состоящие из тысяч нейронов, организованных по слоям, с сотнями тысяч соединений. Каждый слой нейронов объединяет, обрабатывает и преобразует информацию из предыдущего слоя и передает результат следующему слою, пока в конечном слое не сформируется ответ. Такая многоуровневая архитектура обеспечивает потрясающую пропускную способность[23] этих многоуровневых сетей. Позже мы поговорим о глубоком обучении.

Но в 1985 г. идея, что для многоуровневой сети может появиться процедура обучения, все еще с трудом воспринималась. Физиков интересовала аналогия между полносвязными нейронными сетями («сетями Хопфилда») и спиновыми стеклами. Они видели в них модель ассоциативной памяти в мозге. «Мадленка» Пруста[24] по форме, запаху и вкусу относится к образам и связанным с ними чувствам, то есть к воспоминаниям. Многоуровневые сети работают скорее в режиме восприятия: с помощью каких механизмов можно идентифицировать мадлен только по его форме? Физики не сразу это поняли.

Все изменилось в 1986 г. Терри Сейновски опубликовал технический отчет о NetTalk, многоуровневой сети, основанной на обратном распространении информации, которая «училась» читать вслух. Система транскрибирует английский текст в последовательность фонем (элементарных речевых звуков), передаваемых на синтезатор речи. Легко преобразовать текст в речь на французском языке, но чрезвычайно сложно на английском. В начале обучения система заикалась, как ребенок, который учится говорить, однако со временем ее произношение улучшилось. Терри Сейновски приехал прочитать лекцию в Высшей школе перед обомлевшей аудиторией. Внезапно все захотели со мной пообщаться. Многослойные сети вдруг стали интересными, и я был знатоком в этой области!

Годом раньше я обнаружил, что обратное распространение может быть сформулировано математически с помощью Лагранжева формализма (названного в честь франко-итальянского математика XVIII в. и астронома Жозефа-Луи Лагранжа). Это вид формализма, на котором базировалась классическая механика, квантовая механика и теория «оптимального управления». Я понимал, что метод, аналогичный алгоритму обратного распространения ошибки, уже был предложен теоретиками оптимального управления в начале 1960-х гг. Он известен как алгоритм Келли-Брайсона или «метод помощника», подробно описанный в справочнике Артура Брайсона и Ю-Чи Хо «Applied Optimal Control, Arthur E. Bryson, Yu-Chi Ho, 1975», опубликованном в 1969 г.

Эти исследователи были далеки от идеи об использовании данного метода для машинного обучения или нейронных сетей. Их интересовали планирование и системы управления. Например, как управлять траекторией ракеты, чтобы она попала на точную орбиту и успешно встретилась с другим космическим кораблем, израсходовав при этом как можно меньше топлива. Однако с математической точки зрения эта проблема очень похожа на вопрос о настройке синаптических весов многослойной нейронной сети, чтобы результат последнего слоя стал желаемым.

Позже я узнал, что несколько исследователей очень близко подошли к открытию обратного распространения ошибки. В 1960-х и 1970-х гг. некоторые из них открыли «автоматическое дифференцирование в обратном режиме» – основной блок для расчета градиентов при обратном распространении. Но они использовали его для облегчения численного решения дифференциальных уравнений или оптимизации функций. Об обучении в многослойных сетях тогда никто и не думал. Никто – кроме, возможно, Пола Вербоса, студента из Гарварда, который прошел курсы Ю-Чи Хо и который в своей диссертации 1974 г. предложил использовать для обучения то, что он называл «упорядоченными производными». Много позже он смог испытать свой метод на практике.

Итак, в июле 1986 г. я провел две недели в Питтсбурге в Летней школе коннекционистских моделей в Университете Карнеги-Меллона, куда меня пригласил Джеффри Хинтон. Я сомневался, нужно ли мне лететь в Соединенные Штаты: моя жена была беременна нашим первым ребенком, а роды ожидались через четыре недели после моего возвращения…

Я помню эту поездку и соотношу ее с основанием сообщества исследователей нейронных сетей. Я подружился с Джеффри и Майклом Джорданом, который только защитил диссертацию. Почему только его назвали Майклом – он был франкофилом и говорил по-французски лучше, чем я по-английски! На пикниках в Летней школе он исполнял песни Жоржа Брассенса, аккомпанируя себе на гитаре.

Рис. 2.1. Участники Летней школы по коннекционистским моделям 1986 г. в Университете Карнеги-Меллона (Питтсбург, США)

На фото мы видим Станисласа Дехаена (SD), Майкла Джордана (MJ), Джея Макклелланда (JMcC), Джеффри Хинтона (GH), Терри Сейновски (TS) и меня (YLC). Многие участники встречи тоже станут видными фигурами в области машинного обучения, искусственного интеллекта и когнитивных наук: Энди Барто, Дэйв Турецки, Джерри Тезауро, Джордан Поллак, Джим Хендлер, Майкл. Мозер, Ричард Дурбин и ряд других (© Организаторы летней школы).

Хотя я был всего лишь аспирантом, Джеффри предложил мне выступить с речью, объясняя это тем, что именно я создал алгоритм обратного распространения. За ужином, запив его хорошей бутылкой бордо, которую я привез с собой в багаже, он сказал мне, что через год планирует уйти из университета Карнеги-Меллон[25] и перейти в Университет Торонто. «Вы хотите присоединиться ко мне в качестве младшего исследователя?» Конечно! У меня оставался лишь год на то, чтобы защитить докторскую.

Революция продолжалась. Публикация статьи Рамельхарта-Хинтона-Уильямса об обратном распространении произвела эффект взорвавшейся бомбы[26]. Новости об успехе NetTalk распространялись как лесной пожар. Сообщество исследователей нейронных сетей быстро пополнялось все новыми участниками.

Мое программное обеспечение для моделирования нейронных сетей и обучения методом обратного распространения ошибки – все еще называемое HLM – представляло интерес для некоторых французских производителей. В частности, программу купила компания Thomson-CSF (теперь Thales).

Я получил докторскую степень в июне 1987 г. Диссертацию в Университете Пьера и Марии Кюри (теперь переименованном в Университет Сорбонны) я защищал в буквальном смысле на костылях, потому что в апреле сломал лодыжку, экспериментируя с новым методом передвижения по песку при помощи паруса! Джеффри Хинтон входил в состав жюри вместе с Морисом Милграмом, Франсуазой Фогельман-Суле, Жаком Питра (один из столпов исследований в области символического ИИ во Франции) и Бернаром Анжениолем (директором исследовательской группы Thomson-CSF). Через месяц я присоединился к Джеффри в Торонто вместе с женой и нашим ребенком, которому тогда исполнился всего лишь год. Моя жена согласилась отодвинуть на второй план свою карьеру фармацевта и заниматься сыном во время нашего пребывания в США, которое, как мы считали, не должно было продлиться более года…

Я взял с собой одного из своих друзей, Леона Ботту, студента, которого я встретил в начале 1987 г., когда он учился на последнем курсе Политехнической школы. Он проявил интерес к нейронным сетям и решил пройти со мной выпускную стажировку, не сообщив администрации школы, что я на тот момент еще не защитил докторскую. У меня уже были планы написать новое программное обеспечение для создания и обучения нейронных сетей. Это должен был быть симулятор, управляемый интерпретатором Lisp (особенно гибкого и интерактивного языка программирования). Я попросил Леона создать такой интерпретатор[27], что он и сделал буквально за три недели. Нашему сотрудничеству способствовал тот факт, что мы работали на одинаковых компьютерах: Amiga от компании Commodore. В отличие от ПК и Mac того времени, компьютеры Amiga обладали свойствами, аналогичными свойствам рабочих станций Unix, широко распространенных в ИТ-отделах по обе стороны Атлантики: они программируются на языке C с помощью компилятора gcc и текстового редактора Emacs. Я писал диссертацию на своем Amiga, используя компьютерную систему обработки текстов LaTeX. Мы обменивались программами удаленно, подключая к нашим компьютерам сеть Minitel.

Мы назвали новую программу SN (от термина «Neuronal Simulator», т. е. «нейронный симулятор»). Ее написание положило начало сотрудничеству и дружбе, продлившимся долгие годы: и сегодня офис Леона находится рядом с моим, в помещении FAIR[28] в Нью-Йорке.

В Торонто я закончил работу над SN и модифицировал эту программу, чтобы реализовать идею архитектуры нейронной сети, адаптированной к распознаванию изображений, которую я обдумывал уже некоторое время (теперь эта архитектура называется «сверточной сетью»; см. Главу 6). Она была вдохновлена неокогнитроном Фукусимы, но использовала более «классические» нейроны и управлялась алгоритмом обратного распространения. В то же время Джеффри Хинтон разработал другой, более простой тип сверточной сети, которую он использовал для распознавания речи. Он назвал ее TDNN (Time Delay Neural Network, т. е. «нейронная сеть с временной задержкой»).

В конце 1987 г. меня пригласили прочесть лекцию в Монреальском исследовательском центре компьютерных наук – институте, связанном с университетом Макгилла. В конце моего выступления один из молодых магистрантов задал ряд вопросов, из которых было очевидно, что он серьезно подошел к многослойным нейронным сетям. В то время в этой области было очень мало исследователей. Он задавался вопросом о том, как адаптировать архитектуру нейронных сетей, чтобы они могли обрабатывать протяженные во времени сигналы, такие как речь или текст. Я запомнил его имя: Йошуа Бенджио. Его вопросы были настолько актуальны, что я пообещал себе не упускать его из виду и начать с ним сотрудничество после завершения его учебы. Позже я нашел его уже работающим в Bell Labs, куда его взяли после защиты докторской диссертации и недолгой работы в Массачусетском технологическом институте.

Конференция в Лез-Уш оказалась полезной для меня и по другим причинам. В 1986 г., во время Летней школы по машинному обучению[29]. Ларри Джекел и сотрудники отдела исследований адаптивных систем Bell Labs узнали, что я был в Питтсбурге. Они попросили меня заехать в Bell Labs в Нью-Джерси на обратном пути, чтобы выступить с докладом. Я помню свое первое появление в этом знаменитом «храме технологий» – по крайней мере, таким он был в 1980-х гг. – где родились многие изобретения современного мира. Там собрались все светила физики, химии, математики, информатики и электротехники. Лаборатория Ларри Джекеля примыкала к лаборатории Артура Ашкина, будущего лауреата Нобелевской премии по физике в 2018 г. за работу над «лазерным пинцетом». Рядом с ним был Стивен Чу, который в 1997 г. получит Нобелевскую премию по физике за открытия по охлаждению и захвату атомов при помощи лазера. Отдел исследований компании Bell Labs, насчитывавший 1200 человек, расположенных в нескольких зданиях, возглавлял Арно Пензиас, получивший Нобелевскую премию за открытие космического излучения, доказывающего теорию Большого Взрыва. Голова шла кругом.

Само здание, расположенное в Холмделе, в 60 км к югу от Нью-Йорка, одним своим видом захватывало дух. Его спроектировал знаменитый финский архитектор Ээро Сааринен. Представьте себе восьмиэтажный стеклянный параллелепипед, 300 м в длину и 100 м в ширину, в котором трудилось более 6000 инженеров. В исследовательской части работало около 300 человек.

Весной 1987 г. Ларри снова пригласил меня в Bell Labs, на этот раз для собеседования. Я сказал ему: «Пригласите мою жену. Ее нужно убедить!» Пока я общался с членами лаборатории, Ларри катался на машине с Изабель и Кевином, нашим 18-месячным ребенком. Он расхваливал штат Нью-Джерси: зеленые насаждения, большие дома в американском стиле и океанское побережье. Нью-Джерси дали прозвище «Штат садов», и это было вполне заслужено. Вечером в итальянском ресторане Кевин от усталости начал плакать. Джон Денкер, мужчина с бакенбардами, взял Кевина на руки и начал ходить с ним по ресторану. Кевин мгновенно успокоился. Позже я узнал, что Джон был старшим из четырех детей в своей семье и прекрасно умел обращался с маленькими детьми. Помимо того, что он был выдающимся физиком и инженером, он читал на французском и цитировал Вольтера и Золя. Неплохо для аризонского ковбоя! На следующий день Ларри и двое его коллег отвезли нас на Манхэттен. Мы хотели подняться на самый верх Всемирного торгового центра, но погода была ужасная, и охрана нас отговорила. Но мы все-таки решили подняться на вершину башен-близнецов. И когда мы сделали это, наградой нам стало вкуснейшее гороховое пюре, от которого мы не могли оторваться! Радушный прием, который мы получили, убедил нас. Мы с Изабель согласились остаться в Нью-Джерси на год или два.

Итак, в октябре 1988 г. я был принят на работу в Bell Labs. Отдел Ларри был частью отдела Боба Лаки, блестящего инженера и изобретателя алгоритма адаптивной фильтрации. Он руководил отделом «BL113», который собрал 300 исследователей из Холмдела и Кроуфорд-Хилла, города, находящегося рядом с Холмделом. Именно он утвердил создание исследовательской группы нейронных сетей. Я встречался с ним несколько раз: колоритная личность, высокий, худой, который интересовался всем, и, конечно, телекоммуникационными технологиями. Я также виделся с Джоном Хопфилдом, еще одним человеком из Bell Labs, который установил связь между спиновыми стеклами и нейронными сетями. Я познакомился с ним в Лез-Уше четырьмя годами ранее…

Что касается условий работы, то они были просто космическими по сравнению с теми, что я столкнулся во Франции. У нас были невероятные ресурсы, полная свобода в исследованиях, а мои коллеги были настоящими светилами в своей области. Когда я там работал, в моем распоряжении был компьютер Sun-4. В Торонто мы работали на компьютере того же типа. «В Bell Labs нельзя прославиться, сэкономив деньги», – говорили они мне. Эта фраза заставляет задуматься о многом…

В Торонто мне уже удалось протестировать свои первые сверточные сети на очень небольшом наборе рукописных чисел, который я создал сам, нарисовав их с помощью компьютерной мыши. Но Bell Labs получила набор из 9298 изображений «настоящих» рукописных чисел, собранный Почтой США (United States Postal Service, USPS), из почтовых индексов на конвертах. Сверточный сетевой модуль в моем программном обеспечении SN уже был готов к использованию. Я решил построить «большую» сверточную сеть с входом 16 × 6 пикселей и четырьмя слоями. Всего в сети было 1256 нейронов, 64 660 соединений и 9760 настраиваемых параметров (в сверточной сети несколько соединений имеют один и тот же параметр). Что это был за монстр! У меня уходило целых три дня, чтобы обучить мой Sun-4 на 7291 обучающих примерах. Но зато потом он делал лишь 5 % ошибок на 2007 тестовых примерах, побив все предыдущие рекорды. Эти результаты были получены менее чем через два месяца после моего приезда. Ларри был очень доволен и назвал мою сеть «LeNet» (как «ЛеКун»). Вскоре нам удалось запустить ее на небольшой «ускорительной карте», которая могла распознавать 30 символов в секунду. Был заметен прогресс, и мы разработали новую сверточную сетевую архитектуру LeNet1 с более чем 4600 единицами и почти 100 000 соединениями. Количество ошибок еще уменьшилось.

Рис. 2.2. Первая сверточная сеть для распознавания рукописных символов

Эту первую сверточную сеть я создал, когда начал работать в Bell Labs в конце 1988 г. Перед вами нейронная сеть, архитектура которой, вдохновленная зрительной корой головного мозга, состоит из четырех слоев. Нейроны первых двух слоев связаны с небольшими участками предыдущего слоя, которые называются рецептивными полями (см. главу 6 о сверточных сетях). Последовательные слои извлекают из изображения все более абстрактные и обобщенные свойства.

Вскоре Ларри стал искать партнеров из инженерной части Bell Labs для разработки технологии и получения на ее основе коммерческого продукта. Проект заинтересовал группу инженеров. Мы работали вместе и очень быстро разработали систему для считывания сумм на банковских чеках.

В системе использовалась «большая» сверточная сеть LeNet5 с 340 000 подключениями и «сетчаткой» размером 20 × 20 пикселей. Я разработал ее с помощью моих коллег и друзей Леона Ботту, Йошуа Бенжио и Патрика Хаффнера в сотрудничестве с другими инженерами. Наша система считывала сумму около половины предоставляемых ей чеков, делая при этом менее 1 % ошибок. Другая половина чеков отклонялась машиной – их необходимо было обрабатывать вручную. Именно тогда наша система впервые достигла уровня точности, действительно пригодного для использования.

Оказалось, что дочерняя компания AT&T, компания NCR (National Cash Register), продавала сканеры чеков и банкоматы для банков. Мы оборудовали их нашей системой автоматического считывания. В 1994 г. появились первые банкоматы NCR французского Банка взаимного кредитования Бретании, с нашей системой, которая автоматически считывала сумму чека, внесенного в банкомат.

Первое внедрение системы скорочтения произошло в 1995 г. Мы отмечали свой успех в итальянском ресторане в очаровательном городке Ред-Бэнк, родном городе джазмена графа Бэйси и режиссера Кевина Смита, неподалеку от нашей лаборатории.

Но, вернувшись домой, мы узнали, что руководство AT&T только что решило разделить компанию на несколько независимых. Через несколько месяцев NCR перешла на другую сторону, забрав с собой группу, которая разрабатывала и продавала продукцию. Новая компания Lucent Technologies, в свою очередь, разделилась, забрав с собой бренд Bell Labs, а также большую часть лабораторий, включая группу инженеров, с которыми мы работали. Тем временем наша исследовательская группа осталась в AT&T и теперь зависела от новой организации AT&T Labs Research. К моему огорчению, проект пришлось приостановить.

Рис. 2.3. LeNet5. Коммерчески развернутая сверточная сеть для распознавания рукописных символов

Архитектура сети второго поколения состоит из семи слоев. Она намного больше предыдущей и использует отдельные слои для свертки и подключения (см. главу 6). Она может распознавать в том числе числа, написанные от руки без соблюдения почтовых правил.

NCR и Lucent продолжали продавать новую продукцию. В конце 1990-х наша система считывала 10–20 % всех чеков, выпущенных в США. Это был один из самых впечатляющих успехов в области нейронных сетей того десятилетия.

Тем не менее, новая телекоммуникационная компания AT&T не была особенно заинтересована в технологиях такого рода. На дворе был 1996 г. – самый разгар Интернет-бума. Меня повысили до начальника отдела, и мне нужно было найти новый проект для моей группы. Мы решили приступить к сжатию изображений, чтобы сканировать бумажные документы с высоким разрешением и распространять их через Интернет. Я надеялся, что библиотеки по всему миру отсканируют свои коллекции книг, чтобы они стали доступными в Интернете. Но для этого была нужна подходящая техника. Она будет представлена в 1998 г. под названием DjVu (произносится «дежавю» по-французски). Алгоритм DjVu может сжимать страницу, отсканированную с высоким разрешением, примерно до 50 килобайт, что в десять раз меньше, чем в формате JPEG или PDF.

К сожалению, AT&T не смогла вывести DjVu на рынок. То, что крупные компании плохо продавали инновации, выпущенные их лабораториями, было, увы, в порядке вещей. Вспомним печально известный провал компании Xerox, чья калифорнийская лаборатория PARC изобрела всю современную автоматизацию офиса – персональные рабочие станции, компьютерные сети, системы многоярусного графического отображения, компьютерную мышь и лазерный принтер. Однако маркетологи компании не смогли продать ничего из этого, в результате чего Стив Джобс и Apple смогли скопировать эту концепцию с помощью своих систем Lisa и Macintosh.

Наши работодатели, AT&T, потерпели ту же неудачу. Изобретения Bell Labs, ее отдела исследований и разработок, безусловно, оказали определенное влияние на материнскую организацию. Однако деньги на продаже транзисторов и солнечных элементов, камер CCD и операционной системе Unix, а также языках программирования C и C++ заработали совсем другие компании. К сожалению, AT&T не позаботилась о и таких технологиях как DjVu и решила продать лицензию на нее за десяток миллионов долларов одной компании в Сиэтле, уже работающей с рынком изображений – LizardTech, которая также упустила благоприятные маркетинговые возможности. Мы посоветовали LizardTech распространить базовый код как открытый исходный код. Мы знали, что единственный способ добиться признания нового формата – сделать его доступным для всех. Увы! Забота о «контроле» и прибыли заставила их хранить код в секрете. Позже они передумали, но было уже слишком поздно. Впрочем, это уже другая история…

С 1995 г. снова начались темные времена. Даже наши идеи сверточных сетей не были приняты, не говоря уже об их практическом применении в других областях. С Йошуа Бенжио, который вернулся в Монреаль, но остался сотрудником моей лаборатории на неполный рабочий день, Джеффри Хинтоном, уехавшим из Торонто, чтобы основать лабораторию теоретической нейробиологии в Лондоне, и некоторыми другими, мы снова остались одни в борьбе за нейронные сети. Почему пропал интерес к нейронным сетям в сообществе машинного обучения? Это загадка, которую еще предстоит разгадать историкам и социологам. Тема нейронных сетей оказалась чуть ли не под запретом. О них тогда говорили примерно так: «Сверточные сети? Чушь собачья! Говорят, что они настолько сложны, что только Ян ЛеКун способен заставить их работать».

Технические недоработки, несомненно, препятствовали распространению сверточных сетей: они требовали больших вычислительных ресурсов, а компьютеры в то время были медленными и дорогими, да и наборы данных оказывались слишком малы – ведь это был период времени до Интернет-бума. Поэтому их нужно было собирать самостоятельно, а это имело свою цену в деньгах и ограничивало количество приложений. Наконец, программное обеспечение для нейронных сетей, такое как SN, должно было быть написано от руки от А до Я самими исследователями: огромная трата времени. Кроме того, AT&T не позволила нам распространить наш симулятор нейронной сети SN с открытым исходным кодом, который, возможно, позволил бы ускорить внедрение сверточных сетей. В то время компании придерживались принципа «каждый сам за себя».

В 1991 г. Леон Ботту, только получивший докторскую степень, присоединился к нам в Bell Labs. Но тогда ему не понравились Соединенные Штаты, и через год он вернулся во Францию, чтобы возглавить стартап Neuristique, который он ранее основал с некоторыми своими друзьями. Эта фирма продавала одну из версий SN и предложила услуги компаниям, желающим внедрить нейронные сети. Их системы работали настолько хорошо, что сотрудники фирмы часто сталкивались с недоверием своих потенциальных клиентов. Эксперты, консультирующие этих клиентов, утверждали, что все, что делает Neuristique, «невозможно», несмотря на бесспорные результаты! Поэтому после нескольких лет застоя Леон решил вернуться к исследованиям. Он снова присоединился к нам в Bell Labs и принял решение остаться в США.

По всем этим причинам исследователи машинного обучения отказались от нейронных сетей. Они предпочли им SVM (англ. Support Vector Machine, метод опорных векторов) и «ядерные методы». По иронии судьбы эти методы тоже были изобретены коллегами и друзьями из нашей лаборатории: Изабелем Гайон, Владимиром Вапником и Бернхардом Бозером в период с 1992 по 1995 г. С 1995 по 2010 г. ядерные методы стали «флагманом» машинного обучения. Сообщество проявило интерес и к другому набору методов – «усилению», разработанному Робом Шапиро и Йоавом Фройндом, коллегами из другого отдела Bell Labs. Мы все были хорошими друзьями. Та ситуация дала нам представление об интеллектуальных разногласиях в стенах нашей компании. Таким образом, в области нейронных сетей снова настал кризис, который продлился почти 15 лет.

В 1995 г. Ларри Джекель все еще верил в будущее сверточных сетей и был разочарован тем, что им предпочли SVM. Владимир Вапник – математик. Ему нравились методы, работу которых можно было гарантировать с помощью математических теорем. Нейронные сети ему не нравились, потому что они были слишком сложными, чтобы их можно было объяснить хорошей теорией. Поэтому Ларри решил заключить с математиком пари.

Во-первых, Ларри поставил на то, что до 14 марта 2000 г. появится математическая теория, объясняющая, почему нейронные сети могут хорошо работать. Вапник сделал ставку на обратное… согласившись на одно условие: если человеком, разработавшим теорию, окажется сам Вапник, то он выигрывает пари. Лучшего способа заставить Владимира заняться этой теорией Ларри не смог бы и придумать!

Во-вторых, Вапник поставил на то, что после 14 марта 2000 г. никто уже не будет использовать нейронные сети. Ларри ставил на противоположное. Они подписали свои прогнозы, и я тоже подписал их, так как выступал свидетелем. Ставкой обоих пари был ужин в ресторане.

Было два ужина. Ларри проиграл первое пари, но второе проиграл Владимир. Что касается меня, то я дважды насладился бесплатным ужином!

В 2001 г. Леон Ботту и я завершили проект DjVu. Более пяти лет мы почти не работали над машинным обучением, но мы писали длинные статьи, в которых подробно рассказывали о нашей работе в первой половине года десятилетия. Для меня те статьи представляли собой своего рода бесконечную «лебединую песнь»: сообщество больше не интересовалось нейронными сетями, но мы рассказывали им, как заставить эти сети работать. Мы провели новое тестирование, которое должно было стать познавательным и исчерпывающим. В 1998 г. мы опубликовали статью ЛеКуна, Ботто, Бенгио и Хаффнера[30] в престижном журнале Proceedings of the IEEE под названием «Градиентное обучение для распознавания документов», ставшую впоследствии знаменитой.

В той статье было подробное объяснение того, как заставить работать сверточные сети. Мы развили идею построения обучающей системы путем сборки дифференцируемых параметризованных модулей. Также мы описали новый метод – «преобразование графов сетей», позволяющий обучать системы, модули которых управляют графами, в то время как классические нейронные сети управляют только массивами чисел. Мы также продемонстрировали, как можно построить и обучить систему распознавать символы. В период с 1998 по 2008 г. статья имела переменный успех, набирая лишь несколько десятков цитирований в год. Но с 2013 г. ситуация резко изменилась. В 2018 г. статья собрала 5400 ссылок. Многие видят в ней сейчас основополагающую статью по теории сверточных сетей, хотя первые статьи были опубликованы десятью годами ранее. В 2019 г. моя статья собрала 20000 цитирований.

Рис. 2.4. Пари 1995 г. между Ларри Джекелем и Владимиром Вапником

1. Джекель делает ставку (ставка – хороший обед), что не позднее 14 марта 2000 г. исследователи поймут, почему большая сеть нейронов, обученных на большой базе данных, работает хорошо (под «пониманием», мы подразумеваем то, что будут четкие условия и ограничения). Но, если решение найдет Вапник, он все равно выиграет. Вапник ставит на то, что Джекель ошибается.

2. Вапник делает ставку (хороший обед в ресторане), что не позднее 14 марта 2005 г. ни один здравомыслящий человек не будет использовать нейронные сети, которые, по сути, останутся такими же, как в 1995 г. Джекель делает ставку, что Вапник не прав. Вапник выиграл первое пари, а Джекель выиграл второе.

В конце 2001 г. Интернет-пузырь попросту лопнул. План AT&T по обеспечению Интернета и телевидения во всех домах через оптоволокно и коаксиальные кабели не убедил Уолл-стрит. Акции падали. Это нас не устраивало, ведь акции, которые мы получили после продажи DjVu, теперь ничего не стоили! Вице-президент AT&T Labs Research Ларри Рабинер, новатор в области распознавания речи, объявил, что выходит на пенсию через три месяца. Зная его преданность исследованиям и лаборатории, в которой он провел всю свою жизнь, я расценил эту новость как предзнаменование конца света и начал осторожно искать исследовательскую должность в другой компании.

Рис. 2.5. Фотография любезно предоставлена отделом исследований обработки изображений AT&T Labs Research

Я руководил этой лабораторией с 1996 по начало 2002 г. Слева направо стоят: Владимир Вапник, Леон Ботту, Ян Лекун, Йорн Остерманн, Ханс-Петер Граф. Впереди сидят: Эрик Косатто, Патриция Грин, Фу-Цзе Хуанг и Патрик Хаффнер. Вапник, Ботто, Граф, Косатто и Хуанг присоединятся ко мне в NEC в начале 2002 г.

В декабре наступил тот самый конец света. Компания объявила, что снова разделится на несколько частей и увольняет половину научных сотрудников. У меня в кармане уже лежало предложение от японской компании NEC, так что я решил тоже примкнуть к толпе уволенных и сказал своему директору: «Меня не волнует, чем интересуется компания. Я буду заниматься зрением, робототехникой и нейробиологией». Это было правдой, но больше всего я хотел, чтобы меня уволили! Директор так и поступил, и я ему за это благодарен. Леон, Владимир Вапник и я покинули AT&T в начале 2002 г., чтобы попасть в Исследовательский институт NEC в Принстоне, престижную лабораторию японской Nippon Electric Company. Там мы возобновили наши исследования в области нейронных сетей.

Перед тем, как покинуть AT&T, я сделал несколько фотографий сотрудников моей лаборатории.

На момент, когда было сделано это фото, Владимир Вапник находился на пике своей популярности, так что мне хотелось сделать запоминающуюся фотографию с юмором. Я написал на доске формулу теории обучения, которая носит его имя и благодаря которой он прославился. Я попросил его встать рядом с доской. Он был очень рад, что я фотографирую его на фоне его шедевра. Но под формулой я написал фразу – «Все ваши байесы принадлежат нам». Это был очень своеобразный каламбур, который я должен объяснить. В то время в Интернете стал популярным мем[31], в котором высмеивалась японская видеоигра Zero Wing. Перевод игровых диалогов с японского на английский был весьма несовершенным. Один из персонажей, этакий галактический император-завоеватель, там говорит на плохом английском языке: «Как дела, господа! Все ваши база принадлежащие нам. Вы на пути к уничтожению» (англ. «How are you gentlemen!! All your base are belong to us. You are on the way to destruction», что является очевидной синтаксической ошибкой, ведь на самом деле он должен был сказать – «все ваши базы принадлежат нам». Эта фраза рассмешила многих и стала достаточно известной. Еще следует заметить, что подход к теории обучения, соперничавший с подходом Вапника, был основан на теореме Байеса, формуле, связывающей вероятности совместных и условных событий, которая названа по имени ее изобретателя, британского математика и пастора XVIII века Томаса Байеса. Вапник не любил байесовские теории. Он называл их «вронгами» («vrong», искаженное английское слово wrong – неверный, ложный, где w не произносится), со своим неподражаемым русским акцентом. В итоге я изменил знаменитый мем, заменив слова BASE на BAYES, сделав Вапника императором-завоевателем галактики машинного обучения! Я разместил эту фотографию на своем сайте в 2002 г. Вскоре она стала «официальной» фотографией Вапника, на которую ссылается его страница в Википедии. Это забавно, поскольку я не уверен, что Владимир осознал всю тонкость шутки и ее синтаксическую неточность в этом отношении[32].

Рис. 2.6. Владимир Вапник в 2002 г.

Владимира сфотографировали рядом с формулой теории обучения, которая сделала его знаменитым. Эта фраза – каламбур, основанный на распространенном в то время Интернет-меме.

Через две недели после начала работы в NEC мне позвонил Ларри Пейдж, генеральный директор Google, стартапа с 600 сотрудниками, который уже был на слуху, так что многие пользовались его услугами. Он хотел нанять директора по исследованиям. Ларри знал меня, потому что был поклонником DjVu. Я пошел на собеседование. Компания Google предложила мне работу, но в конечном итоге я от нее отказался. Во-первых, моя семья не захотела переезжать в Калифорнию, во-вторых, даже если предложение и было привлекательным, после шести лет управления отделом и проектом прикладных исследований (DjVu) я все же хотел вернуться к фундаментальным исследованиям и работе над обучением, нейронными сетями, нейробиологией и робототехникой. Я знал, что не смогу достичь этой цели в стартапе из 600 человек, у которого еще нет нужного дохода, особенно если я буду занимать руководящую должность.

Увы! Уже менее чем через год NEC столкнулась с финансовыми трудностями и стала давить на Принстонскую лабораторию, чтобы та занялась созданием приложений, полезных для бизнеса. Руководство NEC сообщило нам, что им неинтересно машинное обучение, и лучшие умы стали увольняться один за другим: физики, биологи, исследователи зрения. Затем уволили директора лаборатории и на его место поставили того, кто не имел ни малейшего исследовательского опыта. Лучший способ убить нас!

Я проработал в NEC в течение 18 месяцев, прежде чем в 2003 г. перешел в Нью-Йоркский университет (NYU) в качестве профессора. Перед этим я подал заявки в несколько мест и получил предложения от Университета Иллинойса в Урбана-Шампейн и Института Тойоты Чикагского университета. Но я не получил никакого ответа из Нью-Йорка и начал сильно беспокоиться.

Я связался с тем, кто предложил мне подать заявку. Он удивился: «Ты подавал заявку? Мы ничего не получили!» На самом деле на компьютере администратора, занимающегося заявками, случился сбой, и половина заявок просто-напросто потерялась. Нью-Йоркский университет назначил для меня собеседование буквально в последнюю минуту. Я начал с презентации моих работ. Заведующая отделом информатики, конечно же, тоже находилась в аудитории. Ее звали Маргарет Райт, и она была специалистом по исследованиям операций. Я знал ее, потому что она также работала в Bell Labs, и познакомился с ней во время семинара в Калифорнийском университете в Беркли несколькими годами ранее. Она считала, что некоторые хорошо известные результаты исследования операций применимы к машинному обучению, но я не мог с ней согласиться. Я надеялся, что она забыла об этом эпизоде, но нет! В конце моей лекции она задала вопрос, конкретно относящийся к той нашей дискуссии. В тот момент я подумал, что мои шансы получить работу здесь упали до нуля, однако я и тут ошибся: она вспомнила, что узнала кое-что новое в тот день! Я был нанят профессором Нью-Йоркского университета в сентябре 2003 г. с твердым намерением возобновить исследовательскую программу по нейронным сетям и продемонстрировать, на что они способны.

С конца 1990-х я был уверен, что следующий успех сверточных сетей произойдет в области распознавания объектов на изображениях. Поэтому в 1997 г. я опубликовал статью в CVPR (IEEE Computer Vision and Pattern Recognition, научно-технический журнал). Заинтересовала она лишь немногих, но некоторые громкие имена в этой области, такие как Дэвид Форсайт из Университета Иллинойса, знали, что машинное обучение действительно может сыграть важную роль в распознании. Он пригласил меня на мастер-класс на Сицилию в компании мировых лидеров в этой области. Я встретился с Джином Понсе, работавшим тогда в Университете Иллинойса (и одновременно преподававшим в Высшей школе, где я учился) Марсиялем Эбертом из Карнеги-Меллона, Джитендрой Маликом из Калифорнийского университета в Беркли, Эндрю Зиссерманом из Оксфорда, Пьетро Пероном из Калифорнийского технологического института и многими другими. К моему удивлению, все они оказались в восторге от возможностей сверточных сетей. В 2000 г. меня пригласили провести пленарную конференцию в CVPR. Я получил свое место в сообществе и налаживал связи, которые принесли плоды в будущем. В течение следующего десятилетия машинное обучение приобретало все большее значение в решении задач распознания. Но только в 2014 г. сверточные сети стали здесь доминирующим методом. Но если лидеры в этой области были открыты для новых идей, то их младшие коллеги, оценивающие наши статьи, были гораздо менее снисходительными.

Вместе с Джеффри Хинтоном и Йошуа Бенжио, моими коллегами и друзьями, мы решили возродить интерес научного сообщества к нейронным сетям. Мы по-прежнему были убеждены, что они хорошо работают и могут значительно улучшить распознавание изображений и речи. К счастью, на нашем пути появилась благотворительная организация CIFAR (Canadian Institute for Advanced Research, Канадский институт перспективных исследований; эту аббревиатуру можно также прочесть как «see far», то есть «видеть далеко» по-английски). В 2004 г. она запустила пятилетнюю программу «Нейронные вычисления и адаптивное восприятие», или NCAP (Neural Computation & Adaptive Perception), директором которой тогда стал Джеффри Хинтон, а я – научным консультантом. Программа NCAP позволила нам собираться вместе, организовывать семинары, приглашать наших студентов и даже создавать небольшое научное сообщество.

Остальные исследователи считали исследования нейронных сетей глупостью, а мы, между тем, придумали новое название: глубокое обучение. Я назвал наше трио «заговором глубокого обучения». Шутка, но не совсем.

Нам не давали возможности публиковаться. Почти все статьи, которые мы опубликовали по этой теме в 2004–2006 гг., были отклонены на крупных конференциях по машинному обучению, NIPS (англ. Neural Information Processing Systems, системы обработки нейронной информации)[33], ICML (англ. International Conference on Machine Learning, Международная конференция по машинному обучению). В то время машинное обучение в основном было связано с «ядрами», «усилением» и байесовскими вероятностными методами. Нейронные сети к этой области не относились. Конференции по прикладным областям, такие как CVPR (Конференция по компьютерному зрению и распознаванию образов; см. выше) и ICCV (англ. International Conference on Computer Vision, Международная конференция по компьютерному зрению), тоже относились к нейронным сетям прохладно.

Нам оставалось только верить! Но иногда веры становится недостаточно. Я помню, как 6 декабря 1987 г. Джеффри Хинтон пришел в лабораторию в состоянии полной депрессии. Он был угрюм, что не было на него похоже. У Джеффри вообще было хорошее чувство юмора, как у любого уважающего себя англичанина. Но в тот день ему было не до шуток. Коллег, заходивших к нему в кабинет, ждал сухой формальный прием. В конце концов Джеффри признался, что ему тяжело: «Сегодня мне 40 лет, моя карьера окончена. Я больше ничего не достигну». Сорок лет – это рубеж, за которым, по его мнению, ум начинает работать медленнее. Он был уверен, что больше ничего не узнает о том, как работает мозг. Двадцать лет спустя у нас появились новые идеи, но они так и не получили огласку.

Но постепенно, благодаря программе CIFAR, круг наших единомышленников расширился. С 2006 г. он достиг критического размера, в связи с чем наши статьи, представленные на конференциях, стали читать многие эксперты, объединенные тематикой этих исследований. О наших идеях заговорили, а нас самих стали узнавать.

В 2007 г. на конференции NIPS к нам в очередной раз отнеслись пренебрежительно, а между тем в 2018 г. там собрались 9000 участников. Джеффри Хинтон, Йошуа Бенджио и я посещали эту конференцию каждый год, потому что именно там происходят самые интересные обмены идеями о машинном обучении. Неделя встреч, три дня пленарных заседаний и два дня семинаров, где все могли свободно высказывать свои мнения.

Конференция и семинары проходили в то время на зимнем спортивном курорте недалеко от Ванкувера. Участники приехали туда в четверг днем на автобусе. Мы хотели провести там семинар по глубокому обучению, но организаторы без объяснения причин отказали нам. Ну и ладно! На деньги CIFAR мы организовали нашу «пиратскую» встречу и арендовали собственные автобусы для перевозки участников. Наш семинар посетили 300 участников, это был настоящий рекорд! Наш мастер-класс стал самым популярным мероприятием NIPS в том году! Эта история способствовала принятию термина «глубокое обучение» в специальной литературе.

С методологической точки зрения, некоторые читатели, незнакомые с глубоким обучением, могут перейти к прочтению следующих глав, прежде чем продолжить эту, так как здесь мы ссылаемся на основные понятия, которые будут подробно разобраны позже.

В период с 2003 по 2013 г. моя лаборатория в Нью-Йоркском университете расширила область применения сверточных сетей. В 2003 г. мы добились распознавания простых объектов независимо от ориентации и освещения, а также распознавания лиц (см. рисунки 2.7 и 2.8)[34]. Впрочем, первую свою систему распознавания лиц я создал еще в 1991 г. во время шестимесячного нахождения в центральной лаборатории Thomson-CSF в Палезо. Эта работа была опубликована в 1993 г., но была проигнорирована сообществом.

Рис. 2.7. Распознание лиц с помощью сверточной сети

Изображение слева является результатом применения первой сверточной сети для распознания объектов на изображениях, созданных в 1991–1992 гг. Статьи об этом впервые вышли в 1993 и 1994 гг. Справа: высокопроизводительная система, разработанная в NEC в 2003–2004 гг. Такая система могла распознать необычные лица, например, пришельцев из «Звездного пути», а также оценивать выражение лица.

В 2003–2004 гг. лаборатория добилась значительного успеха с новым проектом, названным DAVE (рис. 2.9). Мы создали маленький грузовик-робот, оснащенный двумя камерами, который самостоятельно передвигался на местности. Конечно, сначала нужно было его обучить. Человек-пилот управлял им в течение часа или двух в разных локациях: в парках, садах, лесах. Система записывала как изображения двух камер, так и положение рулевого колеса. Затем сверточная сеть обучалась предсказывать угол поворота рулевого колеса на основе входных изображений, чтобы робот вел себя как человек-пилот, который поворачивает рулевое колесо, чтобы объехать возникшее препятствие. После этапа обучения, который длится несколько дней на компьютере, система смогла управлять роботом.

Эта демонстрация силы имитационного обучения, впрочем, не сумела удивить исследовательское сообщество. Статья оставалась не принятой к публикации до 2006 г. С другой стороны, она заинтересовала представителей Управления перспективных исследовательских проектов Министерства обороны США (Defense Advanced Research Projects Agency, DARPA) и побудила их начать проект LAGR (Learning Applied to Ground Vehicles, т. е. прикладное обучение наземных роботов), обширную исследовательскую программу по применению машинного обучения к пилотированию мобильных роботов, которая длилась с 2005 по 2009 г. Мы вернемся к этой теме в Главе 6. Результаты этой работы послужили источником вдохновения для ряда проектов по созданию беспилотных автомобилей.

Рис. 2.8. Распознавание объектов независимо от положения и ориентации

Сверточная сеть обучается на изображениях игрушек, относящихся к пяти категориям: человек, животное, самолет, легковой автомобиль и грузовик. Но оказалось, что она может распознавать реальные объекты на естественных изображениях, которые отличаются от игрушек.

Рис. 2.9. Робот DAVE (2003)

Эта небольшая радиоуправляемая машина оснащена двумя камерами. Сверточная сеть (справа), обученная имитировать действия человека-пилота, позволяет ему управлять своим движением автономно, избегая препятствий. Вход в сеть состоит из изображений с двух камер (вверху). Выходные данные сети – это угол поворота рулевого колеса (изображен четкой световой полосой под изображениями справа). Миниатюры представляют активацию единиц в последовательных слоях сети.

Вернемся в 2005 г., один из наших самых успешных в Нью-Йоркском университете. Мы продемонстрировали, что сверточные сети можно использовать для семантической сегментации, то есть для маркировки каждого пикселя изображения определенной категорией объекта, к которому относится пиксель. Мы применяли этот метод для анализа биологических изображений, полученных с помощью микроскопии (рис. 2.10). В будущем этот метод оказался очень полезным для управления роботами и автомобилями, так как позволяет помечать каждый пиксель изображения как доступную для проезда область или как препятствие.

Мы также обучали сверточную сеть сравнению изображений. Для этого мы применили «метрическое обучение», основанное на идее «сиамских сетей», которую я предложил еще в 1994 г. для проверки подлинности подписи. Оно позволяла определять, являются ли два портрета фотографиями одного и того же человека или двух разных людей. Позже эта идея была реализована в системах распознавания лиц[35].

В 2007 г. мы взяли курс на распознавание объектов на естественных изображениях. До сих пор мы работали только с изображениями игрушек, теперь же нам нужно было обрабатывать обычные фотографии и распознавать на них основной объект.

Рис. 2.10. Сверточная сеть для семантической сегментации биологических изображений

Каждый пиксель входного изображения идентифицируется как принадлежащий к одной из пяти категорий: ядро клетки, ядерная мембрана, цитоплазма, клеточная мембрана и внешняя среда. (а) – изображение клетки зародыша нематоды показано на входе в сеть. (b, c и d) – последовательные слои сверточной сети извлекают элементы изображения. (e) – результат состоит из пяти миниатюр, по одной для каждой из пяти категорий областей. В каждой выходной миниатюре яркий пиксель указывает, что соответствующий пиксель во входном изображении был распознан как принадлежащий к категории, связанной с миниатюрой.

Рис. 2.11. Семантическая сегментация изображений города

Каждый пиксель помечен сверточной сетью в категории объекта, которому он принадлежит: автомобиль, проезжая часть, тротуар, здание, дерево, небо, пешеход и т. д.

К сожалению, базы данных изображений, используемые сообществом компьютерного зрения, были тогда невелики. База данных Caltech-101 содержала около 100 категорий объектов, но только по 30 примеров на категорию. Этого было слишком мало для обучения сверточной сети. На тот момент были предпочтительны более «классические» методы, использующие ручные экстракторы признаков, за которыми следует классификатор на основе SVM. Отсутствие достаточного количества примеров заставило нас сосредоточиться на неконтролируемом обучении. Идея состояла в том, чтобы предварительно обучить слои сверточной сети извлекать общие шаблоны без их привязки к конкретной задаче. В результате этого слой сети создает представление, из которого можно восстановить входные данные слоя. Эта технология называется «автоэнкодер», особенность ее заключается в минимизации количества включенных нейронов. С этой идеей мы изо всех сил пытались достичь производительности, сравнимой с обычными системами, однако нашлось одно приложение, для которого такой метод был особенно полезным: обнаружение пешеходов, необходимое автономным автомобилям. Дело в том, что обнаружение пешеходов было одним из немногих приложений, для которых у нас было достаточно данных. Статья появилась в июне 2013 г., а сами методы актуальны и сегодня. Мы вернемся к ним в главе 9.

После LAGR моя лаборатория приняла участие в проекте глубокого обучения, финансируемом DARPA. Впервые мы столкнулись с тем, что идеально соответствовало нашим интересам! Но это было начало 2009 г., администрация США сменилась, а руководство DARPA все ждало подходящего момента. Финансирование проекта то утверждалось, то откладывалось, а затем сократилось. В самом начале сотрудничества с нашей лабораторией уставший от неопределенности руководитель проекта подал в отставку. Его преемник пытался все остановить. Мы спорили с ним, но добивались успеха, только если работали над второстепенными для нас темами. Мы по-прежнему работали над системой семантической сегментации естественных изображений, которая уже била рекорды по точности и скорости.

Все еще скептически настроенное сообщество исследователей компьютерного зрения отвергло нашу статью на конференции CVPR 2012 г., несмотря на хорошие результаты. Рецензенты, оценивавшие наш текст, не понимали, как сверточные сети, о которых они никогда не слышали, могут работать так хорошо. Все происходящее напомнило мне старый анекдот: «Конечно, это хорошо работает на практике. Но работает ли это в теории?» Рецензенты не видели смысла в обучении сквозной системы технического зрения, имея в руках лишь такую небольшую разработку. Один из них, например, заметил, что если машина все распознает, научное сообщество не поймет проблему компьютерного зрения! К счастью, через несколько месяцев статья была принята на ICML, крупной конференции по машинному обучению.

Тем временем глубокое обучение начали признавать. Стали появляться новые базы данных изображений, размер которых увеличивался, что очень благоприятствовало обучения больших глубоких нейронных сетей.

Примерно в 2010 г. появились и первые результаты глубокого обучения распознаванию речи. Это были еще не сверточные сети, но их появление было не за горами. Тремя наиболее продвинутыми компаниями в этой области стали Google, Microsoft и IBM. У Джеффри Хинтона появилась блестящая идея: летом во время стажировки он послал трех своих докторантов в каждую из этих компаний с инструкциями по замене центрального модуля их системы глубокой нейронной сетью. Попытка оказалась успешной, производительность всюду значительно улучшилась. Менее чем через 18 месяцев сразу три компании внедрили новые системы распознавания речи, основанные на глубоком обучении. Теперь мы говорили с нашим виртуальным компьютерным помощником, и сверточная сеть сразу переводила нашу речь в текст. Прогресс был настолько стремительным, что позволил создавать новые потребительские товары, активируемые речью.

Усовершенствование компьютерного оборудования тоже вносило свой вклад. Развитие графических процессоров (GPU) увеличивало вычислительную мощность компьютеров. В 2006 г. мой друг и бывший коллега по Bell Labs Патрис Симард из Microsoft Research впервые решил провести эксперимент с использованием графических процессоров (GPU) для нейронных сетей. Другие исследователи из Стэнфордского университета, IDSIA[36] (Швейцарского исследовательского института ИИ), Монреаля и Торонто продолжили эту работу. В 2011 г. стало ясно, что будущее принадлежит тем, кто будет обучать большие нейронные сети на графических процессорах. Они должны были стать проводником новой революции глубокого обучения.

Следующий, 2012 г. ознаменовал собой решающий шаг[37]. Началась новая эра, время всеобщего признания эффективности сверточных сетей. Им будет посвящена отдельная глава этой книги.

Машину можно обучить выполнять простую задачу: например, настраивать угол поворота рулевого колеса или распознавать буквы. С точки зрения, находящейся примерно посередине между информатикой и математикой, обучение машины состоит в параметризации функции f(x) в ней таким образом, чтобы из входящей информации (изображение, звук, текст) получались ожидаемые выходы (идентификация изображения, звука или текста).

Долгое время любимцем нейробиологов был один вид моллюсков, называемый «аплизия». Дело в том, что благодаря своим элементарным реакциям на внешние раздражители это животное демонстрировало, как адаптируются синаптические связи, послужившие моделью для обучающихся машин.

Весьма просто устроенная нервная система аплизии управляет в том числе деятельностью наружных жабр, с помощью которых она дышит. Если коснуться жабр пальцем, моллюск их втянет и выпустит обратно лишь через некоторое время.

Если повторить касание, он снова их втянет и опять через некоторое время выпустит. Если повторить это действие еще раз, жабры снова втянутся, но уже немного меньше. В конечном итоге аплизия почти перестанет реагировать на прикосновение и будет выпускать жабры обратно сразу же после касания. Это значит, что моллюск привык к беспокойствам со стороны внешнего мира. Он как бы говорит себе, что в конце концов ситуация не слишком серьезна, поэтому ее можно проигнорировать.

Психиатр и нейробиолог Эрик Кандел исследовал нейронную сеть, которая управляет изменением поведения аплизии. Втягивание жабр происходит в результате изменений в эффективности синапсов, соединяющих те нейроны, которые воспринимают прикосновение, и те, что вызывают втягивание. Чем сильнее раздражитель, тем сильнее снижается эффективность синапсов и тем меньше втягиваются жабры. Кандел исследовал биохимические механизмы, которые заставляют эти синапсы менять эффективность, что, в конечном счете, влияет на поведение этого моллюска. Иначе говоря, он объяснил механизм адаптации аплизии к повторяющимся раздражителям. Эта работа принесла ему Нобелевскую премию по физиологии в 2000 г.

Этот механизм адаптации или обучения путем изменения синаптической эффективности присутствует почти у всех животных, имеющих настоящую нервную систему. Для справки: мозг – это сеть нейронов, соединенных синапсами, большинство из которых можно изменить путем обучения. Это определение применимо ко всей цепочке живых существ, от крошечного червя Caenorhabditis elegans длиной всего в 1 мм с 302 нейронами, до аплизии и ее 18 000 нейронов, до мухи-дрозофилы (250 000 нейронов и 10 млн синапсов), мыши (71 млн нейронов и около миллиарда синапсов), кролика и осьминога (полмиллиарда нейронов), кошки и сороки (800 млн нейронов), собаки и свиньи (2,2 млрд), орангутанга и гориллы (32 млрд нейронов) и, наконец, человека с его 86 млрд нейронов и примерно 150 000 млрд синапсов. Перед нами одна из величайших загадок интеллекта: как разумное поведение возникает из сети очень простых взаимодействующих единиц, меняя связи между ними.

Воспроизведение мышления – цель исследования машинного обучения на основе искусственных нейронных сетей. Обучение путем корректировки эффективности синапсов является примером того, что статистики с середины XX в. называют «идентификацией параметров модели».

Допустим, вы хотите построить автомобиль, который управляет своим движением, имитируя водителя-человека. Что нужно делать?

Первый шаг – собрать данные, полученные от опытного водителя, то есть записать положение автомобиля на трассе и то, как водитель корректирует это положение, поворачивая рулевое колесо, чтобы удерживать автомобиль по центру дорожной полосы.

Можно представить себе измерение положения автомобиля в полосе движения, анализируя изображение камеры, которая фиксирует белые линии. Каждую десятую долю секунды регистрируется положение автомобиля относительно дорожной разметки и угол поворота рулевого колеса. В результате получается большой объем данных. За один час это составляет 36 000 положений автомобиля и углов поворота руля!

Давайте перенесем эту модель на график: положение автомобиля представляет переменную x (ось абсцисс), мы называем это «входом в систему». Если ширина полосы 4 м, то x будет равно 0, когда автомобиль находится посередине, 2 м, когда автомобиль пересекает дорожную разметку справа, и –2 м, если она пересекает разметку слева. Таким же образом, угол поворота рулевого колеса является переменной y (ось ординат на графике). Это называется «выход системы». Он выдает угол поворота рулевого колеса в градусах, например, 5°, чтобы повернуть немного влево, 0°, чтобы держать рулевое колесо прямо, и –5°, чтобы повернуть немного вправо.

Таким образом, регистрируя действия водителя за рулем, мы собираем тысячи числовых пар (x, y), состоящих из положения на дороге и соответствующего угла поворота рулевого колеса. Затем мы объединяем это множество примеров в виде списка из пар чисел X и Y, элементы которого пронумерованы. Чтобы обозначить конкретный пример в этом списке, его номер дается в квадратных скобках, например, пара значений X[3] и Y[3] соответствует примеру номер 3 (это обозначение, которое любят компьютерщики: в квадратных скобках в программировании указывается порядковый номер элемента массива). Мы соберем p примеров (например, p = 36 000), которые составят так называемый обучающий набор:

Цель состоит в том, чтобы на этих примерах научить машину предугадывать правильный угол поворота рулевого колеса в зависимости от положения автомобиля на дороге. Другими словами, мы хотим, чтобы машина «имитировала» водителя-человека, воспроизводя его поведение как можно лучше.

Для этого требуется найти функцию f(x), которая для каждого x обучающего набора подбирает соответствующий y в этом наборе, то есть Y[0] для X[0], Y[1] для X[1] и т. д. Как только функция f(x) найдена, мы можем использовать ее для интерполяции и вычисления y, соответствующего любому x, даже для значений x, которых нет в нашем обучающем наборе. Такой тип обучения называется «обучение с учителем».

Представим идеального водителя, у которого обучающие примеры расположены по линии, показанной на рис. 3.1. Поскольку кажется, что в расположении этих точек есть какая-то закономерность, нам нужно найти функцию, график которой проходит через все эти точки. Кстати, мы только что совершили несколько произвольный выбор функции, априори решив, что это прямая, угол наклона которой нам и нужно найти.

Эта функция записывается следующим образом:

f(x) = w * x

Я использую здесь обозначения, применяемые в информатике, где символ * обозначает умножение. Данная функция представляет собой прямую, проходящую через 0, наклон которой определяется числом w. Удобнее рассматривать f как функцию с двумя переменными, x и w. Чтобы запрограммировать эту функцию на компьютере с языком Python[38], следует написать следующее:

def f(x, w): return w * x

Рис. 3.1. Взаимосвязь между отклонением автомобиля от полосы движения и углом поворота рулевого колеса, необходимый для возврата автомобиля в середину полосы

Абсцисса соответствует положению автомобиля относительно центра полосы движения на автостраде (в метрах), а ордината – углу поворота рулевого колеса, необходимому для возврата автомобиля в центр полосы (в градусах). Для отрицательного значения положения (слева от центра полосы движения) к рулевому колесу следует приложить отрицательный угол (в данном случае – по часовой стрелке). Здесь отклонение в 1 м исправляется поворотом руля на угол 4°.

Символы w и x представляют собой переменные, функция которых вычисляет произведение, обозначенное w * x. Понятие переменной в информатике означает своего рода «ящик» или ячейку в памяти компьютера, где можно хранить число. Например, можно создать переменную w и поместить в нее значение 4, а затем создать переменную x, имеющую значение 2:

w = 4

x = 2

Символы w и x – это просто названия соответствующих ячеек памяти. Чтобы вычислить функцию с этими значениями x и w, следует написать:

yp = f(x, w)

где символ yp обозначает прогноз y, произведенный нашей моделью.

Рис. 3.2. Прямая, которая проходит как можно ближе к точкам, которые не выровнены

Три из четырех точек лежат на одной прямой. Прямая с коэффициентом наклона 4 проходит через эти три точки, но не через четвертую. Проблема в том, как найти компромисс: прямую, которая проходит «как можно ближе» ко всем четырем точкам. При этом она может не проходить ни через одну из заданных точек.

После произведенного вычисления переменная yp будет содержать значение 8 (4 раза по 2).

Чтобы применить функцию к обучающему примеру № 3, необходимо выполнить следующее: присвоить переменным x и y значения X[3] и Y[3] и вычислить результирующее значение функции f(x, w).

x = X[3]

y = Y[3]

yp = f(x, w)

Поиск прямой, проходящей через точки, сводится к поиску правильного значения параметра w этой функции. Предположим, у нас есть только две тренировочные точки, A = [[0.0, 0.0], [0.9, 3.6]][39].

Через эти две точки проходит одна прямая. В этом случае правильное значение w равно 4, поскольку 4 * 0.9 = 3.6. Добавим третью точку (–0.8, –3.2). Три точки принадлежат одной прямой, и правильное значение w всегда равно 4.

Но это идеальная ситуация, в реальной жизни так обычно не бывает.

Поставим четвертую точку (1.9, 5.4).

Если мы используем то же значение 4.0 для w, значение, предсказанное нашей функцией yp = f(x, w), будет не 5.4, а 7.6 = 4 * 1.9. Как указывалось ранее, символ yp обозначает прогноз y, произведенный нашей моделью. Данная точка находится не справа, потому что она не совмещена с первыми тремя точками. Что тогда делать?

Должен быть компромисс: нужно выбрать прямую, которая проходит как можно ближе ко всем точкам, с небольшими ошибками.

При значении w = 4.0 значение, предсказанное справа, равно 7.6. Но значение, наблюдаемое в примере 4, равно 5.4. Четвертая точка выдает ошибку –2.2 = 5.4 – 7.6. Меняя w, мы можем переместить прямую ближе к этой четвертой точке, но тогда мы отодвинемся от остальных трех. Поскольку невозможно пройти через все точки, лучшим компромиссом в нашем примере является прямая, наклон которой составляет примерно 3.2.

При заданном значении w для каждой из точек возникает ошибка между предсказанным функцией yp (на новой прямой) и наблюдаемым у (в каждом примере обучения).

Мы можем измерить среднюю ошибку по всем этим четырем точкам. Для каждой точки ошибка может быть положительной или отрицательной; важно расстояние между предсказанным значением yp и наблюдаемым значением y, независимо от его знака. Чтобы определить это расстояние, необходимо использовать квадрат этой ошибки, но также можно использовать его абсолютное значение (которое всегда положительно).

Для заданного значения w ошибка в примере, скажем (X[3], Y[3]), равна (Y[3] – w * X[3]) ** 2, поскольку значение предсказано для X[3], это yp = w * X[3]. (Мы используем обозначение из информатики: ** 2 для возведения в квадрат[40].)

Мерой неточности системы L(w) является среднее значение всех этих ошибок на обучающих примерах:

L(w) = ¼ * ((Y[0] – w * X[0]) ** 2 + (Y[1] – w * X[1]) ** 2 + (Y[2] – w * X[2]) ** 2 + (Y[3] – w * X[3]) ** 2)

Данная величина зависит от w: иначе говоря, это функция от w. Мы называем это функцией стоимости, и w – единственный регулируемый параметр этой функции. Чем меньше значение L(w), тем меньше средняя ошибка, тем точнее наше приближение. Следовательно, мы должны найти значение w, которое минимизирует эту функцию стоимости L(w) (см. рисунок 3.3).

Вместе с точками обучения p функция стоимости обозначается с использованием греческой буквы «сигма» для обозначения суммы членов для всех значений индекса i от 0 до p-1:

Эта формула включает квадрат w. Следовательно, это многочлен второй степени; другими словами, парабола.

Есть способ сделать это, он называется «стохастический градиентный спуск», или SGD (Stochastic Gradient Descent). Идея его состоит в том, чтобы взять точку обучения и немного скорректировать линию, чтобы она приблизилась к рассматриваемой точке. Затем следует перейти к следующей точке обучающего набора и провести небольшую корректировку, чтобы приблизиться и к этой новой точке. Корректировка должна быть такой же незначительной, как и ошибка. Другими словами, корректировка будет пропорциональна ошибке. Допустим, если мы возьмем пример № 3, корректировка для w будет следующей:

w = w + e * 2 * (Y[3] – w * X[3]) * X[3]

Рис. 3.3. Парабола, являющаяся графиком квадратичной функции стоимости

Когда функция стоимости представляет собой многочлен второй степени по отношению к w, она принимает форму параболы с единственным минимумом. Решение, то есть значение w, которое дает минимальное значение стоимости, обозначено на графике значком

Это не математическая формула, а обозначение, заимствованное из информатики: оно означает, что мы заменяем переменную w (слева от знака равенства) ее текущим значением (справа от знака равенства), суммированным с результатом выражения, расположенного справа от знака плюс.

Давайте рассмотрим эту формулу. Переменная e называется «шагом градиента». Она должна содержать небольшое положительное число, которое определит размер приращения w. Если число X[3] положительно, а линия находится ниже точки (X[3], Y[3]), то есть разница (Y[3] – w * X[3]) положительна, тогда необходимо увеличить значение w. Именно это и делает приведенная формула. И наоборот, если линия проходит над точкой, разница будет отрицательной и значение w будет уменьшаться. Скорость, с которой линия приближается к точке, уменьшается по мере приближения линии к точке, останавливаясь при прохождении через точку. Когда X[3] отрицательно, формула меняет знак приращения на противоположный: слишком маленький наклон приводит к положительной ошибке, и наоборот.

Повторяя примеры один за другим и каждый раз немного меняя наклон прямой, в конечном итоге мы стабилизируем прямую по отношению к значению w, которое минимизирует L(w), при условии постепенного уменьшения значения e. Этот метод, получивший название «стохастическая аппроксимация», был изобретен в 1951 г. американскими статистиками Гербертом Роббинсом и Саттоном Монро.

Функция f(x, w) может быть не только линейной. Скорость камня, падающего вертикально вниз, увеличивается пропорционально квадрату времени падения. Представьте себе, как Галилей поднимается на Пизанскую башню. Он останавливается на первом этаже. Он бросает вниз камешек и измеряет время, за которое камешек упадет на землю. Он поднимается еще на один этаж. Он снова бросает камень и измеряет время падения. Он повторяет этот опыт снова и снова, на каждом следующем этаже.

Существует закономерность, связывающая переменные x – время падения, и y – высоту падения камня.

Таким образом, зная время падения, можно вычислить высоту падения в зависимости от времени. Это квадратичная функция, график этой функции – парабола.

Формула, связывающая x (время падения) с y (высота падения): y = 0.5 * g * x ** 2, где g – ускорение свободного падения, или 9,81 м/с². Благодаря своим наблюдениям Галилей смог установить этот закон, который позволяет, зная время падения предмета с высоты, вычислять высоту падения. И предсказать время падения в зависимости от высоты, приведя формулу к соответствующему виду.

Таким образом, Галилей заложил основы научного метода, который устанавливает законы, связывающие одну переменную с другой математической формулой. Иначе говоря, он выводил законы из наблюдений и предсказывал явления на основе этих законов.

В этом и состоит принцип машинного обучения.

Принцип обнаружения основного правила также применим и к распознаванию изображений. Вход x – это изображение. Но изображение – это не более чем большой набор чисел. Например, черно-белая фотография размером 1000 × 1000 пикселей выражается в виде 1 млн чисел, каждое из которых указывает значение оттенка серого для каждого пикселя. Если это цветное изображение, каждый пиксель описывается уже не одним, а сразу тремя значениями, уровнями яркости трех основных цветов: красного, зеленого и синего.

Ответ машины y (распознавание изображений) можно выразить одним числом или серией чисел. Я предоставляю машине изображение кошки (x) и прошу ее ответить: «Это кошка» (y). Считаем, что y = 1 – кошка, а y = –1 – это не кошка. Фактически, мы просим функцию классифицировать изображения, представленные как входные данные, на две категории.

Таким же образом можно обучить автомобиль, оснащенный камерой, ездить самостоятельно. В этом случае дело обстоит немного сложнее, потому что вход x, который подается в систему, представляет собой изображение, которое включает в себя миллионы чисел, из которых нужно оценить положение автомобиля на дороге. Выход yp – это угол поворота рулевого колеса и показатели усилий на педалях. Если машина должна научиться отличать изображение автомобиля от изображения самолета, мы собираем тысячи изображений автомобилей и тысячи изображений самолетов. Вводим изображение автомобиля. Если машина дает правильный ответ, ничего не меняем. Если машина дает неверный ответ, необходимо настроить параметры системы так, чтобы ее ответ приблизился к правильному. Другими словами, нужно изменить настройки, чтобы минимизировать ошибку.

Все системы обучения с учителем работают по одному и тому же принципу, а именно:

Вход x. Это может быть изображение (таблица чисел в компьютерной программе); речевой сигнал (последовательность чисел на выходе аналого-цифрового преобразователя, преобразующего в цифровой вид аналоговый сигнал от микрофона); текст для перевода (также представленный серией чисел)… Ниже мы будем говорить об этом подробнее.

Желаемый выход у. Это идеальный желаемый результат для входа x.

Выход yp. Это ответ машины, который требуется (или не требуется) корректировать.

Давайте остановимся на самом простом типе машины, «линейном классификаторе», который мы рассмотрим на примере перцептрона.

Этот предок самообучающихся машин был разработан в 1957 г. американским психологом Фрэнком Розенблаттом в авиационной лаборатории Корнельского университета в Буффало (США). В те годы часть ученых в области ИИ исследовала феномен обучения, характерный для интеллекта человека и животных.

Изобретателя перцептрона вдохновили открытия в области нейробиологии своего времени. Затем психологи и биологи работали над тем, как работает мозг и как нейроны соединяются друг с другом. Они представили биологический нейрон как своего рода разветвленную звезду. Все ветви нейрона, кроме одной, образуют входы, или дендриты, которые соединяют этот нейрон с вышестоящими нейронами через контактную зону – синапс. Последняя ветвь, аксон, является единственным выходом для нижестоящих нейронов. Нейрон принимает электрические сигналы, излучаемые выше по потоку, обрабатывает их и передает, если необходимо, один сигнал ниже по потоку. Этот сигнал состоит из последовательности электрических импульсов, называемых потенциалами действия или «спайками» (от англ. spike – пик на графике), частота которых представляет собой интенсивность активности нейрона. Данная частота может быть выражена числом.

В 1943 г. два американских кибернетика и нейробиолога Уоррен Маккалок и Уолтер Питтс предложили очень упрощенную математическую модель биологического нейрона – чуть ли даже не его карикатуру, по мнению некоторых. Этот «искусственный нейрон» вычислял взвешенную сумму чисел, представляющих активность восходящих нейронов. Если эта сумма меньше определенного порога, нейрон становился неактивным. Если, наоборот, сумма выше порога, нейрон активировался и производил серию импульсов, распространяющихся вдоль его аксона в направлении нижестоящих нейронов. Частота импульсов также выражалась определенным числом.

В модели Маккаллока и Питтса выход являлся двоичным: активным или неактивным, т. е. +1 или –1. Каждый бинарный нейрон вычисляет взвешенную сумму выходов вышестоящих нейронов, с которыми он связан. Он дает на выходе +1, если сумма больше порогового значения, и –1 в противоположном случае. В нашем примере данный порог равен 0.

Согласно Маккалоку и Питтсу, их бинарные нейроны выполняют логические вычисления, а мозг можно рассматривать как машину логического вывода[41].

Эта гипотеза вдохновила психолога Фрэнка Розенблатта. Его перцептрон использовал бинарные пороговые нейроны Маккаллока и Питтса. Он основан на принципе передачи сигнала нейрону, который вычисляет взвешенную сумму своих входов и активируется, когда эта сумма больше 0. Но Розенблатт пошел дальше в копировании биологического нейрона. Воодушевленный идеей, что обучение изменяет синаптическую эффективность в мозге, он разработал процедуру, которая позволяет машине адаптироваться путем исправления ошибок посредством изменения весов, составляющих взвешенную сумму. Последняя мысль восходит еще к работе испанского нейроанатома Сантьяго Рамона-и-Кахала, опубликованной в конце XIX в.

Розенблатт также читал работы канадского психолога Дональда Хебба, который в 1949 г. в своей книге «Организация поведения»[42] предложил идею о том, что синапс, соединяющий два нейрона, усиливается, когда эти два нейрона активируются одновременно. Гипотеза была подтверждена в 1960-х гг., а в 1970-х Эрик Кандел, изучая ставшую знаменитой аплизию, объяснил биохимические механизмы адаптации нейронов.

Перцептрон в своей простейшей форме представляет собой нейрон Маккаллока и Питтса, который обучается посредством изменения своего веса. На этапе обучения оператор показывает машине, например, изображение буквы C, и указывает ожидаемый выход: +1 для буквы C (и –1 для другой буквы). Затем машина регулирует веса входов так, чтобы ее выход приблизительно соответствовал ожидаемому. Эту процедуру необходимо было повторить с несколькими изображениями буквы C и других букв. Путем регулировки весовая конфигурация становится способной распознавать любую (или почти любую) букву C.

Чтобы убедиться в том, что машина обучена должным образом, мы тестируем ее, показывая ей изображения буквы C и изображения других букв, которые она не видела во время обучения. Если распознавание работает, то можно считать, что машина обучена и готова к практическому применению.

В 1957 г. в Буффало машина Фрэнка Розенблатта выглядела как большой металлический шкаф, из которого во все стороны торчали провода. У него была своего рода искусственная сетчатка, сеть фотоэлементов, которые принимали входное изображение, и сотни автоматизированных приводов, немного похожих на ручки регулировки громкости на усилителе, управлявших показателями весов. Каждый привод представлял собой переменный резистор, подключенный к небольшому электродвигателю. Электронная схема вычисляла взвешенную сумму напряжения входов на сетчатке, задаваемую переменными резисторами. Если эта взвешенная сумма превышала пороговое значение, загорался выходной индикатор. Если сумма не превышала пороговое значение, индикатор не загорался.

Новизна перцептрона заключалась именно в его способности к самообучению: он автоматически регулировал свои веса после демонстрации каждого нового изображения, приводя их в соответствие с желаемым выходом. На самом деле, идея корректировки параметров модели на основе данных существовала на протяжении многих веков. Инновация Розенблатта заключалась в применении этой идеи для машинного распознавания образов.

Запомните следующий принцип: на входе в перцептрон сеть фотоэлементов считывает простые изображения с низким разрешением. На выходе световая индикация дает нам знать, распознано изображение или нет.

Возьмем следующий пример. Перцептрону представляется изображение размером 5×5 пикселей, то есть 25 пикселей, которое преобразуется сетчаткой в серию из 25 чисел: +1 для черного пикселя, – 1 для белого пикселя. Перцептрон представлял эти числа в виде электрических потенциалов на выходящих проводах. В наше время эти же числа – просто значения переменных в памяти компьютера. Для изображения буквы C на рис. 3.4 начало серии из 25 соответствующих чисел будет выглядеть так:

Ряд чисел, то есть вектор x[0],…, x[24], представляет собой изображение входа: первый пиксель соединен с первым входом x[0] нейрона, второй пиксель до вторым входом x[1] и т. д.

Рис. 3.4. Изображение буквы C на решетке 5 × 5 пикселей

Изображение – это матрица, составленная из пикселей, где каждый пиксель – это число, обозначающее цвет пикселя: +1 для черного и –1 для белого. Таким образом, изображение описывается таблицей чисел от единицы до минус единицы. В более привычных нам «черно-белых» изображениях, например, на черно-белых фотографиях, соответствующие числа представляют интенсивность серого цвета, обычно в диапазоне от нуля до 256. В цветном изображении каждый пиксель определен тремя числами, представляющими интенсивность красного, зеленого и синего цветов.

Рис. 3.5. Нейрон, связанный с изображением

Нейрон вычисляет взвешенную сумму своих входов. В данном случае нейрон имеет 25 входов, представляющих собой пиксели изображения, каждый из которых имеет значение +1 или –1. Значение каждого пикселя умножается на вес, присвоенный связанному с пикселем входу нейрона. Данные результаты суммируются для получения взвешенной суммы. Это веса, которые машина может использовать для коррекции результата. Затем взвешенная сумма сравнивается с пороговым значением. Если взвешенная сумма больше порога, выход нейрона равен +1, в противном случае равен –1. Совокупность весов входящих связей – это память системы. (Для ясности схемы показана только часть соединений.)

В машине 25 весов, каждый из которых связан с пикселем. Эти 25 параметров и схема их подключения составляют архитектуру машины. Такая схема подключения является фиксированной: один и тот же пиксель всегда подключен к одному входу и связанному с ним весу. До начала этапа обучения все веса равны 0. Таким образом, взвешенная сумма будет равна 0, а результат –1, независимо от изображения.

В процессе обучения машина регулирует свои веса. Научим ее отличать букву С от буквы D. Мы уже знакомы с этим методом: предоставляем машине несколько последовательных примеров каждой буквы. Каждый раз, когда машина выдает правильный ответ, мы не предпринимаем ничего. Если она ошибается, мы корректируем веса (мы «поворачиваем ручки регулировки громкости»), чтобы изменить взвешенную сумму таким образом, чтобы она стала положительной для буквы C и отрицательной для буквы D.

Рассмотрим процедуру более подробно. Если в качестве примера используется буква C, а машина ошиблась, это означает, что веса установлены неправильно и взвешенная сумма ниже 0 (порога), а не выше. Поэтому машина (точнее, алгоритм обучения, написанный инженером), должна изменить веса так, чтобы взвешенная сумма увеличилась. Она увеличивает значение для тех весов, соответствующий вход которых равен +1, и уменьшает значение для весов, у которых соответствующий вход равен –1.

И наоборот, если пример – буква D, и машина дает неправильный ответ (+1, «Это C»), это означает, что взвешенная сумма больше 0, а не меньше. В этих условиях алгоритм обучения должен уменьшать веса, соответствующие входы которых равны +1, и увеличивать веса, соответствующие входы которых равны –1.

Вес каждый раз меняется на небольшую величину. Новое значение веса после настройки перезаписывает предыдущее значение. Одной итерации недостаточно. Правильный ответ будет получен только после последовательных обновлений.

При некотором везении повторение этих манипуляций для представления / распознавания / корректировки весов для букв C и D приведет к тому, что конфигурации весов, определяемые алгоритмом, будут сходиться к стабильной ситуации, когда любая буква C и любая буква D будут распознаны.

Перцептрон Розенблатта был электронной машиной весом в несколько тонн. Магия современных технологий заменяет ее этой маленькой программой из нескольких строк, исполняемой на небольшом компьютере.

В примере, который мы привели, машина изучает «трафаретные» отличия букв C и D. Пиксели, специфичные для буквы C, имеют положительный вес; пиксели, специфичные для буквы D, имеют отрицательный вес, а другие пиксели, которые не появляются в C или D, или те, которые появляются в обоих, имеют нулевой вес.

Но мы также можем рассматривать процедуру обучения перцептрона как минимизацию функции стоимости, параметры которой являются регулируемыми весами системы. Как тот, что описан в примере с автомобилем, который мы рассматривали выше. Мы вернемся к этому в Главе 4.

Позвольте мне уже сейчас раскрыть интригу: в тот момент существовала тривиальная техника распознавания фигур независимо от их вариаций – метод «ближайшего соседа». Совсем другой метод, нежели перцептрон. Он состоит из простого сравнения одного изображения с другим. Компьютер хранит в своей памяти все тренировочные образы. Когда появляется изображение, которое нужно распознать, машина сравнивает его с изображениями в своем каталоге. Она находит наиболее похожее изображение, например, подсчитывая количество разных пикселей между двумя изображениями. Выводится категория ближайшего изображения: если это D, вывод будет «D». Этот метод хорошо подходит для простых изображений, таких как печатные буквы (в небольшом наборе шрифтов). Но для рукописных символов он менее эффективен, к тому же он слишком трудоемок. Если бы мы использовали метод ближайшего соседа для распознавания собаки или стула, нам потребовались бы миллионы фотографий собак и стульев в разных положениях, освещении, конфигурациях и средах. Такой прием практически никогда не работает, но даже там, где он может сработать, он останется крайне непрактичным.

Важнейшее свойство обучающейся машины – это ее способность к обобщению, то есть умение давать правильный ответ для примеров, которые она не видела во время обучения. Если обучающий набор содержит достаточно примеров букв C и D с небольшими вариациями стиля, перцептрон может распознавать и такие варианты C и D, которые он никогда раньше не видел. Правда, при условии, что они не слишком сильно отличаются от примеров обучения.

Проиллюстрируем данный принцип обобщения при помощи аналогии. Чтобы найти результат умножения 346 на 2067, человек не учит наизусть результаты перемножения всех возможных чисел: он – находит сам принцип, позволяющий производить умножение. Перцептрон делает нечто подобное. Он не хранит все возможные формы C, чтобы в дальнейшем их распознать. Он разрабатывает модель, шаблон, который позволяет ему выполнять распознавание по запросу. Посмотрим, как это происходит.

Оператор, который обучает систему, собирает множество примеров, может быть, сотни, а то и тысячи, букв C, разных размеров, с разными шрифтами, размещенных в разных местах 25-пиксельной сетки. Он делает то же самое с буквой D.

Если обучить перцептрон выдавать +1 для примеров C и –1 для примеров D, процедура обучения перцептрона даст положительный вес пикселям, которые являются черными для C и белыми для D, и отрицательный вес для пикселей, которые белые для C и черные для D. В целом веса представляют информацию, позволяющую отличать C от D.

«Магия» обучения заключается в том, что «обученная» машина способна выйти за рамки того, что ей было показано.

Метод, который мы только что описали, работает, когда примеры букв C и D не слишком сильно отличаются. Если различия в форме, размере или ориентации слишком велики, например, одна буква C крошечная, другая находится в углу изображения – перцептрон не сможет найти комбинацию весов, которая может различать примеры букв C и D. Таким образом, он оказывается неспособным различать определенные типы форм. Этот предел является общим для всех линейных классификаторов, примером которых является перцептрон. Рассмотрим, почему это так.

Входом линейного классификатора является список из n чисел, который также может быть представлен n-мерным вектором. С математической точки зрения вектор – это точка в пространстве, координатами которой являются числа, составляющие его. Для нейрона с двумя входами входное пространство является двумерным (это плоскость), а входной вектор обозначает точку на плоскости. Если нейрон имеет три входа, входной вектор обозначает точку в трехмерном пространстве. В нашем примере для букв C и D пространство входа имеет 25 измерений (25 пикселей изображения один за другим связаны с 25 входами нейрона). Таким образом, изображение представляет собой вектор, состоящий из значений 25 пикселей, которые обозначают точку в этом 25-мерном пространстве. Однако представить себе гиперпространство очень трудно.

Линейный классификатор, то есть пороговый нейрон Маккаллока и Питтса, разделяет свое входное пространство на две половины: например, изображения C и изображения D. Если пространство представляет собой плоскость (для нейрона с двумя входами), граница между двумя половинами представляет собой линию. Если пространство имеет три измерения, граница – это плоскость между двумя половинами. Если пространство имеет 25 измерений, граница представляет собой 24-мерную гиперплоскость. В более общем случае, если количество входов равно n, пространство имеет n измерений, а поверхность разделения представляет собой (n – 1)-мерную гиперплоскость.

Однако на самом деле это не всегда так. Продемонстрируем, почему.

Представим себе перцептрон не с 25 входами (сетка 5×5 пикселей), а с двумя входами, т. е. он снабжен нейроном с двумя входами. Теперь добавим к этому перцептрону третий «виртуальный» вход, значение которого всегда будет равно –1. Без этого дополнительного параметра разделительная линия всегда будет проходить через начало координат. Но разделительная линия не обязательно должна проходить через начало координат плоскости: изменяя соответствующий вес, ее можно свободно перемещать.

Эта очень простая машина оказывается неспособной различить между собой определенные изображения входа. Четыре обучающих примера (0, 0), (1, 0), (1, 1) и (0, 1) могут быть представлены четырьмя оценками. Разместим их на графике (см. рис. 3.6).

Функции, которые может выполнять перцептрон, – это те функции, которые позволяют классифицировать точки в два набора, разделяя их для классификации.

Наблюдая за графиком, мы видим, что можем провести линии, отделяющие (0, 0), (1, 0) и (0, 1) от (1, 1).

Мы можем провести прямые линии, отделяющие (0, 0) от (1, 0), (1, 1) и (0, 1).

Но мы не можем провести линию, которая отделяет (0, 0) и (1, 1) от (1, 0) и (0, 1).

Функция, которая возвращает 0 для (0, 0); 1 для (1, 1); 1 для (1, 0) и 0 для (0, 1), называется «исключающим ИЛИ». Эта функция, как принято говорить, «не является линейно разделимой»: точки входа, выход которых равен 1, нельзя отделить линией, плоскостью или гиперплоскостью от точек входа, выход которых равен 0.

Рис. 3.6. Перцептрон с 2 входами

Функция, которая связывает +1 с черными точками (0, 1) и (1, 0) и –1 с серыми точками (0, 0) и (1, 1), называется «исключающее ИЛИ». Не существует прямой линии, отделяющей все черные точки от всех серых точек. Это – один из способов показать, что линейный классификатор (например, перцептрон) не может вычислить исключающее ИЛИ. Линии на диаграмме представляют функции И [+1 для (1, 1) и –1 для остальных] и ИЛИ [–1 для (0, 0) и +1 для остальных]. В размерности 2 только две булевы функции из 16 не разделимы линейно. При увеличении размерности только незначительная часть функций линейно разделима.

В таблице ниже каждая строка представляет собой одну из четырех возможных конфигураций двух двоичных входов. Каждый пронумерованный столбец представляет выходы конкретной логической функции для каждой из четырех конфигураций входа. Есть 16 возможных функций (т. е. 2⁴). 14 из 16 функций достижимы с помощью линейного классификатора. Недостижимы только две (они обозначены буквой Н в последней строке):

В этом примере мы видим точки в двумерном пространстве, соответствующие двум пикселям изображения, которые составляют два входа функции. Это плоскость. Ее вполне можно представить себе или визуализировать.

Однако настоящий перцептрон работает в многомерном пространстве. Когда мы хотим, чтобы перцептрон различал несколько более сложные или разные формы, положения и т. д., мы часто оказываемся в только что описанной ситуации, но на этот раз в «высоких» измерениях.

В перцептроне, если вектор входа образует острый угол с вектором веса, взвешенная сумма будет положительной, если же угол тупой, она будет отрицательной. Разделительная линия между положительным и отрицательным значениями – это набор точек x, которые ортогональны вектору веса w, поскольку скалярное произведение между w и x равно нулю. В размерности n уравнение границы выглядит следующим образом:

w[0] * x[0] + w[1] * w[1] + w[2] * w[2]….w[n-1] * x[n-1] = 0

Это гиперплоскость размерности n – 1.

Перцептрон разделяет пространство на две половины гиперплоскостью. На одной «стороне» гиперплоскости мы хотим получить все точки, которые делают детектор C активным, а на другой «стороне» мы хотим получить точки, делающие его неактивным. Если можно найти такую гиперплоскость, то процедура обучения перцептрона в конечном итоге найдет ее путем многократного прохождения обучающих примеров. Если такой гиперплоскости не существует, то есть если точки неразделимы линейно, процедура обучения перцептрона будет бесконечно продолжать изменять веса, никогда не приходя к их единой стабильной конфигурации.

Зачем мы проводим эти примеры? Дело в том, что именно они объясняют разочарование, охватившее исследователей распознавания образов в начале 1960-х. Специалисты поняли, что возможности перцептрона ограничены, и что они не смогут использовать его для распознавания объектов на естественных изображениях.

Это связано с тем, что, когда размерность входа высока, а примеры многочисленны и сложны, например, тысячи фотографий собак, кошек, столов и стульев, то велики и шансы, что категории не будут линейно разделяемыми, то есть достижимыми с помощью перцептрона, подключенного непосредственно к пикселям. Даже в простом случае с буквами C и D, если существуют значительные различия в форме, положении или размере букв, классификация букв C и D оказывается для перцептрона невозможной.

Книга Сеймура Паперта и Марвина Мински «Перцептроны»[43], изданная в 1969 г., поставила крест на будущем этого типа машин. Прекращение исследований в области машинного обучения сыграло важную роль в истории искусственного интеллекта. Оно привело к одному из тех застоев, о которых мы упоминали, когда научное сообщество отвернулось от этой тематики.

Но для современного читателя интерес к такой демонстрации состоит в том, чтобы приблизиться к пониманию функционирования обучающейся машины.

Таким образом, перцептрон в своей простейшей версии оказался неспособным различать некоторые типы изображений. Решение этой проблемы было найдено уже тогда, и оно используется до сих пор. Суть его заключается в размещении между входным изображением и нейронным слоем промежуточного модуля, «экстрактора признаков», который обнаруживает наличие или отсутствие определенных паттернов во входном изображении, а затем создает вектор, описывающий наличие, отсутствие или интенсивность этих паттернов. Затем этот вектор обрабатывается слоем перцептрона.

Рассмотрим пример.

Когда вы подключаете перцептрон непосредственно к пикселям изображения, скажем, буквы C, перцептрон не может создать «улучшенный шаблон», в котором изображение, закодированное его весами, указывает на пиксели, которые отличают C от других категорий. Как только разнообразие примеров становится слишком большим, машина Розенблатта «насыщается», и веса оказываются не способны выявлять различия. Это происходит, когда перцептрон обучается на сильно отличающихся буквах С. На изображениях с разрешением, достаточным для распознавания всех символов, примерно 20 × 20 пикселей, буквы C могут быть маленькими, большими, напечатанными различными шрифтами или написанными от руки различными стилями, располагаться в углу изображения, а не в центре и т. д. Если форма, положение или размер слишком отличаются, перцептрон не может классифицировать их, потому что нет единого улучшенного шаблона, который подходил бы ко всем этим вариациям.

Рис. 3.7. Экстрактор признаков

Экстрактор признаков обнаруживает наличие отличительных паттернов во входном изображении и отправляет выходы обучаемому классификатору, такому как перцептрон. Первый шаблон определяет окончания линий справа как конечные точки линий буквы «C». Два других обнаруживают углы, как и у буквы «D». Результаты передаются на вход перцептрона. После обучения перцептрон сможет отличать букву C от D независимо от размера и положения, пока эти признаки наличествуют. В данном примере, где есть одна буква C и две буквы D, расположенные по-разному, экстрактор можно рассматривать как слой бинарных нейронов. Белый пиксель представляет значение –1, серый пиксель представляет значение 0, а черный пиксель +1. Три детектора представляют собой своего рода «шаблоны» размером 5 × 5 пикселей, которые передаются по входному изображению. Для каждого положения шаблона мы вычисляем взвешенную сумму 25 пикселей входного окна с 25 весами шаблона. В результате получаются изображения, в которых каждый пиксель темнее, поскольку содержимое окна похоже на шаблон. Затем взвешенные суммы сравниваются с пороговым значением и выводятся карты признаков со значением +1, если шаблон обнаружен в соответствующем месте, и 0, если не обнаружен.

Один из способов отличить букву C от D на изображении размером 20 × 20 пикселей, независимо от шрифта или стиля, заключается в обнаружении углов и окончаний строк. Буква D – замкнутая фигура с двумя углами, а буква C – кривая на каждом конце линии. Можно было бы построить экстрактор признаков, который указывал бы на наличие окончаний и углов, независимо от их положения на изображении. Для этого мы можем спроектировать первый слой, состоящий из набора бинарных нейронов, входами которых будут небольшие окна размером 5 × 5 пикселей на входном изображении, а веса которых будут фиксироваться «вручную» (а не определяться алгоритмом обучения). Мы получим три типа нейронов-детекторов: один нейрон-детектор окончания и два нейрона-детектора угла. Каждое окно 5 × 5 на входном изображении питает три нейрона: по одному из каждого типа. Выход каждого нейрона равен +1, когда изображение 5 × 5 его входа выглядит как изображение, сформированное его весами, и 0 в противном случае. Для правильно сформированной буквы C будет активирован детектор окончания, а для правильно сформированной буквы D будут активированы детекторы угла. Последний слой – простой перцептрон. Такому перцептрону достаточно подсчитать количество углов и окончаний, чтобы отличить букву C от D независимо от их положения, размера или стиля.

Итак, можно изменить архитектуру перцептрона, чтобы он мог выполнять более сложные операции. Перед слоем перцептрона можно разместить «экстрактор признаков». Этот экстрактор функций не обучен, он создается вручную (инженер разрабатывает программу для этой функции). Такая конструкция сложна, и ее создание занимает много времени. Было предложено большое количество методов для создания экстракторов признаков, подходящих для каждого специфического применения. В научной литературе до 2015 г. было описано множество таких методов.

Популярный вид экстрактора признаков обнаруживает небольшие простые паттерны на входном изображении. Для букв, например, он маркирует не только окончания и углы, но и вертикальные полосы, горизонтальные полосы, петли и т. д. Выходом экстрактора признаков является ряд чисел, указывающих наличие или отсутствие этих паттернов и их положения. Вместо того чтобы напрямую подключаться к пикселям входного изображения, перцептрон анализирует более абстрактные характеристики.

Если перцептрон собирается обнаружить автомобиль, экстрактором признаков может быть набор шаблонов, которые обнаруживают колесо, угол лобового стекла, решетку радиатора и так далее. Эти шаблоны последовательно применяются ко всем участкам изображения и активируются, когда обнаруживают соответствующий паттерн. Затем все эти признаки вводятся в перцептрон. То же самое происходит и с лицами. Достаточно обнаружить темные области, образованные глазами, две маленькие темные точки в ноздрях, немного более темную линию рта, чтобы построить с этими признаками подходящий детектор лица.

В исходном перцептроне экстрактор признаков был на самом деле серией бинарных нейронов, связанных с небольшими группами пикселей во входном изображении, выбранных случайным образом (потому что не было лучшей идеи!). Вес этих нейронов нельзя было изменить путем обучения. Они были фиксированными, со случайными значениями. Поскольку соединения нейронов были случайными, вы не могли быть уверены в правильности результата. Для того, чтобы этот первый слой играл свою роль, должно было быть много промежуточных нейронов, извлекающих признаки. В результате количество входов в конечный нейрон (единственный обучаемый нейрон) непропорционально увеличилось. В некоторых системах классификации и распознавания образов (с 2013 г. они уже мало используются) количество входов экстрактора признаков исчисляется миллионами. Чем больше будет признаков, тем легче будет впоследствии классифицировать перцептрон. Так проще, но значительно более трудоемко.

Организация зрительной коры мозга в последовательных областях продолжала вдохновлять исследователей. Они задумались об улучшении перцептрона путем создания дополнительных нейронных слоев. Первый слой системы извлекает очень простые признаки. Следующий слой пытается обнаружить сборки или соединения этих контуров, чтобы сформировать элементарные формы, такие как круги или углы. На следующем слое обнаруживаются комбинации этих паттернов для частей объектов и т. д.

Еще один, более продуманный, способ создать экстрактор признаков – метод опорных векторов, или SVM (англ. Support Vector Machine), который изобрела Изабель Гийон (профессор Орсе с 2015 г.) в сотрудничестве с Владимиром Вапником и Бернхардом Босером, членами нашей команды в Bell Labs. В период с 1995 по 2010 г. SVM был доминирующим методом классификации, однако, при всем уважении к моим друзьям и коллегам, я признаюсь, что этот метод не представлял для меня особого интереса. Он не решил ключевой проблемы автоматического управления экстрактором признаков, хотя казался весьма перспективным.

Подход, лежащий в основе SVM, – это пример того, что мы называем «ядерными методами». Фактически он представляет собой своего рода двухслойную нейронную сеть. (Те, кто пользуется этим методом, такую аналогию не приветствуют.) Первый слой имеет столько единиц, сколько примеров в обучающем наборе, а второй слой вычисляет взвешенные суммы, как обычный перцептрон. Модули на первом слое «сравнивают» вход x с каждым из обучающих примеров X[0], X[1], X[2], …, X[p – 1], используя функции ядра k(x, q), где x – вектор входа, а q – один из обучающих примеров. Например, единица номер 3 первого слоя даст следующий результат: z[3] = k(x, X[3]).

Типичный пример функции k – это экспонента расстояния между двумя векторами: Единица этого типа выдает большое значение выхода, когда x и q находятся рядом, и маленькое значение, когда они находятся далеко друг от друга.

Второй слой сочетает эти выходы с контролируемыми весами. В перцептроне такого типа только конечный слой обучается с учителем. Но первый слой также обучается, так как он использует входы (x) из обучающих примеров[44].

Эта чрезвычайно простая модель стала предметом многих прекрасных книг по математике. Отчасти именно естественное влечение исследователей к тонкой математике сделало SVM и ядерные методы действительно успешными. К сожалению, их авторы часто скрывали от себя ограничения этих методов. Мне и моим коллегам было очень трудно убедить сообщество в том, что, несмотря на успешные результаты, эта машина по сути ненамного мощнее перцептрона. Некоторые из сторонников ядерных методов до сих пор не уверены в полезности многослойных архитектур, в том числе и Владимир Вапник.

Тем не менее, следует признать, что SVM надежны и просты в эксплуатации при небольшом количестве обучающих примеров, что было типичным для середины 1990-х годов. Кроме того, с первых дней Интернета SVM-программы находились в открытом доступе. Девиз «все новое – прекрасно» набирал обороты. В 1990-х годах ядерные методы затмили нейронные сети. О полезности наличия нескольких слоев вскоре забыли.

Однако добавление одного или нескольких слоев искусственных нейронов позволяет вычислять более сложные функции, которые невозможно эффективно вычислить с помощью одного слоя. Математические теоремы показывают, что всего с двумя слоями нейронов можно вычислить все, что угодно, и этот факт мотивировал развитие SVM. Но зачастую первый слой нейронов при этом оказывался гигантским: количество нейронов в нем должно быть намного больше, чем количество пикселей в начальном изображении. В случае нашего маленького 25-пиксельного изображения там могли быть сотни или тысячи нейронов.

Исследователи 1960-х застряли на обучении этих множественных слоев. Процедура обучения перцептрона может обучать только конечный слой. Первый слой экстрактора признаков еще не мог обучаться и должен был быть настроен вручную. Эта трудность ручной настройки тысяч или миллионов весов для каждого попадающего в машину изображения объясняет, почему в конце 1960-х исследователи отказались от идеи интеллектуальной машины, которую можно было бы обучать от начала до конца. Они сосредоточились на прикладных программах, основной задачей которых стало выявление статистических закономерностей. Архитектура, вдохновленная перцептронами, хотя и несовершенная, доминировала в мире машинного обучения до начала 2010-х гг. Возьмите сигнал, пропустите его через созданный вручную экстрактор функций, а затем через систему классификации, которая может быть перцептроном или любым другим статистическим методом обучения: это и есть «першерон» распознавания образов[45].

Перцептрон положил начало так называемому машинному обучению с учителем. Процедура обучения настраивает параметры сети таким образом, чтобы результат приближался к желаемому. После обучения хорошо настроенная машина может также распознавать примеры, которых она никогда не видела: это называется способностью к обобщению.

Однако у этого метода есть свои ограничения. Для их преодоления исследователи кодировали изображения, чтобы извлечь ключевые характеристики изображений для выполнения каждой конкретной задачи, прежде чем передать эти изображения классическому классификатору, например, перцептрону. Между 1960 и 2015 гг. исследователи потратили массу времени и энергии на разработку экстракторов функций для решения той или иной проблемы. На эту тему были написаны тысячи статей, и благодаря этим статьям многие авторы нашли свой путь в науке.

Одна из идей, которых я придерживался все эти годы (хотя сообщество долгое время не было готово к ее принятию), заключалась в том, чтобы найти способы обучить экстракторы признаков вместо того, чтобы создавать их вручную. Эту проблему решают многослойные нейронные сети и глубокое обучение.

Основной принцип обучения системы с контролем всегда один и тот же: он состоит из настройки параметров системы для уменьшения функции стоимости, которая измеряет среднюю ошибку между фактическим выходом системы и желаемым выходом, рассчитываемым по набору обучающих примеров. Уменьшение этой функции стоимости и обучение системы – одно и то же.

Данный принцип применим не только к простым моделям, таким как перцептрон, в которых обучается лишь последний слой, но и почти ко всем контролируемым методам обучения, в частности к многослойным нейронным сетям с непрерывным обучением, о которых мы поговорим в следующей главе.

Таким образом, обучение путем минимизации функции стоимости является ключевым элементом функционирования искусственного интеллекта.

Повторим еще раз: обучение – это настройка алгоритма, то есть постепенное уменьшение количества ошибок, которые делает система. Она пытается, она ошибается, она корректирует себя. Каждая перенастройка параметров перезаписывает предыдущие значения этих параметров. Для любого обучающего примера, например, изображения x, связанного с выходом y, ошибка представляет собой простое число, которое измеряет расстояние между выходом, произведенным машиной yp = f (x, w), и желаемым выходом y. Для справки, w – это вектор параметров. Для каждого обучающего примера или каждой пары (x, y) ошибка измеряется функцией стоимости C (x, y, w). Один из способов выразить эту стоимость – возвести в квадрат разницу между выходом, произведенным системой, и желаемым выходом y:

Есть много типов функций стоимости. Предыдущая формула применима, если машина имеет только один выход, то есть если yp и y – это просто числа.

Если нам нужна система, которая может расклассифицировать изображения на собак, кошек и птиц, нам нужно три выхода. Затем выход выражается в виде вектора, а не числа. Каждый из этих выходов дает оценку по каждой из трех категорий. Например, если первый результат соответствует категории «собака», второй – «кошка», а третий – «птица», вектор выхода со значениями [0.4, 0.9, 0.2] означает, что система распознала кошку, так как категория «кошка» получила наивысшую оценку. Во время обучения желаемый выход для категории собак будет [1, 0, 0], для кошки [0, 1, 0] и для птицы [0, 0, 1].

Рис. 4.1. Классификатор с тремя категориями

Машина выдает три оценки – по одной для каждой категории – в виде трехмерного вектора. В данном примере машина создает вектор оценок [0.4, 0.9, 0.2] и поэтому классифицирует изображение как «кошка», однако желаемый (оптимальный) результат для категории «кошка» – вектор [0, 1, 0].

Стоимость должна измерять расстояние между произведенным и желаемым выходами, например, сумму квадратов ошибок для трех выходов:

yp = f(x, w) # yp – это трехмерный вектор

c = (y[0] – yp[0]) ** 2 + (y[1] – yp[1])** 2 + (y[2] – yp[2]) ** 2

На практике для многоклассовой классификации модель часто строится таким образом, чтобы получить оценки, которые могут быть сопоставимы с вероятностями (оценки от 0 до 1, и сумма которых равна 1), и используется другая функция стоимости, называемая «перекрестной энтропией», которая подталкивает выход желаемой категории к 1, а остальные – к 0. Но принцип остается прежним.

Данную функцию стоимости C(x, y, w) можно вычислить с помощью небольшой функции в Python[46], например:

# функция расчета стоимости для примера

# x: вектор входа

# y: вектор желаемого выхода

# w: вектор параметров

def C(x, y, w):

yp = f(x, w) # вычислить выход

c = 0 # задать начальную стоимость

for j in range (len(y)): # выходной цикл

c = c + (y[j] – yp[j]) ** 2 # накопить стоимость

return c # возврат результирующей стоимости

Поскольку набор обучения с примерами p является вектором X (каждый элемент которого сам по себе является вектором входа):

[X[0], X[1], X[2],…, X[p-1]]

а вектор Y (каждый элемент которого сам по себе является желаемым вектором выхода)

[Y[0], Y[1], Y[2],…, Y[p-1]]

то к такой функции можно обратиться для расчета стоимости любого обучающего примера (в данном случае под номером 3):

c = C(X[3], Y[3], w)

Необходимо рассчитать стоимость обучения, которая является средним значением данной функции стоимости по обучающей выборке:

L(X, Y, w)=1/p*(C(X[0], Y[0], w)+C(X[1], Y[1], w)+…C(X[p-1], Y[p-1], w))

Опять же, мы можем написать для этого небольшую программу:

# функция расчета средней стоимости на наборе примеров

# X: таблица записей набора данных

# Y: массив желаемых выходов

# w: вектор параметров

def L(X, Y, w):

p = len(X) # p – количество примеров

s = 0 # переменная для накопления суммы стоимости

for i in range (p) # цикл примеров

s = s + C(X[i], Y[i], w) # накопить стоимость

return s/p # вернуть среднюю стоимость

Можно рассчитать стоимость обучения по множеству х, у, записав:

cout = L(X, Y, w)

В этой функции цикл for проходит через все обучающие примеры и накапливает (суммирует) стоимость каждого примера в переменной s. В конце функция возвращает накопленную сумму, деленную на количество примеров p. Значение, вычисляемое этой программой, зависит от вектора параметров w через функцию C(x, y, w), которая сама по себе зависит от f(х, w), которая сама по себе зависит от w.

Процедура обучения будет пытаться минимизировать данную стоимость, регулируя параметры системы w, то есть находя значение w, которое дает наименьшее возможное значение L. Для данного набора примеров обучения каждая конфигурация параметров w соответствует значению стоимости обучения.

Современные обучаемые системы обладают миллионами, если не миллиардами регулируемых параметров. Другими словами, вектор w может иметь несколько миллионов или миллиардов компонентов. В общем – скромные цифры… по сравнению с количеством синапсов в человеческом мозгу.

Как найти минимум функции стоимости? Для простоты представим себе машину, имеющую только два обучаемых параметра: w[0] и w[1]. Для данного обучающего набора каждая точка координат (w[0], w[1]) соответствует значению стоимости.

Изначально веса устанавливаются произвольно. До начала обучения стоимость, вероятно, будет высокой. Сеть скорректирует свои параметры, чтобы снизить стоимость.

Учитывая сохраненный обучающий набор[47] в X и Y, мы можем поместить значения 6.0 в w[0] и 5.0 в w[1] и рассчитать соответствующую стоимость обучения следующим образом:

Данную функцию стоимости можно рассматривать как своего рода горный ландшафт: конкретное место соответствует двум значениям параметров: долготе w[0] и широте w[1]. Это координаты точки на ландшафте. Высота – это значение стоимости в этой точке для этой комбинации значений параметров. На данном ландшафте кривые слоев соединяют все точки, имеющие одинаковое значение функции стоимости.

Рис. 4.2. Функция стоимости обучения

Функцию стоимости можно сравнить с горным ландшафтом (слева), линии высот которого представлены справа. Обучение машины включает в себя поиск дна долины, то есть значения обучаемых параметров, которое дает наименьшее значение стоимости. В этом примере долгота и широта – это два обучаемых параметра w[0] и w[1], а минимум находится на координатах (3, 2). Когда мы начинаем обучать систему, мы не знаем ни формы этого ландшафта, ни положения его минимума. Но при заданном значении параметров, можно вычислить его высоту, т. е. значение стоимости. Мы также можем вычислить вектор градиента g, который указывает вверх в направлении наибольшего наклона. Градиент, представленный стрелками, отличается в каждой точке ландшафта.

Изменяя параметры в направлении, противоположном градиенту (–g), мы делаем шаг в сторону дна долины. Эта операция заключается в замене вектора w его значением, из которого мы вычитаем вектор градиента и умножаем на константу e, определяющую размер шага. Цель – найти точку в самом низу долины, протестировав минимум конфигураций.

Представьте: мы заблудились. Ничего не видно: кромешная тьма и ужасная погода. Чтобы вернуться в деревню, лежащую в глубине долины, если нет ни дороги ни тропы, мы пойдем в сторону максимального уклона. Мы наблюдаем, куда он ведет, делаем шаг в эту сторону и шаг за шагом попадаем в долину. Направление наибольшего наклона называется градиентом функции стоимости. Дно долины – это минимум функции стоимости, а его координаты – это значения параметров, минимизирующие стоимость.

Наша цель – быстро найти эту самую низкую точку долины. Тестирование требует значительных затрат времени и вычислительных ресурсов, особенно если в обучающей базе есть миллионы примеров. Поэтому мы прибегаем к методу «минимизации функции градиентным спуском». Сейчас он повсеместно используется в области ИИ в качестве обучающего механизма.

Начнем с понимания принципа. Чтобы найти линию с наибольшим уклоном, вычисляем градиент. Чтобы найти его, мы представляем себе изменение параметра, относительно небольшое, чтобы увидеть, как стоимость уменьшается или увеличивается. Используя снова метафору горы, мы делаем небольшой шаг в заданном направлении, чтобы выяснить, ведет ли этот шаг вниз или вверх. Чтобы это сработало, незначительные изменения параметров должны соответствовать незначительным изменениям функции стоимости. Это свойство функции математики называют «непрерывностью». Функции, график которых представляет собой лестницы или вершину скалы[48], свойством непрерывности не обладают.

Мы изменяем два параметра один за другим. Сначала мы поворачиваем в направлении w[0] (то есть на восток). Мы можем оценить наклон g[0], сделав небольшой шаг, измерив соответствующее изменение высоты и разделив эту разницу на размер шага. Если высота уменьшается, мы делаем шаг в этом направлении. Размер этого шага пропорционален уклону. Чем круче уклон, тем легче сделать большой шаг, поскольку вы идете в правильном направлении. Если уклон менее значителен, то мы сделаем вниз лишь небольшой шаг. Но если высота вместе с шагом увеличивается, когда параметр изменяется, то чтобы спуститься, нам придется сделать шаг в противоположном направлении.

Затем мы поворачиваем на 90°, чтобы шагнуть в направлении w[1] (то есть на север), и повторяем операцию: мы оцениваем уклон g[1] и, в зависимости от результата, делаем шаг, размер которого пропорционален наклону вперед или назад. Комбинация этих двух шагов приближает нас ко дну долины. Повторяя операцию столько раз, сколько необходимо, в конечном итоге мы достигнем этой самой низкой точки (откуда уже невозможно спуститься ниже).

Вектор g, компонентами которого являются наклоны [g[0], g[1]], называется градиентом. Рис. 4.2 представляет собой вектор градиента. Согласно этому определению, вектор указывает вверх вдоль линии наибольшего наклона, а его длина – это наклон в этом направлении. Сделав шаг в направлении, противоположном этому градиенту, мы движемся ко дну долины. Направление, противоположное вектору g, – это вектор – g, компоненты которого имеют противоположные знаки [– g[0], –g[1]].

В более общем плане градиентный спуск выполняется следующим образом:

1. Рассчитываем стоимость обучения для текущего значения вектора параметров (в текущей точке).

2. Измеряем наклоны по каждой из осей и собираем наклоны в векторе градиента g.

3. Модифицируем вектор параметров в направлении, противоположном градиенту. Для этого мы инвертируем знаки компонентов градиента, а затем умножаем их на константу e, которая определяет размер шага.

4. Наконец, добавляем полученный вектор к вектору параметров. Другими словами, заменяем каждый компонент вектора параметров его текущим значением за вычетом соответствующего компонента вектора градиента, умноженного на размер шага e.

5. Размер шага градиента очень важен: если он слишком мал, то хотя в конечном итоге минимум найдется, это отнимет много времени, потому что с каждым шагом расстояние сокращается незначительно. Если шаг слишком большой, то рискуем превысить минимум и перебраться на другую сторону. Следовательно, постоянная e должна быть такой, чтобы изменение параметров не привело нас со склона горы, где мы сейчас стоим, на противоположный, перебросив через гребень.

6. Повторяем операции, пока не окажемся на дне долины. Другими словами, до тех пор, пока стоимость обучения не перестанет уменьшаться.

Рис. 4.3. Путь, предназначенный для метода градиентного спуска

Процедура градиентного спуска состоит в том, чтобы выполнить ряд шагов в направлении наибольшего нисходящего наклона, противоположного градиенту, пока вы не достигнете дна долины. Размер шага пропорционален шагу градиента e. Справа e немного больше и вызывает колебания траектории. Слишком большой шаг градиента может привести к ошибке.

Пример

Мы находимся в координатах [w[0], w[1]]. В этот момент высота (стоимость обучения) равна h = L (X, Y, w). Опишем процедуру градиентного спуска через помехи. Процедура простая, но не самая эффективная. Начнем с создания дополнительного вектора параметров wa, полученного путем небольшого изменения значения w[0] (назовем его dw) следующим образом:

wa[0] = w[0] + dw

wa[1] = w[1]

Затем мы вычисляем высоту в новой позиции a = L (X, Y, wa). Изменение высоты из-за помехи составляет a – h. Наклон в направлении помехи – это отношение (a – h) / dw. Почему нужен этот отчет? Потому что нас интересует наклон горы, то есть величина, на которую мы должны умножить размер нашего шага, чтобы получить изменение высоты.

Аналогично, изменяя w в направлении w[1] следующим образом:

wb[0] = w[0]

wb[1] = w[1] + dw

мы можем вычислить высоту b = L (X, Y, wb). Наклон в направлении w[1] – это отношение (b – h) / dw. Сохраним два угла наклона в векторе g:

g[0]= (a – h)/dw

g[1]= (b – h)/dw

Вектор g называется градиентом функции стоимости. Он содержит вектор, составленный из наклонов по каждой оси. Данный вектор указывает на направление наибольшего наклона вверх. Используя метафору горного ландшафта, если наклон в направлении восток-запад (w[0]) больше, чем в направлении север-юг (w[1]), направление большего уклона будет ближе от оси восток-запад, чем от оси север-юг.

Вот небольшая функция, которая вычисляет градиент функции с двумя параметрами по возмущению. Эта процедура проста, но неэффективна. Позже мы увидим, как это улучшить:

# функция расчета градиента через помехи

# X: таблица входов набора данных

# Y: таблица желаемых выходов

# W: вектор параметров

# Dw: помеха

def gradient (X, Y, w, dw):

h = L (X, Y, w) # расчет стоимости

wa = [0,0] # создаем вектор wa

wa [0] = w[0] + dw # помеха 1-й координаты

wa [1] = w[1]

a = L (X, Y, wa) # расчет стоимости после помехи

wb = [0,0] # создаем вектор wb

wb [0] = w[0]

wb [1] = w[1] + dw # помеха 2-й координаты

b = L (X, Y, wb) # расчет стоимости после помехи

g = [0,0] # создаем вектор g

g [0] = (a – h) / dw # наклон по 1-й координате

g [1] = (b – h) / dw # наклон по 2-й координате

return g # вернуть вектор градиента

Мы получаем приближение вектора градиента:

g = gradient(X, Y, w, dw)

По определению этот вектор g указывает вверх, но вектор – g, полученный инвертированием знаков его компонентов, указывает вниз в противоположном направлении. Таким образом, мы можем двигаться к дну долины в направлении наибольшего уклона, шагая в направлении, противоположном наклону. Это соответствует шагу размера – e*g[0] в направлении w[0] (восток-запад) и размера -e * g[1] в направлении w[1] (север-юг), где переменная e представляет собой небольшое положительное число, которое определяет размер шага, который необходимо выполнить.

Все это выполняется функцией в нескольких инструкциях:

# сделать шаг градиента

# X: таблица входов набора данных

# Y: таблица желаемых выходов

# w: вектор параметров

# e: без градиента

# dw: помеха

def descend (X, Y, w, e, dw):

g = gradient (X, Y, w, dw) # вычисление вектора

# градиента

w[0] = w[0] – e * g [0] # обновить w[0]

w[1] = w[1] – e * g [1] # обновить w[1]

return w # вернуть новый вектор параметров

Этапы обучения по градиентному спуску состоят из:

1) расчета стоимости;

2) расчета градиента;

3) обновления параметров путем вычитания градиента, умноженного на константу e, шаг градиента.

При повторении данной процедуры и при условии, что шаг градиента достаточно мал, процедура «сходится» ко дну долины.

# процедура обучения

# n: количество итераций градиентного спуска

def learn (X, Y, w, e, dw, n):

for i in range (n): # повторить n раз

w = descend (X, Y, w, e, dw) # сделать шаг

print (L (X, Y, w)) # вывести стоимость

return w # вернуть вектор веса

Можно сделать так, чтобы выполнение функции остановилась само по себе, когда стоимость перестанет уменьшаться.

В действительности «ландшафт» имеет не только два измерения – их могут быть миллионы, а иногда и миллиарды. В нашем примере вектор параметров состоял из двух чисел, но в практических задачах их больше на много порядков. Градиент также имеет миллионы компонентов, каждый из которых указывает наклон функции стоимости обучения в каждой из осей пространства.

В этих условиях вычисление градиента по помехам неэффективно. Изменения каждого параметра и соответствующие вычисления стоимости обучения занимают слишком много времени.

Гораздо более эффективный способ вычисления градиента без создания помех – это аналитический метод вычисления градиента. Он сводится к вычислению производных стоимости в направлении каждой из осей без помех.

Производная функции нескольких переменных по одной из этих переменных с учетом других переменных как постоянных называется частной производной. Это наклон функции в сторону рассматриваемой переменной. Вектор, образованный частными производными по всем направлениям, и есть градиент.

Это значительно упрощает жизнь: если можно вычислить частные производные функции с помощью формулы, можно вычислить и ее вектор градиента в каждой из точек, вообще не прибегая к помехам!

Существует более эффективный вариант метода градиентного спуска, позволяющий добраться до дна долины еще быстрее. Вместо того, чтобы вычислять среднее значение стоимости и находить градиент этого среднего по всем примерам обучения, чтобы сделать шаг, используются частные производные для вычисления градиента стоимости для одного примера.

Представьте, если у нас миллион изображений, при помощи классического градиентного спуска нужно предсказать для каждого изображения, кошка это или собака, посмотреть на разницу вектора прогнозирования с реальным вектором и повторить миллион раз ту же операцию, чтобы рассчитать среднюю стоимость! Потребовалось бы огромное количество времени, чтобы просто сделать шаг вперед.

Поэтому мы поступим проще. Система случайным образом выбирает один пример из обучающего набора, вычисляет градиент стоимости для этого примера и увеличивает градиент. Затем она берет другой пример, вычисляет градиент стоимости для этого нового примера и делает новый шаг.

Повторяем операцию до тех пор, пока не сможем больше спускаться. Размер шага должен уменьшаться по мере приближения ко дну впадины. На практике вместо того, чтобы брать один пример для шага, усредняем градиент по небольшому количеству примеров, называемому «мини-пакетом».

При каждом шаге градиент указывает в другом направлении, что приводит к тому, что вектор параметров в процессе обучения идет по неустойчивой траектории. Но шаг за шагом он направляется к дну долины. Что удивительно: он делает это даже быстрее, чем вычисление градиента по всему обучающему набору.

Правда, вместо того чтобы следовать ровной траектории, вектор параметров блуждает, но в конечном итоге он быстрее достигает дна долины, потому что на каждом этапе требуется меньше вычислений.

Метод стохастического градиентного спуска – это простой, непохожий на другие и вместе с тем нелогичный способ оптимизации. Помните, что мы часто работаем с миллионами (или даже миллиардами!) обучающих примеров.

Рис. 4.4. Траектория стохастического градиентного спуска

При стохастическом градиентном спуске мы берем случайный пример из обучающего набора, вычисляем градиент функции стоимости для этого примера и делаем небольшой шаг в направлении, противоположном градиенту. Затем берем другой пример и повторяем операцию. Потом еще один и так далее, постепенно уменьшая размер шага градиента, т. е. эта процедура быстро снижает стоимость обучения (которая является средней стоимостью по примерам), следуя беспорядочной траектории из-за колебаний градиента стоимости между одним примером и другим. На этом рисунке обучающий набор содержит 100 примеров. После всего четырех шагов на обучающем наборе параметры уже будут колебаться вокруг минимума.

Фактически, только что описанная процедура с функцией стоимости, равной квадрату ошибки, используется близким родственником перцептрона: Adaline (адаптивный линейный нейрон).

Модель Adaline была предложена в 1960 г. (ей столько же лет, сколько и мне!) Бернардом Видроу и Тедом Хоффом. Полезно упомянуть данную модель здесь по двум причинам: во-первых, потому, что ее квадратичную функцию стоимости легко визуализировать; во-вторых, потому что данная модель исторически соперничала с перцептроном.

Как и перцептрон, Adaline вычисляет свои выходы, взяв взвешенную сумму входов, которая является скалярным произведением между вектором весов и вектором входов. Идея состоит в том, чтобы минимизировать квадрат ошибки между желаемым выходом и выходом модели с помощью процедуры стохастического градиентного спуска. Вы можете использовать Adaline в качестве классификатора: как и в случае с перцептроном, желаемый выход будет +1 для класса A и –1 для класса B.

Процедура перцептрона также представляет собой стохастический градиентный спуск для конкретной функции стоимости следующего вида:

C(x, y, w) = –y * f(w, x) * dot(w, x)

или

f(w, x) = sign(dot(w, x))

Частная производная по отношению к компоненту j вектора параметров равна:

g[j] = –(y – f(w, x)) * x[j]

что приводит к следующему обновления:

w[j] = w[j] + e * (y – f(w, x)) * x[j]

Данная формула представляет собой процедуру обучения перцептрона, приведенную в Главе 3. Технически график функции стоимости перцептрона не является полностью плавным: у него есть неровности, точки излома, где наклон резко меняется. Там, где возникают эти неровности, градиент четко не определяется. Вычисленный выше градиент на самом деле называется «субградиент». Впрочем, это уже вопрос математической дотошности.

Перцептрон и Adaline минимизируют функцию стоимости, которая имеет только долину. Отправная точка не имеет значения, так как процедура обучения всегда попадет в эту долину. Но что, если функция стоимости имеет несколько минимумов?

Представим более сложную функцию, в которой есть два или более минимумов (см. рис. 4.5).

Мы в Альпах. Справа долина во Франции; слева долина в Италии. Наша функция имеет два минимума, а может, и несколько.

Перцептрон не сталкивается с такими проблемами, но когда мы используем нейронную сеть с двумя или более слоями, функция стоимости имеет несколько минимумов. Некоторые из них хороши в том смысле, что они связаны с хорошей эффективностью системы (при невысокой стоимости обучения). Другие не являются реальными минимумами, потому что они «нависают» над более глубокими долинами. Здесь можно запутаться: куда бы вы ни повернули, расчет градиента возвращается к этому минимуму.

Рис. 4.5. Функция с двумя минимумами.

Некоторые функции стоимости могут иметь несколько минимумов. Данная диаграмма представляет собой невыпуклую функцию с двумя минимумами. Применяя метод градиента для поиска минимума, можно попасть в один минимум или в другой, в зависимости от начальной точки. Здесь представлены четыре траектории градиентного спуска.

Данное явление проиллюстрировано на рис. 4.5, где функция имеет два минимума, один из которых ниже другого. Мы рисуем случайные w для оптимизации, и если наше случайное значение находится в локальном минимуме с координатой центра 0 по оси ординат, мы попадаем в правильный минимум.

Если наше значение оказывается в локальном минимуме с координатой центра 5 по оси ординат, мы столкнемся с ошибкой.

Для многих исследователей машинного обучения правильная функция стоимости обязательно должна быть выпуклой, потому что лишь выпуклая функция стоимости имеет ровно один минимум. Это дает теоретические гарантии сходимости градиентных алгоритмов. Если бы кто-то предложил таким ученым модель, функция стоимости которой была невыпуклой, его бы, как еретика, бросили на растерзание львам!

В этом и состоит одна из причин, по которой многослойные нейронные сети (некоторое время) не изучали: их функция стоимости невыпуклая. Напротив, функция стоимости последовательных машин является выпуклой. Для теоретиков выпуклость функции стоимости обязательна, а невыпуклость недопустима.

На практике невыпуклость многослойных нейронных сетей с миллионами параметров не является проблемой. При обучении большой сети с помощью стохастического градиентного спуска все локальные минимумы, к которым мы приходим, более или менее эквивалентны, независимо от начальной точки. Решения разные, но окончательные значения стоимости (высоты минимумов) очень похожи. Считается даже, что ландшафт функции стоимости таков, что минимумы – это не точки, а обширные долины, соединенные друг с другом. Таковы свойства некоторых функций в многомерном пространстве. На рисунке 4.5 вы не можете перейти от одного минимума к другому, не поднимаясь на перевал, который их разделяет. Но если мы добавим измерение в пространство (третье измерение, перпендикулярное странице), мы сможем обойти этот проход. Когда пространство имеет миллионы измерений, всегда найдется показатель, с помощью которого вы можете обойти гору или преодолеть ее через глубокий разлом. Мы вернемся к этому в главе 5.

Во время обучения сеть настраивает свои параметры так, чтобы все x в обучающем наборе давали желаемый y. После обучения она может интерполировать или экстраполировать, то есть дать значение y для нового x, которого не было в обучающем наборе. Мы говорим об интерполяции, когда новый x окружен обучающими примерами, и об экстраполяции, когда новый x находится за пределами области, охватываемой обучающими примерами. Общее правило, связывающее элементы обучающих пар вместе, – это функция, модель которой была выбрана инженером. Выбор этой модели зависит от конкретных ограничений.

Рассмотрим пример такого выбора. Предположим, что модель обучения – это линия, определяемая уравнением:

Зададим некоторое значение х. Функция умножает x на коэффициент w[0], который представляет собой наклон линии, и добавляет константу w[1], которая представляет собой вертикальное положение линии (точка, в которой линия пересекает ось y). Если w[1] равно 0, прямая проходит через 0. Если w[1] не равно 0, прямая пересекает вертикальную ось по ординате w[1]. Варьируя w[0] и w[1], мы можем построить любую прямую.

Данный случай представляет собой двухпараметрическую модель. Если в обучающем наборе есть только две точки X[0], Y[0] и X[1], Y[1], мы все равно можем найти параметры, которые заставят линию проходить через эти две точки.

Теперь представьте, что у нас есть третья точка обучения X[2], Y[2], которая не принадлежит прямой, проходящей через точки X[0], Y[0] и X[1], Y[1]. Как найти новую модель обучения, которая объединит эти точки? Чтобы управлять машиной, вы должны заранее иметь представление о модельной функции, график которой проходит как можно ближе ко всем трем точкам. В интересующем нас примере мы знаем – по опыту – что соответствующая функция должна отображаться некой кривой, например параболой. Это функция, состоящая из квадратичного выражения, то есть многочлена 2-й степени:

Рис. 4.6. Прямая линия, проходящая через две точки

Имея две точки, мы можем вычислить параметры линии, проходящей через эти две точки.

Определенная часть сценария обучения зависит от инженера. Именно он решает, какой будет архитектура системы и ее параметризация, то есть вид функции f(x, w). Это может быть однослойный перцептрон, двухслойная нейронная сеть или сверточная нейронная сеть с 3, 5, 6 или даже 50 слоями. Процедура эта по сути своей – эмпирическая, однако она опирается на статистическую теорию обучения Вапника.

Я хорошо знал Владимира Вапника, блестящего математика. Я работал в Bell Labs в Нью-Джерси, когда он пришел к нам (через год после меня). Когда я возглавил компанию 1996 г., я стал его «руководителем». В фундаментальных исследованиях руководитель не управляет работой сотрудников своей лаборатории. Все, что есть у руководителя есть, – это свобода и средства на проведение исследовательских работ. Несколько неблагодарная роль, которая отвлекает его от личных исследований.

Владимир родился в Узбекистане недалеко от Самарканда и провел часть своей карьеры в Москве в Институте проблем управления, где заложил теоретические основы статистической теории обучения. Он, естественно, интересовался перцептроном, но, поскольку его карьера в Советском Союзе сдерживалась из-за того, что он был евреем, он решил эмигрировать, как только правительство СССР перестало препятствовать отъезду своих граждан. Он прибыл в Соединенные Штаты через год после меня, в октябре 1989 г., незадолго до падения Берлинской стены. Именно в этой гостеприимной стране он завершил теорию взаимосвязи между количеством обучающих данных, сложностью модели, которая обучается с помощью этих данных, и эффективностью модели на данных, не относящихся к обучению. Эта теория помогает понять процесс выбора модели.

Мы только что увидели, что прямая линия всегда может быть проведена через две точки, независимо от расположения этих точек. Когда необходимо выбрать функцию, которая может соединить две точки, можно, таким образом, сохранить линию типа w[0] * x + w[1] с двумя параметрами. Это многочлен первой степени.

Чтобы найти функцию, которая проходит через три точки, мы можем выбрать параболу типа f(x, w) = w[0] * x ** 2 + w[1] * x + w[2] с тремя параметрами. Это многочлен второй степени.

Если в многочлене есть слагаемое с третьей степенью, это многочлен третьей степени, он содержит четыре параметра. Если у нас есть слагаемое с четвертой степенью, это многочлен четвертой степени с пятью параметрами. И так далее.

Рис. 4.7–4.10. Изучение многочленов

У нас есть 15 точек данных. Черные точки являются примерами обучения, а белые точки – тестовыми точками. Каждый столбец представляет другую модельную функцию: линейная, многочлен степени D = 2, 4 и 8. В каждой строке для обучения модели используется разное количество примеров, P = 2, 3, 5 и 9.

На каждом из графиков для своего типа функции кривая наилучшим образом приближается к точкам обучения, TrE – это ошибка обучения, а TsE – тестовая ошибка.

Когда модель «негибкая» (т. е линейная или параболическая), она не может пройти все этапы обучения, если их слишком много. Когда она «гибкая» (многочлен третьей и выше степени), она может проходить через множество точек. Но если эти точки не выровнены по простой кривой – другими словами, они испорчены шумом – для этого придется создавать большие «волны» (график внизу справа). Тогда ошибка теста становится очень высокой, хотя ошибка обучения равна 0. Это так называемое, явление «переобучения». С девятью точками обучения (нижняя линия) многочлен второй степени выдает наименьшую ошибку теста (рисунок Альфредо Канциани).

Чем больше членов добавляется в многочлен, тем гибче кривая, которую он отображает, тем свободнее можно рисовать «волны», чтобы провести график через все необходимые точки.

Многочлен второй степени – парабола, изогнутая вверх или вниз. Если для обучения взяты три точки, всегда можно найти многочлен, задающий параболу, которая проходит через эти три точки.

Многочлен третьей степени может иметь на графике выступ и выемку. Для любых четырех точек, мы всегда можем найти такой многочлен, график которого проходит через эти четыре точки.

Кривая четвертой степени еще более гибкая, она может быть W-образной, M-образной или плоской вверху. Она проходит через пять точек. С пятой степенью еще сложнее… Она проходит через шесть точек и т. д.

Итак, если у нас есть P точек (или обучающие примеры), всегда существует по крайней мере одна кривая, другими словами, многочлен степени P – 1, который проходит через эти P точек. На практике существует предел степени многочлена, который можно использовать, не сталкиваясь с проблемами численной точности при расчетах. Когда мы получим набор данных, мы сможем выбрать из этого семейства наиболее подходящую модель для того количества примеров, которые у нас есть.

Если у нас есть 1000 точек или обучающих примеров, и мы хотим пройти все баллы, мы должны теоретически использовать многочлен 999-й степени. На практике же он очень нестабилен, и его не используют.

Следовательно, для определенного количества элементов данных вы должны адаптировать сложность модели, которую вы обучаете, к этому количеству.

Инженер, физик и математик едут в поезде. Они проезжают мимо поля, где пять черных коров идут в один ряд позади своего фермера. Инженер сказал: «Коровы в этой стране черные!» Физик сказал: «Нет! В этой стране как минимум пять черных коров! И математик говорит: «Вы ошибаетесь, в этой стране по крайней мере пять коров, черных с правой стороны».

Исходя из имеющейся информации, каждое из приведенных выше высказываний по-своему верно. Но при этом математик просто хочет описать наблюдения, не делая никаких прогнозов относительно других коров в стране, то есть он не пытается экстраполировать. Инженер немного поспешил со своим суждением, мотивированным простотой правила, которое он предлагает для предсказания окраски других коров. Что касается физика, он выдвигает гипотезу, основанную на своем опыте: «Коровы обычно одного цвета с обеих сторон», но не хочет экстраполировать вывод о цвете на всех коров в стране.

Этот анекдот иллюстрирует несколько проблем. Прежде всего, как и физику, нам необходимо использовать априорные знания, чтобы иметь возможность делать прогнозы. Во-вторых, всегда есть несколько базовых моделей, которые могут объяснить данные. Отличие хорошей модели от плохой заключается не в способности объяснять наблюдения, а в способности предсказывать новые. В этой истории математик хочет придерживаться данных слишком формально, не полагаясь на свои априорные знания, чтобы иметь возможность обобщать. Велика вероятность, что новые коровы не удовлетворят его модель.

Научное правило, называемое «бритвой Оккама», устанавливает принцип экономии при формулировке выводов: «Pluralitas non est ponenda sine necessitate», что переводится с латыни как «Не следует множить сущее без необходимости». Объяснение ряда наблюдений должно быть максимально простым, без введения лишних понятий. Данный принцип назван в честь францисканского монаха IX в. Уильяма Оккама. Физикам он давно и хорошо известен. Теория должна иметь как можно меньше уравнений, предположений и свободных параметров (таких, которые невозможно вычислить из других величин, например, скорость света или масса электрона). Альберт Эйнштейн сформулировал это иначе: «Все должно быть сделано как можно проще, но не упрощенно».

Физики любят простые теории. Преимущества простых теорий не ограничиваются простотой понимания. В сравнении с теорией, которая ради более полного соответствия экспериментальным данным загромождена понятиями, правилами, исключениями, параметрами, формулами и т. д., у простых теорий гораздо больше шансов давать проверяемые прогнозы. Англо-австрийский эпистемолог Карл Поппер определяет качество теории по ее способности предсказывать, а не по способности объяснять существующие наблюдения. Он определяет научный метод как процедуру, в которой теории должны быть «опровержимыми», чтобы заслужить категорию «научные». Подобно многочлену слишком высокой степени, который всегда можно настроить для прохождения через новую точку, слишком сложную теорию всегда можно откорректировать для объяснения новых наблюдений, иначе говоря, ее нельзя опровергнуть. Более экономную теорию адаптировать не так просто. Новые данные могут подтвердить или опровергнуть ее. Теория обучения – это тоже теория рационального мышления.

Теории заговора служат примером теорий, которые не поддаются опровержению. Все можно объяснить заговорами. Но они связывают множество невероятных фактов, сочетание которых еще более невероятно. Ричард Докинз, британский биолог-эволюционист, связывает их с религиозными доктринами. Представляется простым дать объяснение Вселенной типа «ее создал Бог». Но гипотеза о Боге ведет к появлению сверхсложной теории (поскольку Бог всемогущ, то Он и бесконечно сложен), которая принципиально не поддается опровержению.

Вспоминается математик Пьер-Симон де Лаплас, которого после публикации его книги Mécanique Céleste («Небесная механика») Наполеон спросил: «Неужели вы даете законы всего творения и ни разу в своей книге не упоминаете о существовании Бога?» – «Сир, я не нуждался в этой гипотезе», – ответил Лаплас.

По стандартному протоколу обучение машины проходит в три этапа. Цель состоит в том, чтобы определить наиболее эффективную модель для определенной задачи. Чтобы выбрать модель, то есть максимально ограниченный класс функций, необходимо измерить ее способность прогнозировать, то есть оценить функцию стоимости на примерах, которые она не видела во время обучения. Данные примеры составляют набор для проверки.

Допустим, существует 10 000 обучающих пар x, y. Мы обучаем модель на половине из этих примеров или 5000 пар x, y: это этап, в котором функция машины должна настроить свои параметры так, чтобы полученные выходы приблизительно соответствовали запрошенным. Затем функция стоимости минимизируется. Ошибка, вычисленная на этом наборе, и есть ошибка обучения.

Чтобы оценить эффективность системы, обученной таким образом, и убедиться, что машина не только запомнила примеры, но и хорошо усвоила свою задачу, и что она может обрабатывать примеры, которые она никогда не видела, необходимо измерить ошибки на 2500 других парах x, y: это ошибка проверки.

Мы повторяем эти операции с разными моделями, то есть с разными семействами функций (например, многочленом 1-й степени, затем 2-й, затем 3-й или берем все более крупные нейронные сети). Затем остается тот, который производит наименьшую ошибку проверки.

Наконец, мы измеряем погрешность модели на оставшихся 2500 примерах. Это и есть ошибка теста. Зачем измерять такую ошибку теста? Почему бы просто не использовать ошибку проверки? Поскольку ошибка проверки всегда будет чересчур оптимистичной: ведь мы выбрали данную модель именно потому, что ее ошибка проверки была самой низкой. Это, в сущности, – ее обучение на проверочном наборе. Чтобы правильно оценить качество системы перед развертыванием, лучше поместить ее в реальную ситуацию и измерить ее эффективность на примерах, не влиявших на процесс обучения.

Слишком простая модель не может смоделировать много обучающих данных (возвращаясь к нашим примерам, линия не может проходить через большое количество точек, если они не выровнены). И наоборот, если модель сложная (многочлен 1000-й степени или большая нейронная сеть), она «выучит» обучающий набор, но ее способность к обобщению не будет приемлемой. Функция оказывается настолько гибкой, другими словами, она так сильно колеблется между точками, что потребуется гораздо больше обучающих примеров, чтобы она перестала точно проходить через все точки, чтобы было меньше колебаний, и чтобы она смогла начать делать верные прогнозы по новым вопросам. Другими словами, как только она не сможет больше запоминать обучающие точки, она тут же начнет усваивать реальные, базовые закономерности. Таким образом, между объемом данных и сложностью модели существует определенный баланс.

Представим, что у нас есть 10 точек обучения, как показано на рис. 4.10. Если использовать функцию, представленную параболой (многочлен второй степени, с тремя параметрами), то во время обучения эта функция пытается как можно лучше пройти через все эти точки, и интерполяция, которую она выполняет, будет верной. Если задано какое-то другое значение x, которого нет в обучающем наборе, оно будет интерполироваться с параболой между ними, и выход, вероятно, будет довольно правильным.

Мы можем протестировать многочлен восьмой или 16-й степени, чтобы выполнить ту же задачу, т. е. связать между собой девять точек обучения. Наша модель, однако, окажется при этом настолько гибкой, что кривая сможет пройти идеально через все точки. Но поскольку точки не идеально выровнены, кривая должна колебаться, чтобы пройти через их. Если это многочлен восьмой степени, он может иметь семь экстремумов, и для любых девяти точек найдется такой многочлен, график которого пройдет через все точки.

Такая модель не очень годится для интерполяции. Это связано с тем, что если мы дадим ей обработать новый x, который мы не использовали во время обучения, этот x можно будет найти на вершине волны, поэтому значение y, которое создаст модель, вероятно, будет ошибочным. Таково переобучение, проблема, которая возникает, когда вы используете слишком сложную модель и у вас недостаточно данных для обучения. Система обладает достаточной способностью изучать данные «наизусть», не обнаруживая лежащих в основе закономерностей.

Ошибка обучения постепенно увеличивается в зависимости от количества примеров. Все предельно ясно: чем больше точек, тем меньше шансов, что парабола (или другой многочлен, выбранный инженером) пройдет через все точки. В наборе проверки (для памяти он состоит из примеров, которые машина не видела во время обучения) ошибка уменьшается по мере увеличения количества примеров.

Для любой системы ошибка обучения, которую специалисты называют эмпирической ошибкой, всегда меньше, чем ошибка проверки: модель лучше справляется с примерами, которые она уже видела, чем с примерами, которых она никогда не встречала. Если мы увеличим количество обучающих примеров при неизменной сложности модели, мы получим две сходящиеся кривые: ошибка обучения медленно растет, а ошибка проверки медленно падает. По мере того, как количество примеров приближается к бесконечности, две кривые становятся все ближе и ближе.

Рис. 4.11. Конвергенция кривых ошибок обучения и тестирования для большой и малой модели

Для данной модели по мере увеличения числа обучающих примеров ошибка обучения (пунктирные линии) медленно увеличивается, а ошибка проверки (сплошные линии) медленно падает. На малой модели (серые линии) кривые начинают быстро сближаться уже для немногих точек, но окончательная ошибка довольно велика. Для более крупной модели (с большим количеством параметров) требуется больше примеров, прежде чем кривые начнут сближаться. Они сближаются не так быстро, но окончательная ошибка будет намного меньше. Там, где кривые ошибки проверки пересекаются, проведена вертикальная линия, разделяющая большее и меньшее число точек обучения. До этой линии предпочтительнее малая модель, а после нее – большая модель.

Почему? Допустим, у нас только семь точек данных. Прямая линия, то есть многочлен первой степени, не может проходить через все эти точки: после двух точек ошибка обучения начинает увеличиваться, если точки не выровнены.

Кривая многочлена четвертой степени сможет пройти ближе ко всем точкам. Ошибка обучения меньше, чем с прямой линией. Но график такой функции должен изгибаться, чтобы проходить как можно ближе к точкам. Эти изгибы, вероятно, будут дальше от новых точек.

Добавим новые обучающие точки. Линия, то есть многочлен первой степени, практически не меняет положения: ее ошибка обучения практически идентична той, что получена с семью точками. С другой стороны, ошибка обучения для многочлена четвертой степени увеличивается, потому что он больше не может проходить близко ко всем точкам. Но по мере того, как волны его графика сглаживаются, он будет лучше работать с тестовым набором дополнительных оценок.

Какие уроки можно извлечь из всего этого, чтобы выбрать наиболее эффективную систему на основе количества обучающих примеров?

Вернемся к рисунку 4.11. Слева от линии более эффективна малая модель, поскольку ее ошибка проверки меньше. Поэтому, если у вас мало данных, лучше использовать именно ее. Справа от линии лучше большая модель. Если у вас много данных, лучше использовать большую модель. Когда количество примеров превышает некоторое пороговое значение, кривая больше не может пройти через все точки, и модель становится способной к интерполяции, поэтому при каждом количестве примеров мы должны искать компромисс для выбора модели. Другими словами, для того чтобы система обнаружила структуру, лежащую в основе данных, она должна выйти за рамки своей способности выучить все примеры «наизусть» без «понимания». А для этого системе необходимо показать достаточно много примеров, чтобы она начала делать ошибки.

Рис. 4.12. «Недообучение» и «переобучение»

Для того же количества обучающих данных ошибка обучения уменьшается по мере использования более сложных моделей. Но зато ошибка на проверочном наборе проходит минимум и возрастает. Это возрастание известно как «переобучение»: машина узнает слишком много деталей из обучающих примеров и теряет общий аспект характера задачи, которую вы пытаетесь выполнить. Она начинает учить наизусть, вместо того чтобы пытаться придумывать правила. Нижняя точка этой кривой указывает на прицип выбора модели.

Для заданного количества обучающих примеров чем больше емкость модели, тем меньше ошибка обучения. В то же время, чем больше емкость модели, тем больше разница между ошибкой проверки и ошибкой обучения. Таким образом, существует оптимальная емкость, являющаяся лучшим компромиссом между этими двумя состояниями, что дает наименьшую ошибку проверки.

Представьте себе многочлен бесконечной степени, с огромной способностью к обучению: ошибка обучения всегда равна 0; сколько бы оценок он ни получил, многочлен может пройти через все точки. Но он никогда не сможет обобщить. Многочлен выучит все наизусть, как плохой ученик учится без понимания. Учитель повторяет ему таблицу умножения, и тот, вместо того чтобы знать, как умножать, запоминает результаты.

Теорема о том, что «бесплатного обеда не бывает» резюмирует это правило следующим образом: обучающаяся машина, способная обучаться всему, на самом деле вообще не может ничему научиться. Дело в том, что ей понадобится неоправданно большое количество обучающих примеров, чтобы перестать перебирать все точки и начать находить основное правило, то есть обобщать. Аналогично, люди с прекрасной памятью часто менее склонны к самостоятельному выявлению правил и закономерностей.

Чтобы обучить машину с определенным набором данных, необходимо найти баланс между двумя ограничениями:

1. Нужно, чтобы модель была достаточно мощной (в ней было бы достаточно «кнопок» для настройки), чтобы она смогла выучить весь обучающий набор, то есть достаточно близко подойти ко всем точкам.

2. Но модель должна быть не слишком мощной, чтобы она не пыталась точно пройти через все точки, делая слишком много «волн» и скрывая общую закономерность за частными вариантами – это бы сделало ее неспособной верно интерполировать.

Формула Вапника предполагает три концепции:

1. Ошибка обучения, или эмпирическая ошибка. Это производительность системы на наборе примеров, на котором она была обучена.

2. Ошибка теста, то есть производительность системы по дополнительным точкам, которые она не «видела» во время обучения. Если у нас есть бесконечное количество точек, мы получаем хорошую оценку ошибки, которую система могла бы выдавать в реальной ситуации.

3. Емкость модели, то есть мера количества функций, которые модель может выполнять при изменении параметров всех возможных конфигураций. Эта способность называется измерением Вапника-Червоненкиса.

Формула Вапника записывается так:

Etest < Etrain + k * h/(p ** alfa)

где

Etest: ошибка теста

Etrain: ошибка обучения

k: постоянная

h: размерность Вапника-Червоненкиса («сложность», или «емкость» модели) p: количество обучающих примеров

alfa: константа от 1/2 до 1 в зависимости от характера проблемы.

Эта формула позволяет объяснить закономерности, показанные на рисунках 4.11 и 4.12.

Теоретически существует огромное количество функций, в том числе очень простых, которые могут обрабатывать входные примеры. Но, как мы только что видели, слишком мощная машина, способная применить в качестве модели любую функцию, не может правильно обобщать, если не дать ей достаточно большое количество примеров обучения. В результате, если есть только разумное количество примеров, машина должна иметь ограничения и быть приспособленной к изучению соотношений (иногда говорят «представлений») входа-выхода. Однако эти ограничения в основном связаны с архитектурой модели.

Рис. 4.13. Функциональное пространство.

Набор функций, представляемых (то есть вычислимых или аппроксимируемых) моделью, – это небольшое подмножество пространства всех возможных функций. Данное подмножество во многом определяется архитектурой модели. Модель большой емкости может представлять больший набор функций, чем модель меньшей емкости.

Рис. 4.14. Таблица булевых функций

Булева функция принимает n-е количество входных битов и производит 1 выходной бит. Двухбитная булева функция может быть задана с помощью четырехстрочной таблицы, которая дает выходное значение (0 или 1) для каждой из 4 входных конфигураций (0 0), (0 1), (1 0) и (1 1). Таким образом, для этих 4 входных конфигураций существует 16 возможных выходных конфигураций (2 ** 4), то есть 16 возможных функций по 2 бита, каждая из которых представлена последовательностью из 4 бит. Каждый дополнительный входной бит удваивает количество строк в таблице. В общем, для n-битной функции существует 2 ** n входных конфигураций и 2 ** (2 ** n) возможных булевых функции.

Таким образом, машина должна иметь априорную структуру, которая позволяет ей изучать полезные функции на нескольких примерах. Но из-за такой структуры машина сможет отображать только очень небольшое подмножество всех возможных функций.

Чтобы убедиться в этом, давайте возьмем случай двоичной функции, называемой «булевой функцией»[49], вход которой состоит из последовательности 0 и 1. Выход равен 0 или 1. Булевы функции интересны тем, что они имеют конечное количество входов и могут быть вычислены. Булева функция используется для операций между двоичными переменными. Каждое значение имеет определенную роль. 0 и 1 не взаимозаменяемы. Итак, (0,1) отличается от (1,0).

Возьмем колонку № 8 на рис. 4.14. Мы говорим машине: «Выбери 1, если два входа равны 1, иначе выбирай 0». Это функция «И», таблица истинности которой, то есть список всех выходных показателей для всех возможных конфигураций входов, будет следующей: (00, 0) (01, 0) (10, 0) (11, 1).

Возьмем колонку № 6. Говорим машине: «Выбери 1, если только один из двух входов равен 1, иначе выбирай 0.» Таким образом, таблица истинности будет следующей: (00, 0) (01, 1) (10, 1) (11, 0).

Это функция «исключающего ИЛИ», которую перцептрон не может вычислить (см. главу 3, рис. 3.6). Напомним, что это ограничение перцептрона связано с тем, что он может «вычислять» только линейно разделимые функции.

Цель – увидеть, сколько комбинаций входов возможно из серии n 0 и 1, то есть из n бит.

Если n равно 1, то 2¹ = 2.

Если n равно 2, то 2¹ умножается на 2, то есть 2² = 4.

Если n равно 3, то 2² умножаются на 2, то есть 2³ = 8; затем 16, 32, 64, 128, 256, 512, 1024, 2048, 4096 и т. д.

Каждый раз, когда мы добавляем 1 бит, мы удваиваем количество возможных комбинаций. Если у нас есть n битов в качестве входов, будет 2ⁿ возможных конфигураций входа. Он начинается с 00000 … затем 00001, затем 00010, 00011 и т. д. Когда мы сделаем подсчет, мы поймем, что это 2ⁿ.

Конкретная булева функция представляет собой список от 2 до n битов.

Каждая конфигурация из n битов входа связана с одним из двух возможных выходов 0 или 1. Сколько существует конфигураций из 2ⁿ битов? Это будет (2²)ⁿ. Таково количество возможных булевых функций для n битов входа – цифра астрономическая даже для малых значений n.

Если у нас 25-битная функция входа, такая как перцептрон в главе 2, количество возможных функций этих 25 битов уже равно 2^33 554 432. Это число, состоящее в десятичной записи из 10 100 890 цифр, что непредставимо больше, чем число атомов в видимой части Вселенной (их количество оценивается числом, состоящим примерно из 80 цифр)! И оно достигается за счет использования только простых бинарных функций.

В данном примере мы работали над булевой функцией с двумя входами и 16 возможными функциями. Среди таких 16 функций есть две, которые не могут быть достигнуты перцептроном или другим линейным классификатором (исключающим ИЛИ и его противоположностью), и остаются еще 14, которые могут быть достигнуты линейным классификатором. Это большое количество.

Но по мере увеличения числа битов входа количество функций, которые может выполнять перцептрон, сокращается. Другими словами, как только n существенно возрастет, n-битная булева функция вряд ли будет достижима перцептроном.

Это можно визуализировать таким образом: представим, что мы произвольно добавляем на плоскость символы + и –. Есть ли возможность разделить их пополам прямой линией? Если у нас всего 3 точки, мы сможем это сделать почти всегда (если точки не выровнены!). Но если у нас их миллионы, очень маловероятно, что мы сможем разделить их прямой линией. Перцептрон не может полностью изучить обучающую систему, состоящую из множества примеров.

Вывод: линейный классификатор (однослойная архитектура нейронов), такой как перцептрон, недостаточно гибок. Как только количество обучающих точек превышает количество входов линейного классификатора, шансы, что он может отделить точки класса A от точек класса B, сильно уменьшаются. Это теорема была продемонстрирована американским статистиком из Стэнфордского университета Томасом Ковером в 1966 г.[50]

И наоборот, слишком большая гибкость в семействе функций, достижимая системой обучения, равносильна отсутствию обучения.

Данное наблюдение приводит к метафизическим вопросам: если обучающаяся машина может вычислить все возможные функции, какую стратегию она будет использовать, чтобы выбрать приемлемую функцию из огромного количества функций, совместимых с обучающими примерами, то есть среди всех функций, которые дают правильный ответ? Цифра огромна. Требуется индукционное смещение, то есть критерий для решения, какую функцию выбрать. Это смещение индукции и есть наша «бритва Оккама»: алгоритм обучения должно выбрать более простую функцию. Однако теперь нужно определить понятие простоты так, чтобы можно было измерить (или вычислить) простоту любой функции. Здесь может быть полезным любое понятие простоты (или сложности). Что нам нужно создать, так это регуляризатор, программу (или математическую функцию), которая вычисляет сложность функции. Например, в семействе многочленов возможной мерой сложности модели является степень многочлена. Для нейронной сети это может быть количество нейронов или количество соединений.

Чтобы обучение было эффективным, необходимо найти компромисс между ошибкой обучения и сложностью функции, используемой для получения этой ошибки (или возможностями семейства функций, из которых она получена). Чем выше сложность функции, тем меньше ошибка обучения, но тем меньше и вероятность того, что система будет склонна к обобщению.

Вместо того чтобы минимизировать только ошибку обучения L(w), необходимо минимизировать новый критерий:

где L(w) – ошибка обучения, R(w) – наш регуляризатор (то есть наша мера сложности функции, параметры которой равны w), a – константа, которая управляет компромиссом между моделированием данных и минимизацией сложности модели.

Такой обходной путь – не просто прихоть математика. Метод регуляризации повсеместно используется при создании систем ИИ на основе обучения. На практике мы предпочитаем использовать термин регуляризации, который легко вычислить и минимизировать с помощью градиентного спуска. Для линейных классификаторов и нейронных сетей мы часто используем сумму квадратов весов.

Другой регуляризатор – это сумма абсолютных значений весов.

Первый урок: как и булевы функции, сложность человеческого интеллекта возникает из комбинации очень простых элементов. Это – качественно новое свойство мозга.

Урок второй: врожденное знание является необходимым для дальнейшего обучения. В нашем мозгу с самого рождения должны существовать какие-то структуры связей. Если мы можем учиться, то это потому, что мозг достаточно специализирован, чтобы позволить нам обрабатывать информацию, то есть составлять правила с небольшими пробами и ошибками. Если бы мы представляли собой tabula rasa (чистый лист бумаги – в общем, поверхность, предназначенная для записи, на которой еще ничего не написано), если бы наш мозг был полностью универсальным, мы могли бы изучить что угодно (так как очень сложные модели могут изучать очень большой объем данных), но это заняло бы у нас огромное количество времени, потому что нам пришлось бы все заучивать наизусть.

Урок третий: все описанные здесь методы машинного обучения минимизируют функцию стоимости. Машины пытаются это сделать, у них ничего не получается, и они перестраиваются, чтобы приблизиться к ожидаемому результату. Могут ли методы обучения людей и животных также интерпретироваться как минимизация функций стоимости? Хотел бы я знать ответ на этот вопрос…

Столкнувшись с пределами возможностей перцептрона и подобных ему устройств, научное сообщество нашло наиболее подходящее решение, заключавшееся в наложении нескольких слоев нейронов друг на друга, чтобы позволить системам решать более сложные задачи.

Мы должны были найти способ обучать такие системы от начала до конца. Решение оказалось простым, но вначале его никто не увидел, и в поэтому в конце 1960-х научное сообщество отказалось от дальнейших исследований. Все изменилось в середине 1980-х, когда разные ученые независимо друг от друга открыли обратное распространение градиента. Этот метод эффективно вычислял градиент стоимости в многослойной сети. Он регулировал параметры слоев сети, чтобы минимизировать затраты от вывода до ввода, и, в конечном итоге, первые слои сами определяли правильные шаблоны изображений, необходимые для выполнения задачи.

Таким образом, нейронные сети могли обучаться решению сложных задач и тренироваться на большом количестве данных. Здесь мы говорим о глубоком обучении, имея в виду сети, состоящие из нескольких слоев нейронов.

Несмотря на то, что создание основных принципов и первых приложений многослойных сетей относится к 1980-м гг., революция глубокого обучения произошла только к 2010 г., благодаря появлению мощных программируемых графических процессоров (GPU) и доступности больших баз данных.

На сегодняшний момент алгоритмы обратного распространения – это основа глубокого обучения. Практически все системы искусственного интеллекта используют данный метод.

Рис. 5.1a. Многослойная нейронная сеть с прямой связью

Каждая единица сети вычисляет взвешенную сумму своих входов, обрабатывает результат с помощью передаточной функции и отправляет рассчитанные выходные данные на вход других единиц на следующем слое. Таким образом, сеть состоит из чередования двух типов слоев: линейных слоев, вычисляющих взвешенные суммы, и нелинейных слоев, применяющих передаточную функцию. Как и в случае с перцептроном, обучение включает в себя изменение весов, соединяющих единицы таким образом, чтобы минимизировать показатель ошибки (функцию стоимости), измеряя разницу между выходом сети и желаемым выходом. Обратное распространение, которое является темой данной главы, вычисляет градиент этой функции стоимости по всем весам в сети.

Многослойная нейронная сеть – это своего рода «торт» из нескольких типов слоев. Входные данные каждого слоя можно рассматривать как вектор (список чисел), который представляет собой выходные параметры предыдущего слоя. Выходным результатом рассматриваемого слоя также является вектор, который не обязательно имеет ту же размерность, что и входящий.

Многослойная сеть с прямой связью – это тип сети, в которой каждый следующий слой принимает свои входные данные от предыдущего слоя или слоев. Если существуют соединения, идущие от верхних слоев (которые находятся рядом с выходом) к нижним слоям (которые находятся рядом с входом), то тогда речь идет о рекуррентной сети (ее называют еще сетью с обратной связью). Но давайте пока остановимся на сетях с прямой связью.

В «классических» многослойных нейронных сетях чередуются два типа слоев (см. рисунок 5.1а).

Рис. 5.1b. Функции нейронов в сети

Нейрон i вычисляет свою взвешенную сумму s[i] по выходным сигналам связанных с ним нейронов предыдущего слоя. Набор нейронов перед нейроном i обозначается UP[i], а вес w[i, j] соединяет нейрон j с нейроном i. Эта сумма рассчитывается по следующей формуле:

За суммой следует нелинейная передаточная функция h, производящая выходной сигнал нейрона:

z[i] = h(s[i])

1. Линейные слои: каждый выход представляет собой взвешенную сумму входов. Количество входов и выходов может быть разным. Они называются линейными, потому что если мы зададим сумму двух входных сигналов, то такой слой создаст ту же сумму выходов, какую бы он произвел, если бы обрабатывал те же сигналы по отдельности.

2. Нелинейные слои: каждый выход создается путем применения нелинейной функции к соответствующему входу. Это может быть квадратичная функция, сигмоида, извлечение абсолютного значения и т. д. У такого слоя столько же входов, сколько и выходов. Именно нелинейные операции являются основой мощности многослойных сетей. Мы вернемся к этому чуть позже (см. рис. 5.2).

Конкретный выход линейного слоя – это взвешенная сумма s[i] (с использованием весов w[i, j]), соединяющая ее с выходом z[j] единицы в предыдущем слое:

Символ UP[i] обозначает набор нейронов, или входных датчиков – в общем, каких-то функциональных единиц, от которых i принимает свои входные данные. Конкретный выходной сигнал z[i] нелинейного слоя, следующего за линейным слоем, является результатом применения к взвешенной сумме той или иной нелинейной функции h, которая называется «передаточной функцией»:

z[i] = h(s[i])

Последовательность этих двух операций и представляет собой функциональную единицу нейронной сети, иными словами – нейрон. Таким образом, последовательность линейного слоя и слоя передаточных функций образует слой нейронов.

Передаточная функция отправляет свой вывод единицам, т. е. нейронам, находящимся на следующем слое. Следующий слой принимает выходные данные единиц предыдущего слоя и выполняет аналогичные вычисления, и так далее: линейный слой – нелинейный слой, вплоть до выходного слоя.

Зачем нужно чередовать линейные и нелинейные операции? Если бы все слои были линейными, то вся операция была бы композицией нескольких линейных операций. Но такая композиция была бы попросту эквивалентна одной линейной операции, что сделало бы многослойность совершенно бесполезной. Линейная сеть может вычислять только линейные функции.

Однако функции, которые мы хотим вычислить с помощью нейронных сетей, не являются линейными. Функции, позволяющие различать изображения кошек, собак, или птиц, сложны и совсем не линейны. Только сочетание нелинейностей и наличия нескольких слоев позволяет сети вычислять (или аппроксимировать) функции такого типа. Теоремы показывают, что сеть, состоящая из «линейной – нелинейной – линейной» укладки, является универсальным аппроксиматором: она может аппроксимировать любую функцию настолько точно, насколько это необходимо, при условии, что промежуточный слой имеет достаточное количество единиц. Чтобы правильно аппроксимировать сложную функцию, сеть такого типа может потребовать наличия огромного количества промежуточных единиц. Но, в целом, для представления сложной функции эффективнее будет использовать сеть со сравнительно небольшим числом слоев.

Есть одно замечание: в сети с прямой связью все единицы на одном слое получают входные данные от всех единиц на предыдущем слое. Но большинство нейронных сетей имеют особую архитектуру соединений, в которой единицы на одном слое получают входные данные только из небольшой части предыдущего слоя. Мы рассмотрим это в следующей главе на примере сверточных сетей.

В процессе обучения желаемый выход системы соответствует желаемой конфигурации единиц последнего слоя. Такие единицы считаются «видимыми», поскольку их выход является общим выходом системы. Единицы предыдущих слоев считаются «скрытыми», поскольку ни инженер, ни алгоритм не знают, какой желаемый выход требуется задать им.

Как же тогда установить желаемые выходы для скрытых единиц? Эта проблема, называемая «передачей ответственности»[51], и является предметом глубокого обучения…

Небольшое отступление. До начала 1980-х гг. архитектура машин строилась на бинарных нейронах, которые выдавали положительный выходной сигнал, когда взвешенная сумма их входов превышала пороговое значение. Они выдавали –1, когда взвешенная сумма снижалась. Таким образом, у них было два возможных состояния выходного сигнала: либо +1, либо –1 (некоторые предпочитают нейроны с выходом 1 или 0).

Недостатком использования пороговых значений является дискретизация функции стоимости: когда вес меняется лишь на небольшую величину, это изменение может не повлиять на выходной сигнал нейрона. И наоборот, если вес изменяется на достаточную величину, происходит внезапное переключение выхода нейрона с –1 на +1, или с +1 на –1. Если изменение происходит до выхода из сети, это приводит к резкому изменению функции стоимости.

Другими словами, небольшое изменение параметров может не привести к изменению функции стоимости или, наоборот, вызвать резкое изменение. «Горный пейзаж» функции стоимости трансформируется в последовательность горизонтальных слоев, разделенных вертикальными отрезками. Методы градиентного спуска в такой модели не работают. Короче говоря, бинарные нейроны несовместимы с обучением по алгоритму градиентного спуска.

Рис. 5.2. Нелинейные передаточные функции, используемые в многослойных нейронных сетях

Слева: сигмовидная функция, которая непрерывно изменяется от 0 до 1 и записывается как y = 1/(1 + exp(–x)). В центре: гиперболический тангенс, идентичный сигмоиде, но принимающий значения от –1 до +1. Справа: функция «положительной части» (также называемая ReLU) для блока линейной ректификации, где y = x, если x положителен или равен 0. Последняя функция широко используется в современных нейронных сетях.

Как только вычислительная мощность компьютеров стала достаточно велика, появились «улучшенные» нейроны. Выход нейрона больше не прыгает от –1 до +1, а функция, применяемая к взвешенной сумме, больше не похожа на лестницу. Непрерывный выход имеет форму S-образной кривой.

В Главе 4 мы увидели, что все методы обучения основаны на минимизации функции стоимости. Вы должны уметь вычислять градиент относительно параметров системы, то есть знать, в каком направлении и на сколько нужно изменить все параметры для уменьшения функции стоимости. Помните, что обучение системы и уменьшение количества ошибок, которые она допускает на этапе обучения, – это одно и то же.

С этими улучшенными нейронами даже малейшее изменение входного параметра нейрона, отраженного во взвешенной сумме, приводит к изменению выходного сигнала нейрона. И шаг за шагом увеличение или уменьшение данного параметра, сколь бы ни были малы эти изменения, автоматически приводит к изменению конечного выхода системы и, следовательно, к изменению функции стоимости. Такая непрерывность позволяет использовать методы градиентного спуска для обучения многослойных сетей.

Еще одна ретроспектива: в начале 1980-х гг. интерес научного сообщества к алгоритмам обучения заметно остыл. Нейроны по-прежнему были бинарными. Не было возможности аналитического вычисления градиентов (никто об этом и не думал). Что касается помех – возьмите вес, измените его и посмотрите, как он влияет на выход – это было слишком неэффективно для обширных сетей с большим количеством показателей веса… Сплошная головная боль!

Когда выход оказывался неверным, для каких именно нейронов в сети алгоритм должен постулировать ошибку? Какой вес нужно менять? Как рассчитать его изменение?

Я читал старые статьи на эту тему. Множество попыток предпринималось в 1960-х, но уже в 1970-х наступило молчание. Фукусима – один из немногих, кто проявил упорство. Его когнитрон действительно представлял собой многослойную сеть, но особого типа. Его нейроны не были бинарными, они пытались соответствовать тому, что было известно о биологических нейронах. Все слои, кроме последнего, обучались без учителя. Мы еще не говорили об этом методе. Суть его заключается в том, что каждая группа нейронов могла автоматически обнаруживать категории паттернов. Но эти паттерны не определялись конечной задачей, они идентифицировались по частоте встречаемости: если паттерн вертикального контура часто появлялся на входе группы нейронов, то при его обнаружении такая группа выделяла один нейрон из группы. Все эти операции и составляли процедуру обучения.

Рис. 5.3. Иллюстрация к моей статье о HLM

В 1985 г. на конгрессе Cognitiva я представил многослойную сетевую архитектуру с локальными подключениями. Ее обучали на специально подготовленных примерах: приведенные в прямоугольниках фигуры представляли собой крошечные символы – искаженные или трудные для чтения изображения.

Только последний слой когнитрона, также, как и перцептрона, обучался с учителем для минимизации ошибок распознавания. Не самый эффективный способ, потому что внутренние слои не обучались специально под поставленную задачу. Они могли, например, научиться обнаруживать закономерности, бесполезные для решения конечной задачи. Скажем, разница между толстой и тонкой линиями бесполезна для распознавания символов.

В 1981 или 1982 г., когда я еще работал в ESIEE (Парижская высшая школа инженеров по электротехнике и радиоэлектронике, см. Главу 2), у меня возникла идея создать алгоритм обучения многослойной сети, которую я назвал HLM (от англ. Hierarchical Learning Machine – иерархическая обучающаяся машина)[52]. Она состояла из множества одинаковых нейронов, расположенных послойно. У меня были интуитивные догадки, более или менее обоснованные математически, и я отчасти вслепую приступил к программированию, чтобы проверить идею на практике. Время шло. Я все еще был одержим этим проектом, даже когда в 1983 г. начал работать над получением степени DEA[53]. Это была настоящая «зависимость»: я работал с HLM целый год!

Я хочу посвятить несколько страниц описанию HLM – просто для истории, потому что этот сейчас метод больше не используется. У HLM было одно преимущество, которое было одновременно и недостатком: в ней использовались пороговые бинарные нейроны, выход которых был равен +1 или –1. Вычисление взвешенных сумм с бинарными нейронами не требовало умножения, только сложения и вычитания. Отказ от умножения ускорил вычисления на компьютерах тех времен.

Чтобы обучить конкретную сеть, мне пришлось прибегнуть к одной хитрости. В выходном слое у нейронов была определенная цель, которая являлась желаемым выходом, заданным извне. Затем предыдущий слой пытался найти для каждого из своих нейронов бинарную цель +1 или –1, чтобы она соответствовала потребностям следующего слоя. И так, шаг за шагом, до первичного слоя.

Рис. 5.4. Обратное распространение цели процедуры HLM с бинарными нейронами

Для обучения каждый нейрон вычисляет цель (своего рода желаемый выход для себя, +1 или –1), заставляя нижестоящие нейроны «голосовать». Каждый нижестоящий нейрон голосует за свою цель пропорционально весу, который связывает его с рассматриваемым нейроном. Цель нейрона рассчитывается как взвешенная сумма целей нижестоящих нейронов с использованием весов соединений, связывающих их с рассматриваемым нейроном. Целью является +1, если эта сумма положительна, и –1, если она отрицательна. На рисунке нижестоящий нейрон слева голосует +1 с весом –2 (что эквивалентно голосованию –1 с весом +2), центральный нейрон голосует –1 с весом 3, а тот, что справа – +1 с весом 4,5. В целом взвешенная сумма составляет –2–3 + 4,5 = –0,5, поэтому расчетная цель равна –1. Вес нейрона обучается приближать выходной сигнал нейрона к цели, как и у перцептрона.

Таким образом, метод HLM позволяет распространять эти цели в обратную сторону, начиная с выхода. Выходные данные «говорят» нейронам предыдущего слоя: «Это мой желаемый результат. На данный момент ваши результаты не позволяют мне дать правильный ответ, так что я хочу, чтобы вы вывели именно эти желаемые результаты». Каждая из единиц в предыдущем слое «общается» с несколькими нейронами следующего слоя, которые должны изменить свой вывод так, чтобы соответствовать желаемому результату. Своеобразный эффект домино.

Подведем итоги! У каждого нейрона есть цель (виртуальный желаемый результат). Эта цель рассчитывается от нейронов следующего слоя до нейронов первичного слоя.

Если нейрон связан с несколькими нейронами в следующем слое, он может быть связан с нейроном с очень большим весом и с другими нейронами с меньшим весом. Поэтому, когда мы вычисляем цель рассматриваемого нейрона, мы должны отдать предпочтение целям связанных нижестоящих нейронов с большим весом.

Для этого мы берем цели слоя и вычисляем взвешенную сумму этих целей. Тогда, если взвешенная сумма положительна, цель будет +1, а если она отрицательна, цель будет –1. Это одни и те же веса, которые мы используем в одну сторону и в другую. Такой расчет представляет собой своего рода бюллетень, где нижестоящие нейроны «голосуют» за цель рассматриваемого нейрона пропорционально весу, связывающему их с этим нейроном. Поскольку нейрон бинарный, его цель также должна быть бинарной, а именно +1 или –1.

В алгоритме HLM цель t[j] нейрона j является взвешенной суммой целей нейронов следующего слоя. Алгоритм берет цели следующих нейронов и вычисляет взвешенную сумму этих целей, весовые показатели которых являются весами соединений, связывающих нейрон j с нижележащими нейронами.

Символ DN[j] обозначает набор нижестоящих нейронов, на которые нейрон j проецирует свой выходной сигнал. Поэтому вес w[i, j] применяется «вверх ногами».

Мы вычисляем все эти цели шаг за шагом, и в конце для каждого нейрона у нас есть цель и текущий результат, и мы обновляем веса с помощью метода, очень похожего на перцептрон, так, чтобы результат стал близок к цели. Как если бы у нас было много маленьких перцептронов, связанных друг с другом, и перераспределение конечной цели на уровне каждого нейрона.

Я провел несколько экспериментов по распознаванию образов. Алгоритм работал, но был не совсем стабильным. В 1984 г. я впервые представил свою идею на небольшой конференции в Страсбурге под названием «Нейронауки и инженерные науки», где собиралось небольшое французское сообщество, интересующееся нейронными сетями. Статья о HLM была опубликована в июне 1985 г. на конгрессе Cognitiva в Париже.

Моя разработка оказалась несколько странной версией алгоритма обратного распространения градиента, который сегодня является стандартным для обучения всех слоев, а не только последнего, в многослойной (или глубокой) сети. Позже я доказал, что с математической точки зрения этот алгоритм обратного распространения цели принадлежит к классу алгоритмов, называемых целевым распространением, которые эквивалентны обратному распространению градиента (в пределах незначительных погрешностей). За исключением того, что он распространяет для нейронов не градиенты, а виртуальные цели.

Беседуя с моим другом Дидье Жоржем (ныне профессором Национального политехнического института Гренобля), который в то время защищал докторскую диссертацию по планированию траектории в робототехнике, я понял, что существует поразительное сходство между методами, над которыми я работаю, и тем, что исследователи теории оптимального управления называют методом сопряженных воздействий. Я пришел к мнению, что при использовании непрерывных (не бинарных) передаточных функций и распространения ошибок, а не целей, математика процесса становится более простой и последовательной. На самом деле метод сопряженного воздействия, применяемый к многослойным сетям, и является обратным распространением градиента! Больше не нужно оправдывать мою интуицию: этот новый алгоритм легко создать с использованием математического формализма, изобретенного в конце XVIII в. франко-итальянским математиком Жозефом-Луи Лагранжем для формализации механики Ньютона. Так я обнаружил обратное распространение градиента.

Но наше повествование все еще находится в конце 1984 г., когда я работал над методом HLM, и у меня не было достаточно времени, чтобы проверить и опубликовать свою новую идею…

Тем временем другие исследователи работали над тем же вопросом: Джеффри Хинтон, на тот момент молодой профессор Университета Карнеги-Меллона, изучал машины Больцмана – еще один подход к обучению сетей со скрытыми слоями. Эти машины фактически представляли собой сети с симметричными соединениями, где связи между нейронами осуществлялись в обоих направлениях. В 1983 г. Джеффри сформулировал эту идею вместе с Терри Сейновски. Но его статья представляла собой «военную хитрость». Он никогда не упоминал, что единицы машины Больцмана выглядят как нейроны, а соединения – как синапсы. Ни разу! Даже название «Оптимальный перцепционный вывод» маскировало основную тему статьи. Тогда от нейронных сетей прямо-таки несло серой, словно разговоры о них взывали к самому дьяволу!

Вскоре Джеффри столкнулся с трудностями, связанными с машинами Больцмана. Поэтому он в дальнейшем сосредоточился на идее Дэйва Рамелхарта 1982 г. об обратном распространении, которую ему и удалось воплотить в жизнь. Это случилось весной 1985 г., сразу же после Лез-Уш. Вскоре я встретился с Джеффри в Париже, где он поделился со мной своими результатами. Я уже начал менять свою программу HLM, чтобы учесть обратное распространение, но у меня не было времени протестировать ее, пока Джеффри не закончил свою работу. Поэтому в сентябре 1985 г. он опубликовал технический отчет с Рамелхартом и Уильямсом, а затем вставил его как главу в книгу, опубликованную в 1986 г.[54]

Там он процитировал и мою статью о методе HLM. Он – Великий Маниту, я – маленькое перышко! Я упустил возможность предоставить ему новую версию, но все равно был счастлив.

Обратное распространение градиента, о которым мы говорим, является эффективным методом вычисления градиента функции стоимости, то есть направления наибольшего наклона в сетях, состоящих из нескольких слоев нейронов. Принцип его состоит в том, чтобы распространять сигнал в сети в обратном направлении, но вместо распространения целей, как в HLM, мы распространяем градиенты, то есть частные производные.

Чтобы объяснить это, необходимо рассматривать линейные и нелинейные функции по отдельности.

Математическое понятие, на котором основано обратное распространение, есть не что иное, как правило вывода сложных функций. Как известно из школьной программы, сложная функция – это применение одной функции к выходу другой функции. К x применяется сначала функция f, а затем – к ее выходу – функция h. Почему это важно? Поскольку два последовательных слоя, линейный и нелинейный, можно рассматривать как применение двух функций, например, f для первой и h для второй. Если есть несколько слоев, будут и несколько вложений функций. В результате уравнения упрощаются. Вот в чем прелесть математики!

Рис. 5.5. Обратное распространение градиента через передаточную функцию

Производная стоимости по отношению к входу передаточной функции равна производной стоимости по отношению к выходу передаточной функции, умноженной на производную передаточной функции: dc_ds = dc_dz * hʼ(s).

Представьте себе сложную сеть из нескольких слоев, природа которых нам неизвестна (рис. 5.5). На выходе этой сети стоимость измеряет разницу между выходом сети и желаемым выходом. Рассмотрим конкретную единицу в этой сети. Она вычисляет взвешенную сумму своих входов и передает эту сумму s через передаточную функцию h и выдает выход z = h(s). Если бы мы знали производную функции стоимости по отношению к выходу передаточной функции dc_dz (то есть отношение dc/dz между изменением dc стоимости c в результате изменения dz к z), то это означало бы, что если z изменится на незначительную величину dz, стоимость c изменится на незначительную величину dc = dz * dc_dz.

Какова будет производная c по отношению к s, которую мы обозначим как dc_ds?

Если мы изменим s на незначительную величину ds, выходной сигнал передаточной функции изменится на незначительную величину dz = ds * hʼ(s), где hʼ(s) – производная h в точке s. Значит, стоимость изменится на сумму dc = ds * hʼ(s) * dc_dz. Другими словами:

dc_ds = hʼ (s) * dc_dz.

Рис. 5.6. Обратное распространение градиента через взвешенную сумму

Производная стоимости по отношению к выходу z единицы представляет собой сумму производных стоимости по отношению к последующим единицам, взвешенных по весам, соединяющим рассматриваемую единицу с этими последующими единицами:

dc_dz = w[0] * dc_ds[0] + w[1] * dc_ds[1] + w[2] * dc_ds[2]

Итак, если мы знаем производную c по отношению к z, мы можем вычислить производную c по отношению к s, умножив на производную h в точке s. Таким образом мы возвращаем градиенты через передаточную функцию.

Теперь разберемся с обратным распространением через взвешенную сумму. Рассмотрим выход единицы z, который направляется к нескольким нижестоящим единицам для вычисления взвешенных сумм. Этот выходной сигнал z направляется к нижестоящим единицам с помощью весов w[0], w[1], w[2], которые используются для вычисления взвешенных сумм s[0], s[1], s[2], как показано на рисунке 5.6.

Предположим, мы знаем производные c по отношению к нижележащим единицам dc_ds[0], dc_ds[1], dc_ds[2]

Если мы изменим z на незначительную величину, взвешенная сумма s[0] изменится на w[0] * dz.

Следовательно, стоимость изменится на dz * w[0] * dc_ds[0].

Но изменение dz также вызовет две цепочки изменений.

Первая, где s[1] изменяется на значение w[1] * dz, что само по себе вызывает изменение стоимости значения dz * w[1] * dc_ds[1].

Вторая, где s[2] изменяется на значение w[2] * dz, вызывая изменение стоимости dz * w[2] * dc_ds[2].

В итоге стоимость будет изменена на сумму всех этих помех:

dc = dz * w[0] * dc_ds[0] + dz * w[1] * dc_ds[1] + dz * w[2] * dc_ds[2]

Это – способ доказать, что производная dc/dz равна:

dc_dz = w[0] * dc_ds[0] + w[1] * dc_ds[1] + w[2] * dc_ds[2]

Это и есть формула обратного распространения градиента через линейный слой (вычисление взвешенных сумм).

Чтобы рассчитать производную стоимости по отношению к входу слоя, берутся производные стоимости по отношению к выходам слоя и вычисляется сумма, взвешенная по весам, связывающим вход с этими выходами. Другими словами, мы рассчитываем взвешенные суммы с использованием весов в обратном порядке, как и в случае с HLM.

Таким образом, для обратного распространения производных через слой передаточных функций и слои, вычисляющие взвешенные суммы, используются две формулы.

1. Cлой передаточных функций:

a) распространение с прямой связью

z[i] = h(s[i]);

b) обратное распространение

dc_ds[i] = hʼ(s[i]) * dc_dz[i].

2. Cлой взвешенных сумм:

a) распространение с прямой связью

b) обратное распространение:

Нам остается теперь вычислить производные стоимости по сравнению с весами. Когда мы изменяем вес w[i, j] на незначительную величину dw[i, j], взвешенная сумма, в которую он вносится, изменится на

dw[i, j] * z[j]

Стоимость изменится на

dc = dw[i, j] * z[j] * dc_ds[i].

Следовательно, градиент стоимости относительно веса w[i, j] будет равен:

dc_dw[i, j] = z[j] * dc_ds[i]

Мы располагаем тремя формулами обратного распространения градиента в классических многослойных нейронных сетях!

Используя производную стоимости по отношению к весам, мы можем выполнить градиентный спуск. Каждый вес в сети обновляется с помощью обычной инструкции градиентного спуска:

w[i, j] = w[i, j] – e * dc_dw[ij]

Подведем итоги: цель данного упражнения состояла в том, чтобы вычислить градиенты функции стоимости относительно входных данных слоя, учитывая градиенты стоимости относительно выходных данных слоя. Таким образом, мы вычисляем все градиенты путем их обратного распространения через все предыдущие слои. Последним шагом является использование этих градиентов стоимости в сравнении с выходными (или входными) слоями для расчета градиентов в зависимости от параметров (весов линейных слоев).

Принцип обучения остается прежним: он заключается в настройке параметров сети таким образом, чтобы система допускала минимум возможных ошибок. Сквозное обучение многослойных сетей – это так называемое глубокое обучение, или обучение преобразованию входных данных в осмысленные представления, как это делал экстрактор признаков в улучшенном перцептроне. В действительности, последовательные слои – это обученная версия экстрактора признаков. Решающим преимуществом многослойных сетей является то, что они автоматически учатся правильно представлять сигнал.

Для обратного распространения градиента через слой с несколькими входами и выходами, например, линейный слой, необходимо применить некоторую форму правила вывода сложной функции, которая учитывает частные производные каждого выхода по отношению к каждому входу.

Теперь давайте объясним, как вычислять градиенты в многослойной архитектуре, используя это правило вывода сложных функций.

Рис. 5.7. Многослойная сеть, представленная графом взаимосвязанных функциональных модулей

В современной формулировке глубокого обучения многоуровневая сеть представляет собой граф взаимосвязанных модулей, связанных модулем стоимости. Модуль – это любая функция, которая может иметь несколько входов, несколько выходов и несколько параметров. Полный слой линейных нейронов – это «модуль».

Слева: сеть состоит из двух модулей: первый f(x, wf), выход которого равен zf. За этим модулем следует второй модуль g(zf, wg), выход которого равен zg. Выход zg сравнивается с желаемым выходом y с использованием модуля стоимости C(zg, y).

По центру: более общий пример сети, состоящей из слоев пронумерованных модулей. Выход модуля номер k, обозначенный вектором z[k], образуется путем применения функции fk по отношению к выходу предыдущего модуля, т. е. вектора z[k] и его вектора параметров w[k]:

Зная градиент стоимости относительно вектора z[k + 1], обозначенного g[k +1], можно вычислить градиент стоимости относительно вектора z[k], обозначенного g[k] (по условию, g[k] представляет собой вектор строки, а не как вектор столбца) по следующей формуле:

где dfk_dzk – матрица Якоби функции fk(z[k], w[k]) по отношению к z[k], то есть массив, каждый элемент которого указывает, насколько нарушается конкретный выход fk, когда нарушается конкретный вход. Таблица содержит термин для каждой пары входов и выходов. Матрица Якоби изображена справа.

Формулы обратного распространения ошибки говорят нам о следующем:

1. Градиент функции стоимости C по отношению к входу слоя k, то есть выходу слоя k – 1, равен градиенту стоимости по отношению к выходу слоя k, то есть входу слоя k + 1, умноженному на матрицу Якоби функции слоя k по отношению к ее входному вектору. Данная процедура, применяемая рекурсивно, начиная с вывода и направления к входу, используется для вычисления градиентов стоимости по отношению к выходам (и входам) всех слоев.

2. Градиент функции стоимости C относительно вектора параметров слоя k равен градиенту стоимости относительно выхода слоя k, умноженному на матрицу Якоби функции слоя k относительно его вектора параметров.

Эти формулы лежат в основе общего принципа обратного распространения градиента в структуре модулей, наложенных друг на друга. Но такая же процедура может применяться и тогда, когда модули соединяются друг с другом более сложным способом. Это работает при условии, что схема соединений между модулями не образует циклов, то есть не имеет соединений, возвращающих сигнал на вход предыдущих слоев. В схеме без циклов существует естественный прямой порядок вычисления выходных сигналов всех модулей и обратный порядок для обратного распространения градиентов.

Несмотря на это небольшое ограничение (которое может быть снято, и мы увидим это позже), возможность использовать самые разнообразные модули в сочетании со свободой организовать их согласно своим пожеланиям, дает инженеру гибкость в адаптации сетевой архитектуры к конкретной проблеме. Например, очень разную сетевую архитектуру имеют сети, предназначенные для распознавания изображений, распознавания речи, перевода, синтеза изображений и создания текста.

Чтобы обосновать практическую пригодность метода обратного распространения ошибки, нам пришлось выйти за рамки некоторых теоретических возражений. Отдельные эксперты выдвигали предположения, что если построить многослойную нейронную сеть с непрерывными нейронами и попытаться обучить ее по методу градиентного спуска, как было продемонстрировано в Главе 4, то возникает риск «застрять» в локальных минимумах. Используя аналогию с горным пейзажем, вы, вместо того чтобы спуститься в главную долину, можете оказаться в небольшой котловине, откуда нет спуска вниз. Следовательно, на практике системы могут никогда не достичь оптимума[58].

Почему многослойные сети могут иметь несколько минимумов? При обучении многослойной сети выполнению той или иной задачи почти всегда есть несколько конфигураций весов, которые на обучающих примерах дадут одинаковый выход. Представьте себе сеть с двумя линейными слоями, которая уже была обучена (такая сеть не очень полезна для реального применения, но зато хороша в качестве примера). Ее весовая конфигурация является минимумом функции стоимости. Мы могли бы взять все веса нейронов в первичном слое, умножить их на 2 и одновременно умножить на ½ все веса, которые выходят из него, и связать его со следующим слоем. Выход сети останется неизменным. Такая модификация конфигурации веса – еще одно решение задачи. Поскольку значение функции стоимости в первоначальной конфигурация было столь же минимальным, что и в новой.

Вы можете преобразовать сеть другим способом, например, взять два нейрона из первичного слоя и поменять их местами, одновременно вытягивая вместе с ними все «нити» (вместе с их весами), соединяющие их с предыдущим слоем и со следующим слоем. Опять же, несмотря на такое преобразование, функция ввода-вывода сети остается неизменной. Если исходная конфигурация была минимумом функции стоимости, то и вторая тоже. Таким образом, функция может иметь несколько минимумов.

В многослойной сети первичные слои выступают в роли экстракторов признаков. Однако, в отличие от традиционных методов, эти экстракторы признаков создаются не «вручную», а автоматически – в процессе обучения. В этом-то и состоит вся прелесть многослойных сетей, основанных на обратном распространении.

Проанализируем примеры различного начертания букв C и D с помощью двухслойной сети, чтобы показать, как единицы первичного слоя могут обнаруживать шаблоны, которые характерны для C и D.

Мы уже сталкивались с одним из ограничений перцептрона, которое состоит в том, что, если различные варианты написания C и D слишком сильно различаются по форме, положению или размеру, он не сможет их распознать, потому что точки, соответствующие начертанию C и D, больше не отделяются гиперплоскостью (см. главу 3 «Пределы перцептрона»). Однако если мы добавим дополнительный слой, мы сможем решить эту проблему. Нейроны первичного слоя будут обнаруживать паттерны, характерные для C и D.

Такие детекторы создаются автоматически, потому что в сети используется обратное распространение. Оно автоматически обнаруживает отличительные признаки или шаблоны. Например, непрерывная линия с двумя открытыми концами существует только для C. Наличие линий, образующих близкий к прямому угол при схождении, указывает на D, но не C, и т. д.

Первый слой ведет себя как экстрактор признаков, а второй – как классификатор, но все уровни сети обучаются одновременно: обучение становится единым.

В простейших многослойных сетях все нейроны одного слоя связаны со всеми нейронами следующего слоя. Это неудобно при большом объеме входных данных. Возьмем изображение размером 100 × 100 пикселей (что для изображения совсем немного): в нем будет 10 000 пикселей. Подключим его к первичному слою с 10 000 нейронов. Количество соединений между входом и первичным слоем составит 100 млн. Астрономическое число для одного слоя!

Нам нужно найти способ построить архитектуру сети так, чтобы она могла принимать большие объемы входные данные (например, изображение размером 1000 × 1000 пикселей), не увеличиваясь при этом в размерах. Адаптация архитектуры нейронной сети к решаемой задаче – ежедневная задача инженера, работающего с искусственным интеллектом.

Итак, глубокое обучение состоит из:

1. Построения архитектуры многослойной сети путем расстановки и соединения модулей.

2. Обучения данной архитектуры методом градиентного спуска после вычисления этого градиента обратным распространением.

Прилагательное «глубокий» здесь просто выражает тот факт, что архитектура имеет несколько слоев. Ничего более.

Как же спроектировать архитектуру сети, чтобы она подходила для распознавания изображений? Мы рассмотрим это в следующей главе.

В Bell Labs, вдохновленный тем, что было известно о системе зрения у млекопитающих, я разработал совершенно новую многослойную архитектуру сети. Мой руководитель лаборатории Ларри Джекел назвал ее LeNet (в подражание моей фамилии LeCun[59]). Так появились первые сверточные сети. Конец 1980-х и начало 1990-х были периодом процветания многослойных нейронных сетей: число конференций и научных публикаций увеличивалось, появлялись новые рабочие места в университетах, государство инвестировало в проекты…

Но в середине десятилетия наступил еще один период застоя. Помимо больших вычислительных ресурсов, сети требовали огромного количества обучающих данных. К тому же они были сложны в эксплуатации.

Ситуация кардинально изменилась только в 2012 г. В международном соревновании сверточные сети, особые типы многослойных сетей, продемонстрировали всю свою эффективность. Они стали фаворитами в исследованиях и костяком многих приложений ИИ. С тех пор их значимость неуклонно растет.

Запомните словосочетание «ImageNet». Так называют исследовательскую базу данных компьютерного зрения для распознавания объектов на изображениях. Она была разработана учеными из Стэнфорда, Принстона и некоторых других американских институтов. Наиболее часто используемая база данных семейства ImageNet, ImageNet-1k, содержала более 1,3 млн изображений, которые все были помечены вручную, чтобы дать указание на категорию основного объекта, который они отображают. Всего было использовано 1000 категорий. С 2010 г. проект ImageNet стал проводить ежегодные соревнования по распознанию визуальных образов под длинным названием «ImageNet Large Scale Visual Recognition Challenge» (ILSVRC), который в результате все называют просто… ImageNet. По сути – это своеобразный «кибертурнир», на котором исследователи сравнивают свои методы распознавания изображений.

Правила таковы: для каждого изображения системы должны предложить пять категорий из 1000. Если правильный ответ входит в пятерку предложенных, считается, что система ответила правильно. Это действительно можно назвать достижением, поскольку среди 1000 категорий насчитывается, например, 200 пород собак, некоторые из которых очень похожи по внешнему виду.

В 2011 г. даже лучшие системы давали (как и в прежние годы) 25 % ошибок распознавания. Однако в следующем году команда Джеффри Хинтона и его студентов из Университета Торонто значительно побила этот рекорд, снизив число ошибок до 16 %. В чем секрет? Сработали сразу два фактора: использование большой сверточной сети, вдохновленной моими разработками, и программирование ее для работы на графических процессорах, очень эффективных при работе сверточных сетей.

Началось стремительное движение вперед. В следующем году все кандидаты на конкурс ImageNet стали пользоваться новым методом. Это была революция. Благодаря более мощным графическим процессорам и программному обеспечению с открытым исходным кодом, которое облегчило работу исследователей, сверточные сети буквально перевернули компьютерное зрение. Они быстро сделали возможными новые приложения: сортировка и поиск информации, автономные автомобили, анализ медицинских изображений, индексация и поиск изображений, распознавание лиц и речи, и т. д.

На самом деле путь к успеху был очень долгим. Вспомните, что к 1982 г., когда я еще работал в ESIEE, большинство исследователей уже давно отказались от сквозного обучения многослойных нейронных сетей. То есть такие сети существовали, но обучался лишь их последний слой, а остальные операции писались вручную инженерами.

С самого начала моей работы, в 1993 г., мои эксперименты были сосредоточены на локально связанных сетях, архитектура которых была вдохновлена открытиями Хьюбела и Визеля[60] в области зрительной коры головного мозга. Обратное распространение, когнитрон Фукусимы, теории двух нейробиологов – все это я держал в голове, когда отправился на стажировку в Торонто в лабораторию Джеффри Хинтона.

Давайте на минутку остановимся на способе обработки информации в визуальной системе, как это объясняли Хьюбел и Визель. Они обнаружили, что распознавание объектов происходит поэтапно, от сетчатки до нижневисочной коры: оно следует по «вентральному пути». Например, при взгляде на стул визуальный сигнал проходит через последовательные фильтры в первичной зрительной коре (область V1), потом в следующих областях V2, в V4 и, наконец, включают в нижневисочной коре набор нейронов, представляющих понятие «стул».

Во время обычных визуальных задач один сигнал распространяется менее чем за 100 миллисекунд. Скорость сигнала такова, что невозможно использовать множество циклов, имеющихся в соединениях.

В области V1 пучки больших пирамидных нейронов (по 50–100 в пучке) связаны с небольшими областями поля зрения, которые называются рецептивными полями. Воспринимающее (рецептивное) поле нейрона – это область поля зрения, из которой он получает свои входы. На одно и то же рецепторное поле «смотрят» от 50 до 100 нейронов. Допустим, их 60. Каждый из этих нейронов реагирует на простой паттерн (элемент изображения). Нейрон № 1 реагирует на вертикальные контуры, № 2 реагирует на линию, которая составляет угол в 6° по вертикали, № 3 – на линию под углом 12° и т. д. Иначе говоря, каждый из нейронов в пучке реагирует на разные линии и ориентацию контура, присутствующего в воспринимающем поле, с которым связан данный пучок. Эти нейроны реагируют также и на размер элементов. Такой механизм напоминает принцип работы экстрактора признаков.

Хьюбел и Визель как раз и объясняют это тем, что области первичной зрительной коры выступают в роли экстракторов признаков (о них говорится в главах 3 и 5).

Если взять соседний пучок нейронов, который смотрит на рецепторное поле, слегка смещенное по сравнению с предыдущим, то у него также есть нейрон № 1 и нейрон № 60 (см. рис. 6.1). То, что Хьюбел и Визель называют простыми и сложными клетками, – это нейроны, о которых я постоянно говорю в этой книге. Нейрон № 1 в этом пучке делает то же самое, что и нейрон № 1 в следующем пучке. Таким образом, пучки из 60 нейронов связаны со всеми рецептивными полями поля зрения. Миллионы нейронов № 1 выявляют один и тот же паттерн, но на разных участках изображения.

Таким образом, все поле зрения покрыто этими пучками из 60 нейронов, чьи воспринимающие поля частично перекрываются, как черепица на крыше, и все они выполняют одну и ту же операцию: обнаруживают во всех рецепторных полях очень маленькие и простые паттерны. Все эти миллионы нейронов представляют собой простые клетки.

Если поместить электроды в область V1, как это Хьюбел и Визель сделали с кошками, что мы увидим? В пучке нейронов, смотрящем на рецепторное поле в левой части круга, активируются нейроны № 1 и № 30 детекторов вертикальных контуров. Точно так же в пучке нейронов, смотрящем на правую часть круга, возбуждаются другие нейроны № 1 и № 30, потому что они также обнаруживают вертикальный контур. Наоборот, в пучке нейронов, смотрящем на верхнюю часть круга, становятся активными нейроны уже № 15 и № 45, которые обнаруживают горизонтальные контуры.

Рис. 6.1. Простые клетки и сложные клетки

Область первичной зрительной коры млекопитающих V1 содержит простые клетки и сложные клетки. Каждая простая клетка обнаруживает паттерн в маленьком окне на входе, называемом «воспринимающем полем». Клетки организованы в виде плоскостей, называемых «картами признаков». Все клетки одной и той же карты признаков обнаруживают один и тот же паттерн в разных местах входного изображения. Каждая карта признаков определяет паттерн, отличный от других. Каждая из клеток всех карт признаков с одним и тем же принимающим полем выявляет разные паттерны, например, первая «видит» контур, расположенный под углом 45°, вторая – горизонтальный контур, третья – какой-то еще и т. д. Сложные клетки собирают «ответы» из небольшого окна простых клеток. Когда паттерн слегка перемещается по входу, реакция сложных клеток практически не меняется.

В области V1 сложные клетки (другая категория нейронов) агрегируют ответы соседних простых клеток одного и того же типа: одна сложная клетка агрегирует все числа от нейронов № 1 в своей окрестности, другая – от нейронов № 2 и т. д. Операция агрегирования заключается в вычислении среднего значения выходов простых клеток или получении наибольшего из них.

Что происходит, когда вертикальный контур немного сдвигается? Простые клетки № 1, связанные с различными рецепторными полями, активируются при движении. Но поскольку сложная ячейка объединяет результаты отдельных ячеек № 1 в своей окрестности, она непрерывно активизируется, пока контур не появится из рецептивных полей всех простых клеток, с которыми соединена данная сложная клетка. Таким образом, сложная клетка, которая смотрит на простые клетки № 1, обнаруживает вертикальный контур независимо от его положения в окрестности (с определенным допуском к его положению). Такой механизм агрегации сигнала (его называют английским термином «пулинг») объясняет инвариантность обнаружения паттернов. Соответственно, рецепторное поле сложной клетки области V1 больше, чем рецепторное поле простой клетки в этой же области.

Но если переместить паттерн слишком далеко и выйти за пределы рецепторного поля сложной клетки (то есть рецепторных полей всех простых клеток, которые она агрегирует), сложная клетка отключится.

Хьюбел и Визель предположили, что данная схема соединения повторяется в областях V2 и V4, но не смогли это доказать.

А вот и мы: операция, вычисляемая миллионами нейронов № 1, которые обнаруживают вертикальные линии, является «сверткой».

Селективность ориентации (то есть чувствительность нейронов к ориентации) и существование сложных клеток – два открытия, которые принесли Хьюбелу и Визелю Нобелевскую премию в области физиологии и медицины.

Машина японского исследователя Кунихико Фукусимы повторила архитектуру модели Хьюбела и Визеля – то же самое нециклическое прохождение сигнала в последовательных слоях простых и сложных нейронов. Фукусима применил систему простых клеток, связанных с небольшой областью поля зрения, и сложных клеток, которые интегрируют активацию предыдущего слоя и позволяют построить представление, инвариантное относительно небольших искажений. Токийский ученый построил две версии своей машины: когнитрон в 1970-х и неокогнитрон в начале 1980-х.

Вторая модель – это многослойная сеть для распознавания простых форм. Неокогнитрон состоял из набора чередующихся слоев, аналогичных слоям простых клеток и сложных клеток. Подход Фукусимы – своего рода попытка теснее следовать принципам биологии и за счет этого заставить сеть работать. Они вычисляли взвешенную сумму своих входов и обрабатывали результат через ряд сложных операций, от описания которых я вас избавлю. Неокогнитрон использовал также подвыборку слоев сложных клеток. Как только мы перейдем к сверточным сетям, я подробно опишу, что это значит.

Фукусима обучал последний слой по алгоритму, очень похожему на алгоритм перцептрона. Но его машина обучалась сквозным методом. Он не применял обратное распространение, так как его еще не изобрели. Промежуточные слои обучались неконтролируемыми «конкурирующими» методами (их мы тоже не будем описывать подробно). Ему приходилось как бы настраивать свою систему «отверткой», чтобы она заработала: модель имела большое количество параметров, которые необходимо было подбирать вручную. Может быть, Фукусима слишком сильно хотел сымитировать биологические процессы? Тем не менее, результат был неплохим.

В период с 2006 по 2012 год, до революции сверточных сетей, научное сообщество не очень ценило работы Фукусимы. Однако исследователи компьютерного зрения все-таки подтвердили эффективность его подхода! Как и Фукусима, они были вдохновлены открытиями Хьюбела и Визеля о работе простых и сложных клеток. Экстракторы признаков, с которыми связаны такие понятия как SIFT (масштабно-инвариантная трансформация признаков; англ. Scale-Invariant Feature Fransform) или HOG (гистограмма направленных градиентов, англ. Histogram of Oriented Gradients, разработана во Франции), выполняют операции, похожие на то, что делают простые и сложные клетки. Но эти операции написаны от руки. Их ничему не обучали.

В 1986 г. я писал диссертацию и отказался от дальнейшей разработки HLM, чтобы сосредоточиться на методе обратного распространении ошибки. Основываясь на работах Хьюбела, Визеля и Фукусимы, я вообразил многослойную архитектуру сети, которая будет сочетать в себе чередование простых и сложных клеток и обучение с помощью обратного распространения. Мне казалось, что такой тип сети хорошо подходит для распознавания изображений. Позже я назову его сверточной сетью, или сверточной нейронной сетью. Некоторые сокращают название до CNN, а я предпочитаю говорить ConvNet.

Итак, в 1987 г. у меня появилась идея, но не было никаких программных инструментов для ее реализации, да их тогда и не существовало. Когда я писал диссертацию, со мной связался студент Политехнического университета Леон Ботту. Он как раз заканчивал аспирантуру по теме обратного распространения. Я предложил ему помочь написать мне новое программное обеспечение для построения и обучения нейронных сетей. Оно позволило бы применять локальные соединения и совместное использование параметров – два необходимых компонента для программного обеспечения сверточных сетей и сетей другого типа, известных как рекуррентные нейронные сети. Мы были тогда совсем новичками в этом!

Леон взялся написать интерпретатор Lisp для гибкого взаимодействия с той частью программного обеспечения, которая выполняет вычисления, – строительный блок, который важен для системы. Благодаря своим выдающимся навыкам разработки программного обеспечения он написал этот интерпретатор за несколько недель, и я смог взять его с собой в Торонто.

Когда я прибыл в Торонто в июле 1987 г. в лабораторию, возглавляемую выдающимся ученым Джеффри Хинтоном, который работал на стыке психологии, искусственного интеллекта, когнитивной науки и нейробиологии, я привез с собой свои идеи плюс проект, находившийся на ранней стадии разработки.

В последующие месяцы я продолжил разрабатывать программное обеспечение, которое помогло бы мне построить сверточные сети, обучать их, наблюдать за тем, как они работают и т. д. Леон же только закончил Политехнический университет и получил докторскую степень в Орсе по нейронным сетям, применяемым для распознавания речи.

Весной 1988 г. я построил свои первые сверточные сети и протестировал их на небольшом наборе данных. В то же время во Франции Леон применил сверточные сети для распознавания речи. Летом 1988 г. он присоединился ко мне в Торонто. Мы верили в свои идеи и будущее нашего проекта. Наше новое программное обеспечение мы называли SN (Simulateur Neuronal – нейронный симулятор).

Из-за отсутствия общедоступных обучающих данных мне удалось запустить сверточные сети лишь на очень небольшом наборе рукописных чисел, который я сделал сам (написав небольшую программу, которая позволяла рисовать цифры с помощью компьютерной мыши). Я создал 12 версий из 10 цифр от 0 до 9 и поместил каждую цифру в четырех разных положениях на изображении: вверху, внизу и т. д. Итак, у меня было 480 примеров. Согласен, это очень мало.

Рис. 6.2. Архитектуры сети, использованные во время первых экспериментов со сверточными сетями

Слева направо: однослойная сеть; двуслойная сеть; трехслойная сеть с локальными подключениями без распределения весов; трехслойная сеть, где первый слой является сверточным (локальные соединения с распределением весов), а второй слой – с локальными соединениями без распределения весов; трехслойная сеть с распределением весов на первых двух слоях.

Новая архитектура, которую я разработал, хорошо подошла для распознавания таких типов изображений. Это доказало, что мой принцип работал, и даже намного лучше, чем другие типы полносвязных нейронных сетей, то есть тех, где все нейроны одного слоя связаны со всеми нейронами следующего слоя: ConvNet добилась 98,4 %-го успеха на тестовом наборе. Для полносвязной сети этот показатель равнялся 87 %.

Технический отчет о моей работе был опубликован осенью 1988 г. К тому времени я уже перешел в Bell Labs и сразу же начал работать над «настоящим» приложением ConvNet: распознаванием почтовых индексов. Первый успех пришел менее чем через два месяца.

Мои коллеги и я быстро обнаружили для себя одну важную деталь: сверточную сеть можно обучить на изображениях с несколькими символами (таких как полный почтовый индекс), без необходимости заранее отделять символы друг от друга. Выглядит тривиально, но для нас это было крайне важно! До тех пор методы распознавания требовали «сегментирования» символов друг от друга перед их распознаванием. Теперь я мог применять эти сверточные сети к целому слову, не сообщая системе, где находятся буквы, и она дает нам последовательность символов на выходе.

Рис. 6.3. Небольшой набор данных, на котором я тренировал свои первые сверточные сети

Некоторые примеры из небольшой базы данных чисел, написанных с помощью мыши, на которой я обучал свои первые сверточные сети. База состояла из 12 экземпляров каждой из первых десяти цифр. Каждый из них отображался несколькими пикселями, находившимися в четырех различных положениях. Всего было 480 примеров, из них 320 для обучения и 120 для тестирования.

Вскоре вместе с группой инженеров из Bell Labs мы начали разрабатывать систему считывания чеков, которая была мгновенно продана NCR (National Cash Register), в то время дочерней компании AT&T. Через несколько лет система уже считывала от 10 до 20 % всех чеков, выписанных в Соединенных Штатах.

К моменту наших первых успехов исследования в области машинного обучения уже отказались от нейронных сетей. В научном сообществе теперь говорили только об альтернативных методах, конкурировавших с нейронными сетями: SVM (метод опорных векторов), изобретенный в нашей лаборатории, методы ускорения, найденные другой группой Bell Labs, вероятностные методы. Между 1995 и 2010 гг. существовало множество конкурирующих моделей.

Пора уже их представить! Сверточные сети – это особый тип нейронных сетей. Они сочетают в себе: 1) особую архитектуру соединения, а именно иерархию простых и сложных нейронов, смоделированных по образцу клеток зрительной коры, как было представлено Хьюбелом и Визелем; 2) сквозное обучение системы посредством обратного распространения градиента, которое мы описали в предыдущей главе.

Как и в случае с другими сетями, процедура обучения минимизирует целевую функцию. Меняется архитектура сети, то есть ее внутренняя структура. Свертка[61] – компонент этой архитектуры. Это математическая операция, широко используемая для обработки сигналов, но имеющая сходство с вычислениями, выполняемыми простыми клетками зрительной коры.

Рис. 6.4 Свертка

Взвешенная сумма пикселей окна в изображении (25 пикселей, 5 × 5) рассчитывается с использованием набора из 25 весов (показаны в центре), называемого ядром свертки. Операция повторяется во всех возможных окнах входа, а результаты записываются в выходное изображение в соответствующих местах.

Сеть управляется обратным распространением. Веса сети в конечном итоге обнаруживают определенные паттерны: вертикальные линии, горизонтальные линии, цвета и т. д.

Возьмем начальное изображение, которое составляет таблицу входа, и рассмотрим небольшое окно размером 5 × 5 пикселей, которое мы называем «воспринимающим полем». Нейрон № 1 вычисляет взвешенную сумму. Результатом является число, которое содержится в таблице выхода.

Теперь перемещаем это окно 5 × 5 на один пиксель вправо, и теперь второй нейрон № 1 повторно взвешивает пиксели этого нового окна, используя те же веса, что и у предыдущего нейрона. Записываем этот новый результат в таблицу выхода рядом с предыдущим. Повторим эти действия для всех окон размером 5 × 5 пикселей по всему входному изображению, так что соседние окна частично перекрывают друг друга. В результате получается выходное изображение.

Нейроны под № 1 обнаруживают определенный паттерн во всех местах изображения, потому что у них одинаковый вес. Почему у них должен быть одинаковый вес? Потому что отличительный паттерн категории может появиться в любом месте изображения. Это гарантирует, что паттерн будет обнаружен везде, где он появляется на изображении. Именно весовой паттерн позволяет нейрону обнаруживать его, поскольку, например, кошачий глаз или ухо появляются в разных местах изображения в зависимости от положения кошки и поворота ее головы на изображении.

Рис. 6.5. Слой свертки и пулинга ConvNet

Сверточный слой принимает одну или несколько карт признаков в качестве входов (здесь их 2) и создает несколько карт признаков в качестве выходов (здесь 8). Каждая карта признаков представляет собой сумму сверток, примененных к входным картам признаков с разным весом, что позволяет обнаруживать соединения паттернов на входе. Каждая карта признаков использует разные наборы весов.

Чтобы обнаружить другой паттерн, еще один набор нейронов (под № 2), выполняет ту же операцию с весом, отличным от нейронов номер 1.

Взвешенные суммы ряда нейронов уникальны тем, что они вычисляются с одинаковыми весами. Все нейроны № 1 имеют одинаковый вес. Все нейроны под № 2 имеют одинаковые веса, отличающиеся от весов нейронов № 1 и т. д.

Если изображение имеет размер 1000 × 1000 пикселей, это дает 1 млн пикселей входа, 1 млн окон 5 × 5 пикселей и 1 млн нейронов № 1, каждый из которых обнаруживает один и тот же паттерн в разных местах. Аналогично для нейронов № 2, 3 и т. д.

Таблицы входа и выхода имеют практически одинаковой размер. Объяснение. Если веса таковы, что они обнаруживают вертикальные линии (см. рис. 6.1), то 1 млн нейронов будет обнаруживать вертикальные линии в миллионе окон 5 × 5 на изображении, что, в свою очередь, дает вид изображения, который называется картой признаков.

Карта признаков указывает на наличие или отсутствие вертикальной линии в миллионе мест. Результаты вычислений, произведенных миллионами нейронов, образуют таблицу выхода и входа для следующего слоя. Чтобы иметь возможность обнаруживать несколько определенных типов паттернов, понадобится несколько карт признаков, каждая с разной комбинацией весов.

Шестьдесят карт признаков соответствуют 60 простым клеткам Хьюбела и Визеля. Каждое окно «видят» 60 нейронов, проецирующих свои выходы на 60 картах признаков. На каждое окно приходится 60 нейронов. Если имеется 1 млн окон и 60 нейронов на каждое окно, то в сумме получается 60 млн нейронов.

В нашем примере свертка определяется списком из 25 весов (5 × 5). Такой список называется ядром свертки.

Для тех, кому интересно, вот небольшая программа для выполнения свертки:

# Свертка таблицы x с ядром w.

# Результат в таблице y.

# Данные три таблицы двумерные.

def conv (x, w, y):

for i in range(len(y)): # цикл строк

for j in range(len(y[0])): # цикл столбцов

s = 0

for k in range(len(w)):

for l in range(len(w[0])):

s = s + w[k, l]*x[i+k, j+l]

y[i, j] = y[i, j] + s

return y

Сверточный слой принимает одну или несколько карт признаков в качестве входа и создает несколько карт признаков в качестве выходов. Каждая карта признаков выхода представляет собой сумму сверток, выполненных на картах признаков входа с разными ядрами.

Следующая небольшая программа рассчитывает полный слой сверток:

def convlayer(X, W, Y):

for u in range(len(Y)): # цикл карт признаков Y

for v in range(len(X)):

conv(X[v], W[u, v], Y[u])

Мы предоставляем эту программу из дидактических соображений. На практике эти функции предопределены в программном обеспечении глубокого обучения, таком как PyTorch и TensorFlow[62].

В сверточной сети за слоем сверток следует слой передаточных функций. В современных версиях такая передаточная функция – «ReLU[63]» (англ. Rectified Linear Unit). Карта признаков, созданная путем свертки, имеет положительные и отрицательные значения, потому что веса могут быть и отрицательными. Когда результирующий сигнал проходит через слой ReLU, ReLU меняет отрицательные значения на ноль, а положительные значения оставляет без изменений. Таблицы выхода слоя ReLU также называются картами признаков. Эта нелинейная операция и позволяет системе обнаруживать паттерны на изображении.

Представьте себе изображение человека, работающего за компьютером, в комнате с обоями, имеющими серые полосы на бежевом фоне. На такой картине существуют некоторые четкие контуры (например, края экрана на фоне стены), а также менее резкие (образованные полосами обоев). Если при свертке обнаруживаются вертикальные контуры, ее выход будет большим на краях экрана компьютера (высокая контрастность), и меньшим для полос на обоях (низкая контрастность). Когда мы пропускаем эту карту признаков через ReLU, проявляются только четкие контуры, остальные меняются на 0. Это позволяет системе обнаруживать важные паттерны. Но поскольку каждый из 60 нейронов смотрит на одно и то же место, один из 59 других нейронов можно настроить для обнаружения менее четких контуров.

За слоем ReLU обычно следует слой пулинга, выполняющего операции аналогичные тем, которые делают сложные клетки Хьюбела и Визеля. Карта признаков на выходе слоя ReLU разделена на окна, или, скорее, «тайлы» размером, например, 4 × 4, которые не перекрываются. Если карта признаков имеет размер 1000 × 1000, то на ней будет 250 × 250 тайлов размером 4 × 4. Каждый нейрон в слое пулинга берет одно из этих окон и вычисляет его максимальное значение. Другими словами, в окне имеется 16 чисел, и нейрон выдает на выходе наибольшее из них. Это называется «максимальным пулингом». Для каждого окна на всех картах признаков есть один такой нейрон. Всего на выходе слоя будет 60 × 250 × 250 нейронов.

Рис. 6.6. Сверточная сеть

Сверточная сеть состоит из укладки трех типов слоев: свертки, нелинейной передаточной функции и пулинга в сочетании с подвыборкой. Здесь первый слой состоит из четырех карт признаков, каждая из которых сворачивает входное изображение с набором весов (5 × 5 в данном примере). Результат передается через передаточную функцию. Каждая карта признаков следующего слоя, аналогично сложным клеткам, объединяет ответы небольшого окна нейронов из соответствующей карты признаков в предыдущем слое. Выходы слоя пулинга обладают более низким разрешением по сравнению с их входами. Это делает представление устойчивым в случае небольших смещений характерных паттернов во входном изображении. На следующем слое каждая карта признаков выполняет свертку всех карт признаков предыдущего слоя и добавляет результаты. За ним также следует слой пулинга. Слои укладываются подобным образом до самого выходного слоя.

Для чего все это нужно? Пулинг служит для создания представления, инвариантного относительно небольших смещений паттернов во входном изображении. Максимальный пулинг дает наибольшее значение на входе, которое соответствует самому сильному паттерну в его принимающем поле. Если данный паттерн смещается на пиксель или два, оставаясь в том же окне нейрона пулинга, выход такого нейрона не меняется.

Сверточная сеть состоит из набора слоев сверток, ReLU и пулинга. Типовая архитектура ее такова:

Conv → ReLU → Pool → Conv → ReLU → Pool → Conv → ReLU → Conv

В настоящее время сверточная сеть может иметь около сотни таких слоев. Эталоном можно считать сеть ResNet-50 (младший брат которой, ResNet-34, показан на рис. 6.8). Этот тип сети включает в себя «короткие замыкания» в соединениях между слоями. Она была предложена в 2015 г. Каймингом Хэ, исследователем из лаборатории Microsoft Research в Пекине. В дальнейшем Кайминг перешел на работу в FAIR в Менло-Парке, Калифорния.

Рис. 6.7. Визуализация паттернов, обнаруживаемых единицами сверточной сети на разных слоях

Паттерны первого слоя очень похожи на то, что нейробиологи наблюдают в зрительной коре головного мозга млекопитающих (источник: Zeiler and Fergus, NYU).

Рис. 6.8. Сверточная сеть ResNet-34 Кайминга Хэ

В этой сети 34 слоя (не считая передаточных функций), как и следует из ее названия. Особенностью данной структуры является наличие «чехарды» соединений, называемых остаточными соединениями, которые обходят пары слоев. Старший брат этой сети – ResNet-50 стал стандартом в распознавании изображений (источник: Kaiming He).

Рис. 6.9. Каждый круг представляет собой сверточную сеть определенного типа

По оси X отложено количество операций, необходимых для расчета вывода изображения (в миллиардах), по оси Y – скорость распознавания в ImageNet. Размер круга представляет количество параметров (в миллионах), то есть занятость памяти (источник: Alfredo Canziani, NYU).

В исследовательском сообществе лихорадочно искали сверточную архитектуру сети, которая давала бы наибольшую скорость распознавания в ImageNet, а также являлась бы минимальной из всех возможных и, следовательно, наименее затратной по времени вычислений.

Подведем итоги

Вначале определяется архитектура соединений нейронной сети, то есть организация слоев нейронов и связей между нейронами. Но весов, то есть параметров взвешенных сумм, в ней нет. Они будут установлены путем обучения.

В сверточной сети обратное распространение градиента регулирует веса таким образом, чтобы нейроны в разных слоях определяли, что важно для распознавания входного изображения. Когда мы обучаем сверточную сеть распознавать объекты на естественных изображениях, некоторые нейроны в первом слое учатся обнаруживать контуры, ориентированные определенным образом, что очень похоже на то, что наши коллеги по нейробиологии наблюдают в зрительной коре головного мозга.

К началу 1990-х гг. мы поняли, что можем легко применить сверточную сеть к непрерывному изображению для одновременного обнаружения и распознавания объектов. Идея состояла в том, чтобы применить сеть к скользящему по изображению окну ввода. Этот метод был очень быстрым и эффективным благодаря свойствам сверточных сетей.

Одним из первых применений данной идеи было чтение рукописных слов: символы в слове или почтовом индексе часто касаются друг друга, и их трудно разделить, чтобы распознавать по отдельности. Теперь было достаточно лишь перетащить окно ввода сверточной сети слева направо по всему слову (рис. 6.10).

Рис. 6.10. Применение сверточной сети для обнаружения объекта на большом изображении со скользящим окном

Небольшая сеть (слева) обучена распознавать отдельные объекты. Сеть можно легко применить к большему изображению, последовательно перемещая окно ввода вдоль всего изображения. Но эта операция может быть выполнена более эффективно, если увеличить размер слоев сети так, чтобы они соответствовали размеру входа. Два соседних выходных вектора «видят» два входных окна, сдвинутых на несколько пикселей.

Рис. 6.11. Сверточная сеть применяется к изображению для обнаружения, локализации и распознавания нескольких объектов (рукописные цифры)

Столбцы слева представляют собой активацию модулей на трех слоях сети. Последовательность выхода указывает для каждой позиции входного окна распознанную категорию цифры, которая находится в середине окна. Модуль постобработки извлекает из него последовательность символов с наивысшим баллом. Этот принцип будет широко использоваться в будущем для обнаружения объектов на естественных изображениях.

Для каждой позиции во входном окне сеть создает категорию символа, находящегося в центре. Сверточная сеть легко выполняет эти вычисления для всех возможных входных окон. Достаточно адаптировать размеры слоев к размерам входа и вычислить свертки на всем изображении (рисунки 6.10 и 6.11). Выход представляет собой серию векторов, каждый из которых зависит от того или иного входного окна.

Основываясь на идее скользящего окна, я использовал сверточные сети для обнаружения объектов на изображениях. Вот его принцип. Предположим, мы хотим обнаружить на фотографии лицо. Мы собираем много фотографий, на которых есть лица, и другие фотографии, на которых их нет. Затем вручную рисуем квадрат вокруг каждого лица. Компьютер регистрирует положение квадратов, извлекает миниатюры лиц, обозначенные квадратами, и стандартизирует их размер, скажем, до 32 × 32 пикселей. Он также собирает большое количество квадратов в произвольных положениях и размерах на изображениях, где нет лиц. Теперь у нас есть коллекция миниатюр с лицами и без. С помощью таких миниатюр мы обучаем сверточную сеть для получения +1 для миниатюр с лицами и 0 для остальных.

После обучения применяем сеть к большому изображению, скажем, размером 1024 × 1024, приспосабливая размер слоев к размеру входа. Теперь на выходе получается таблица чисел от 0 до 1, которая указывает на вероятность того, что в окне 32 × 32 в соответствующей позиции на входе есть лицо. Но что если требуется обнаружить лица размером более 32 × 32 пикселей? Для этого достаточно повторно применить ту же сеть к версии изображения, размер которого был уменьшен, например, вдвое, до 512 × 512. Лица размером 64 × 64 пикселя теперь меняют размер на 32 × 32 и могут быть распознаны с помощью той же сети. Затем мы еще раз уменьшаем изображение и снова применяем сеть. Так делается для всей последовательности размеров 256 × 256, 128 × 128, 64 × 64 и, наконец, 32 × 32. В масштабе 32 × 32 можно обнаружить лицо, которое заполняло все исходное изображение.

Описанный метод очень эффективен. В дальнейшем мы станем использовать его для определения местоположения пешеходов и других объектов. Сегодня методы такого типа обнаруживают, распознают и идентифицируют транспортные средства, пешеходов, велосипедистов, дорожные знаки, светофоры и различные препятствия в системах восприятия беспилотных автомобилей.

Рис. 6.12. Результат обнаружения лиц с помощью сверточной сети со скользящим окном при разном масштабировании

Эта система была создана в 2003 г., когда я работал в Исследовательском институте NEC в Принстоне. Она может не только обнаруживать лица, но и оценивать их ориентацию. Данный пример – фотография свадьбы моих бабушки и дедушки по материнской линии в начале 1920-х гг. Моя бабушка выросла в немецком Эльзасе на рубеже веков и приехала в Париж в конце Первой мировой войны, не зная ни слова по-французски (источник: личный архив автора).

Семантическая сегментация включает в себя маркировку каждого пикселя изображения с категорией объекта, к которому он принадлежит. Она отличается от обнаружения объектов, где выход сети активируется, когда его окно просмотра сосредоточено на рассматриваемом объекте. Такая сегментация применяется, когда вы хотите обнаружить не ограниченный объект, а область изображения, скажем, траву, листву деревьев или асфальт на дороге. Например, беспилотный автомобиль должен иметь возможность маркировать все пиксели изображения, относящиеся к проезжей части, чтобы знать, куда он может поехать, не встретившись с препятствием. Аналогичным образом, для системы анализа маммографии важно иметь возможность маркировать все пиксели, где наблюдается опухоль. В этом случае применяется принцип скользящего окна. Вот пример.

Рис. 6.13. Автономный мобильный робот LAGR (вверху слева) воспринимает мир с помощью четырех камер

У робота две пары стереокамер, с помощью которых он фиксирует пару изображений (одно из них внизу слева). Первая система технического зрения использует различия между двумя принятыми изображениями для оценки расстояния каждого пикселя от камеры. Это позволяет роботу узнать, выступает ли конкретный пиксель изображения из земли или нет, и, следовательно, относится ли он к препятствию или проходимому участку (изображение внизу, в центре: проходимые участки – светлые, а препятствие – темные). Такой метод хорошо работает на расстояниях примерно до 10 м (на центральном изображении светлые и темные участки находятся как раз на расстоянии 10 м). Сверточная сеть (вверху справа) обучается маркировать пиксели изображения в зависимости от того, принадлежат ли они к проходимому участку или к препятствию. Впрочем, робот может маркировать сцену из одного изображения и без ограничения расстояния (изображение в правом нижнем углу).

В период с 2005 по 2009 г. я и мои студенты работали над проектом мобильных роботов в сотрудничестве с небольшой компанией Net-Scale Technologies в Нью-Джерси, основанной моим бывшим коллегой из Bell Labs Урсом Мюллером. Проект LAGR (Learning Applied to Ground Vehicles, обучение наземных роботов) финансировался DARPA (Defense Advanced Research Projects Agency, управление перспективных исследовательских проектов Министерства обороны США). Система зрения такого робота позволяла ему передвигаться на реальной местности. Для семантической сегментации использовалась сверточная сеть со скользящим окном[64].

Такая сеть классифицирует каждый пиксель изображения на три возможные категории: проходимый участок, непроходимое препятствие и «ступенька» препятствия (граница между проходимым участком и препятствием). Чтобы выбрать категорию, необходимо взять окно на изображении, создать категорию для центрального пикселя этого окна и использовать информацию в окне в качестве контекста, чтобы помочь в принятии решения. Когда сеть запускается во всех окнах, изображение полностью маркируется. Затем робот может планировать траекторию, позволяющую избежать препятствий[65].

Прелесть этой системы в том, что метки изображений не предоставлялись людьми, а автоматически рассчитывались системой стереозрения. Благодаря двум парам камер у робота было два изображения для каждой сцены, снятых с двух разных точек зрения, что очень похоже на совместную работу пары человеческих глаз. К ним применялся классический метод стереозрения, при котором на основе двух изображений мы можем вычислить несоответствие для каждого пикселя, то есть разницу в положении определенного места сцены на двух изображениях. Чем больше разница, тем ближе данное место к камере.

Рис. 6.14. a) Сверточная архитектура сети для семантической сегментации (вверху). б) Результат на примере улицы (внизу)

Семантическая сегментация включает в себя маркировку каждого пикселя изображения категорией объекта или области, к которой он принадлежит. Категория пикселя зависит от его контекста. Серый пиксель на дороге или в небе узнаваем только по его окружению. Сеть ConvNet имеет три канала, которые просматривают изображение в трех разных масштабах. Каждый из этих каналов извлекает на входе представление окна размером 46 × 46 пикселей. Выход сети – это категория центрального пикселя. В крупном масштабе окно охватывает почти все изображение, предоставляя широкий контекст для классификации центрального пикселя (источник: Farabet et al., 2013, New York University).

Рис. 6.15. RetinaNet: сверточная архитектура сети для обнаружения, локализации и распознавания объектов

RetinaNet – это архитектура ConvNet, которая позволяет одновременно обнаруживать, определять местонахождение, сегментировать и распознавать объекты и области. Она состоит из классической ConvNet, за которой следует «деконволюционная сеть», слои которой имеют все большее разрешение, чтобы в конечном итоге сформировать выходное изображение, разрешение которого совпадает с разрешением входного изображения (источник: Lin et al. al., 2018, FAIR[66]).

Описанный метод позволяет построить трехмерную карту сцены и, следовательно, узнать, что находится на уровне земли (можно пройти), а что выступает из земли (препятствие). Но такой процесс работает только на небольших расстояниях, в пределах 10 м. Кроме того, когда несоответствие слишком мало (менее одного пикселя), то оценка расстояния не работает. Сверточную сеть можно обучить с помощью полученных таким образом меток «проходимый участок» и «препятствие». Сеть использует центральный пиксель, чтобы решить, является ли препятствием объект, изображению которого принадлежит этот пиксель, или не является. Область, окружающая пиксель, позволяет нам определить природу объекта (грунтовая дорога, куст, ствол дерева). После обучения сеть может применяться ко всему изображению и обнаруживать препятствия и проходимые участки уже на любом расстоянии.

Рис. 6.16. Результат предоставлен системой Mask R-CNN и опубликован в 2017 г. компанией Facebook

Приведенная здесь система сегментации и распознавания объектов с использованием сверточной сети может назвать категорию каждого объекта в изображении и создать маску, покрывающую объект. Для этого сеть проходит по всему изображению и для каждого места на изображении создается категория (например, «человек») и изображение маски, покрывающее распознанный объект[67] (источник: He et al., 2017, FAIR).

Такая идея семантической сегментации с использованием сверточной сети со скользящим окном привела в 2009 г. к появлению системы технического зрения, в которой каждый пиксель изображения был помечен как принадлежащий к одной из 33 категорий: дорога, здание, автомобиль[68] и др. На сегодняшний день данный метод широко используется в системах технического зрения беспилотных автомобилей[69].

Такие же методы позволяют сегментировать и биологические (или медицинские) изображения. В 2015 г. Себастьян Сын (Sebastian Seung), в то время работавший в Массачусетском технологическом институте, реконструировал нейронные цепи части сетчатки кролика, трехмерное изображение которой было получено с помощью электронной микроскопии совместно с сверточными сетями[70]. Мои коллеги из Нью-Йоркского университета (NYU) используют их для маркировки МРТ тазобедренного сустава. На сегодняшний день сверточные сети присутствуют в большинстве систем распознавания изображений.

Всего за несколько лет сообщество компьютерных специалистов добилось выдающихся успехов в обнаружении и локализации объектов. Самыми современными из них являются системы FAIR Mask R-CNN и RetinaNet, причем их код доступен для всех[71] (см. рис. 6.15 и 6.16).

Искусственный интеллект с его возможностями анализа, распознавания и автоматической классификации помогает людям решать все виды задач, которые они раньше выполняли сами. Короче говоря, он теперь повсюду!

Но глубокое обучение не полностью подвинуло более традиционные методы решения задач: деревья поиска, поиск кратчайшего пути, логический… Множество процессов, известных с 1960-х гг., сегодня, благодаря технологическому прогрессу, сделались чрезвычайно эффективными.

Кажется, чего уж проще – набрать слово в поисковой системе, чтобы получить в ответ картинку. Тем не менее, это элементарное действие приводит в движение мощную инфраструктуру искусственного интеллекта. Выдавая ответы, лучше всего подходящие для вашего запроса, сверточная сеть должна сначала «просмотреть» миллионы, если не миллиарды изображений, которые она научилась распознавать.

В Google такая система работает постоянно. Она просматривает коллекции фотографий или изображения в Интернете и обрабатывает их с помощью сверточной сети, которая занимается их идентификацией. В Facebook несколько сверточных сетей ежедневно анализируют миллиарды изображений, загружаемых на их сайты. Лодка? Собака? Цветок? Таким образом идентифицируются десятки тысяч пользовательских тегов.

Чтобы подготовиться к этой работе, Google и Facebook собирают миллионы изображений и помечают их вручную (это делают либо сами пользователи, либо специально нанятые люди). Когда Google спрашивает: «На каком изображении видна машина?», вы тоже вносите свой вклад в эту маркировку. С помощью этих данных инженеры обучают сверточные сети, чтобы они, в свою очередь, могли помечать миллиарды изображений, которые не были помечены вручную.

Таким образом, Google и Facebook создают списки тегов, хранящиеся на серверах их центров обработки данных. При вводе в поисковик «Эйфелева башня» список изображений с надписью «Эйфелева башня» уже существует. И так для миллионов слов или предложений.

Таким же образом компания Facebook классифицирует фотографии свадеб, дней рождения, интерьеров, самолетов, кошек, сумок (по маркам) или автомобилей (по моделям). В сети даже есть категория «неизвестных зданий и памятников».

Метаданные упрощают визуализацию фотографии. Турист, который гуляет рядом с Эйфелевой башней, как показывает его мобильный телефон, скорее сфотографирует «железную даму», чем Статую Свободы.

Визуальное распознавание также используется для фильтрации и устранения жуткого, насильственного, извращенческого и порнографического визуального контента. Такая задача выполняется сверточными сетями, которые нужно обучить с помощью тысяч жутких изображений, помеченных заранее. Очень неприятная работа для операторов[72].

И тяжелая, к тому же. Мерзавцы всех мастей знают, что запрещенный текст будет подвергаться цензуре, и у них есть стратегии, чтобы все-таки добиться своей цели. Они помещают текст внутрь изображения, зная, что сверточная сеть не обучена распознавать такое. Необходимо использовать более сложные методы для обнаружения подобного текста: после обнаружения символов на изображении другая сверточная сеть транскрибирует их в текст с помощью технологии OCR (оптического распознавания символов (англ. Optical Character Recognition).

Распознавание изображений преследует и более мирные цели: идентификация растений, насекомых, птиц, этикеток бутылок вина и т. д. Оно позволяет дать название месту или зданию, анализировать видео, чтобы классифицировать действия, которые там происходят, что очень полезно для того, чтобы знать, кому показывать данное видео, а кому нет. Можно даже описать контент для слепого: текст читается вслух смартфоном.

Многие приложения требуют измерения сходства двух объектов, будь то изображения, видео или текст.

Если есть два изображения, бывает полезно узнать, похоже ли их содержание или нет вне связи с их идентификацией. Возможность сравнения необходима для поиска информации, фильтрации контента и распознавания изображений конкретных объектов (памятника, лица, обложки книги, музыкального произведения и т. д.).

Вот одно из его применений: после того, как обнаружено видео, например, с террористической пропагандой, необходимо найти и удалить его копии, которые активисты или сторонники терроризма торопятся разослать по социальным сетям. Для этого мы должны быстро выявлять сходство таких роликов. Поговорим об этом подробнее[73].

Проще говоря, если кто-то сфотографирует этикетку бутылки вина, система выполнит поиск такой же этикетки и получит доступ к информации об этом вине. Или она подтверждает, что на двух фотографиях изображен один и тот же человек. Или сравнивает знаменитый холст, известное здание со списком картин или памятников. То же самое и с текстами, например, содержит ли данная статья в Википедии ответ на конкретный вопрос? Рассказывают ли две статьи об одном и том же?

Для таких сравнений мы используем технологии, называемые «эмбеддингом» и «метрическим обучением». Эмбеддинг состоит в описании изображения, видео или текста вектором, который рассчитывается нейронной сетью. Сеть должна быть обучена таким образом, чтобы два вектора, описывающие одинаковый контент, находились близко друг к другу, а два вектора, представляющие разный контент, находились далеко друг от друга. Я использовал данный метод, получивший название «сиамская сеть», еще в 1990-х гг. для проверки подлинности подписи[74], а в 2000-х гг. – для аутентификации пользователя по лицу[75]. Система состоит из двух копий одной и той же нейронной сети. Сеть принимает изображение на входе и производит 1000-мерный вектор на выходе. Это 1000-мерное пространство выходных векторов и есть пространство эмбеддинга. Затем мы показываем два разных портрета одного и того же человека двум экземплярам сети. Если мы хотим, чтобы выходные векторы были близкими, мы будем использовать выход первой сети как желаемый выход второй сети, и наоборот, а функция стоимости будет расстоянием между выходами двух сетей. Обучение методом обратного распространения меняет веса так, что два вектора становятся ближе друг к другу. И наоборот, когда мы предъявляем сети портреты двух разных людей, мы хотим, чтобы выходные векторы находились далеко друг от друга. Мы определяем функцию стоимости, которая уменьшается по мере увеличения расстояния между векторами, оптимизируем ее градиентным спуском и – вуаля.

Теперь у нас есть сеть, которая производит 1000-мерные векторы для фотографии лица. Две фотографии одного и того же человека обеспечат близкие векторы, а две фотографии разных людей обеспечат удаленные векторы. Таким образом, мы можем проверить личность человека, сравнив вектор его портрета с набором ранее сохраненных векторов портретов того же человека. Системы распознавания лиц Facebook используют те же методы[76].

Я состою соучредителем и научным консультантом в компании Element, стартапа из Нью-Йорка. Она предлагает систему аутентификации на основе простой фотографии ладони, сделанной с помощью смартфона. Линии руки уникальны для каждого человека, как и подошва стопы. С ними, в отличие от распознавания лиц, вы не можете идентифицировать человека без его ведома. Такое приложение очень полезно в развивающихся странах для доступа к услугам здравоохранения или использования банковского счета. Компания участвует в программе одного благотворительного фонда, который организует вакцинацию и медицинское наблюдение за новорожденными в Бангладеш и других странах. С помощью этой технологии мы фотографируем подошвы ног новорожденных (у них зачастую сжаты кулачки), что позволяет их идентифицировать, избежать повторной вакцинации и сохранить историю их лечения.

Эмбеддинг относится также к поиску информации. Сеть обучена создавать вектор эмбеддинга для запроса и вектор эмбеддинга для контента и определять, расположены ли рядом вектор запроса и вектор искомого контента.

Еще пример. Организация Wildbook (ее название пародирует Facebook), состоящая из ученых и волонтеров, предоставляет услуги по идентификации морских млекопитающих и других живых существ. Просто по фотографии кита или косатки, китовой акулы или зебры, леопарда, система, основанная на сверточной сети и метрическом обучении, распознает животное, опираясь на текстуру и окраску его шерсти, линию плавника или хвоста. Система обучается с помощью образцов, помеченных вручную. Таким образом, Wildbook учитывает животных, которым угрожает опасность, может определить их местонахождение и проследить за их перемещениями[77].

Прежде всего, звуковой сигнал, как и любой другой входящий сигнал, должен быть превращен в последовательность чисел, называемых образцами, каждый из которых показывает давление воздуха на микрофон в данный момент времени. Обычно для речевого сигнала требуется 10 000 таких образцов в секунду. Большинство систем распознавания речи сначала обрабатывают эту последовательность, как это делает внутреннее ухо человека. Преобразование создает представление сигнала (подобное представлению изображения), которое передается в нейронной сети.

Рассмотрим в этом звуковом сигнале окно из 256 образцов, которое представляет 25,6 миллисекунды сигнала, то есть малую долю секунды. В этом окне программа предварительной обработки вычисляет интенсивность звука примерно в 40 полосах частот по всему диапазону человеческого восприятия. Затем окно перемещается на 10 миллисекунд во времени (возникает наложение между двумя последовательными окнами), и программа повторяет тот же расчет, преобразовывая новое окно в 40 чисел.

Итак, речевой сигнал представлен спектрограммой, то есть последовательностью векторов размерностью 40 через каждые 10 миллисекунд, или 100 векторов в секунду. Сверточная сеть берет окно из 40 векторов (поэтому ее входное «изображение» имеет размер 40 × 40 «пикселей»), представляющее 0,4 секунды речи, и классифицирует элементарный звук, присутствующий в середине окна.

Каждый человеческий язык можно рассматривать как последовательность фонем. Во французском языке есть звуки «а», «оу», «ой», «он», «та», «ти» и т. д. Каждая фонема состоит из нескольких элементарных звуков, называемых фонами. Фонема «ой» на самом деле состоит из трех фонов: «о» в начале, «а» в конце и промежуточного краткого звука между ними. Из-за большого числа комбинаций язык может содержать до 3000 таких элементарных звуков. Например, звук «п» в середине слова «apparaître» не совсем такой же, как в середине слова «opposé»: каждый звук зависит от своего фонетического окружения.

Сверточная сеть, называемая в данном случае «акустической моделью», классифицирует звук, присутствующий на записи, в одну из этих 3000 категорий. Она выводит список из 3000 оценок, указывающих на вероятность того, что наблюдаемый звук относится к одной из 3000 категорий фонов. Следовательно, выход сети представляет собой вектор с 3000 компонентов каждые 10 миллисекунд.

Исходя из этого, каждую фразу можно представить, как изображение, размер которого зависит от длины фразы, а частотная характеристика каждого момента звучания в таком случае может быть представлена, как аналог яркости. На выходе сети получается последовательность векторов переменной длины с 3000 компонентов.

Рис. 7.1. Несколько примеров «изображений» речи

Каждый квадрат представляет собой изображение размером 40 × 40 пикселей, представляющее 0,4 секунды речи. Каждый пиксель представляет интенсивность речевого сигнала продолжительностью 10 миллисекунд в одной из 40 полос частот (источник: NYU/IBM)[78].

Мы еще не закончили! Необходимо извлечь из этой последовательности ряд слов. Для этого мы используем словесные и языковые модели. Для каждого слова языка модель указывает все образующие его элементарные звуковые последовательности. Ее обучают на разговорных фразах. Языковая модель указывает, какие последовательности слов возможны (или более вероятны) в рассматриваемом языке. Чтобы преобразовать последовательность элементарных оценок звука в последовательность слов, используется декодер, который будет искать среди последовательностей слов с наивысшей оценкой ту, которая соответствует последовательности слов, наиболее вероятной с точки зрения языковой модели. Некоторые современные системы используют нейронные сети (сверточные или рекуррентные) для достижения всех этих моделей.

Таким образом, сверточные сети присутствуют почти во всех приложениях, где используется речь. Например, виртуальные помощники, такие как Алекса, преобразуют запросы в текст для дальнейшего их анализа системой.

Этот метод похож на управление набором номеров на мобильном телефоне или автоматическим добавлением субтитров к видео: все это – приложения, использующие распознавание речи. Существует также прямой перевод речи в речь, бесценный для жителя Мадрида, желающего общаться с таксистом из Пекина. Мобильный телефон – посредник в этом диалоге. Клиент говорит по-испански, а его телефон переводит вслух на китайский. Водитель отвечает на китайском, и машина переводит на испанский по громкой связи или в наушниках клиента.

Рис. 7.2. Пример сверточной сети для распознавания речи

Сеть принимает «изображение», представляющее 0,4 секунды речи, и создает вектор оценок для каждого из возможных звуков языка (источник: NYU/IBM)[79],[80].

В последние годы для синтеза звука и речи используется особый тип сверточной сети. Эти сети иногда называют «деконволютивными», потому что они выглядят как сверточная сеть, вход и выход которой поменялись местами. Входом в эту сеть является последовательность слов или фонем, а на выходе – синтетический речевой сигнал с интонацией, просодией и т. д. Архитектура этих сетей очень похожа на архитектуру распознавания речи, в которой все векторы перевернуты: деконволютивная сеть создает спектрограмму, аналогичную той, которая используется для распознавания. Но, чтобы «инвертировать» спектрограмму и произвести речевой сигнал, используется отдельно управляемая деконволютивная сеть.

В некоторых системах вход имеет вектор эмбеддинга говорящего. Чтобы вычислить вектор эмбеддинга голоса с помощью обученной сверточной сети, требуется всего несколько секунд речи человека. Этот вектор подается на вход синтезатора голоса, который затем может читать любой текст голосом человека. Это называется «клонированием» голоса.

Современные синтезаторы речи настолько точны, что иногда их трудно отличить от говорящего человека. Впрочем, хотя важно уметь говорить, но все-так нужно еще и знать, что сказать, а здесь машины еще очень далеки от того, чтобы вести осмысленный разговор.

Недостаточно просто расшифровать звуки. Виртуальный помощник должен правильно классифицировать сам запрос, то есть определить его содержание и смысл. Система записывает: «Какая будет погода завтра?» Или: «Завтра пойдет дождь?», или: «Завтра будет жарко?», при этом виртуальный помощник должен «понимать», что все эти фразы означают «дать прогноз погоды на завтра». Для Алексы, например, инженеры Amazon определили около 80 различных намерений: позвонить кому-нибудь, воспроизвести музыку, дать информацию о пробках на дороге, выбрать радиостанцию. Как только намерение будет распознано, сервер Amazon сможет выполнить запрошенную задачу[81].

Определение намерения необходимо и при поиске информации. Этим занимается все больше и больше нейронных сетей, называемых «трансформерами». Когда вы вводите в строку браузера «население Армении», Google выполняет поиск следующим образом. Запрос обрабатывается нейронной сетью, которая представляет его значение в виде списка чисел, другими словами, вектора. На другом конце спектра векторы контента были взяты из миллиардов страниц в Интернете. Сеть сравнивает первый вектор со вторым. Если они схожи, контент, соответствующий этим векторам, возвращается сетью и отображается поисковой системой.

То же самое и с сообщениями. О чем этот пост на Facebook? Политика? Относится ли его контент к «левому» или «правому» политическому крылу? Может ли быть этот комментарий неонацистским или расистским? Что это – комплимент или сарказм?

Метод, используемый для представления текста для целевой классификации, долгое время был следующим: мы строили большой вектор, количество компонентов которого было равно размеру словаря. Каждый компонент указывал, сколько раз конкретное слово появилось в тексте, так что у нас появлялся некоторый набор слов. Это все очень просто, только слова не по порядку. Затем мы сравнивали эти векторы, чтобы выяснить, говорят ли два текста об одном и том же предмете, если их наборы слов были похожи. Входной вектор также может быть классифицирован нейронной сетью. Система работала, но не очень хорошо: в этом процессе было трудно определить, сообщают ли два текста об одном и том же лишь потому, что в обоих случаях используется один и тот же набор слов.

Рис. 7.3. Модель языка, предложенная Йошуа Бенджо и его командой в 2003 г.

Языковая модель воспринимает последовательность входных слов и создает выходной вектор оценок, который для каждого слова в лексиконе дает вероятность того, что это слово будет следовать за входной последовательностью. Языковые модели используются для создания текста, а также для повышения точности систем распознавания речи и систем перевода. Представленная здесь языковая модель – одна из первых, в которой для этих целей использовалась нейронная сеть. Первый уровень этой сети преобразует каждое слово, представленное его индексом в лексиконе, в вектор эмбеддинга через линейный слой определенного типа, называемого таблицей поиска (LUT). После обучения миллионами текстов эти векторы представляют всю полезную информацию о входных словах. Похожие внешне слова, такие как «chien» и «chat», будут представлены близкими векторами. С момента появления глубокого обучения все лучшие языковые модели используют глубокие нейронные сети.

Более современные методы используют эмбеддинг векторных последовательностей текстовых представлений. Каждое слово в словаре связано с вектором размерностью от 100 до 1000. Эти векторы запоминаются так, что одинаковые слова представлены ближайшими векторами (евклидова метрика).

Идея изучения векторов эмбеддинга слов возникла в начале 2000-х годов, когда Йошуа Бенжио опубликовал поразительную статью, намного опередившую свое время. Он предложил архитектуру нейронной сети для языковой модели[82]. На основе сегмента текста система обучается предсказывать следующее слово. Как представлены слова на входе нейронной сети? У нас есть список всех слов в лексиконе, отсортированный в лексикографическом порядке. В этом списке каждое слово обозначено номером. Последовательность слов легко трансформируется в последовательность чисел, заменяя каждое слово его номером в списке. Затем у нас есть список векторов – LUT (таблица поиска, англ. Lookup Table), который для каждого индекса слова предоставляет вектор эмбеддинга.

Векторы LUT обучаются, как веса слоя линейных нейронов. Сеть имеет несколько скрытых слоев, за которыми следует выходной слой, который создает большой вектор, дающий вероятность того, что данное слово в лексиконе появится после определенной последовательности слов, представленных как входы. Преобразование взвешенных сумм на выходе последнего линейного модуля в вероятностное распределение осуществляется модулем softmax (реализация логистической функции, обобщенной для многомерных случаев). Этот модуль вычисляет экспоненту каждого из своих входов и делит их на их сумму. Таким образом, мы получаем ряд чисел от 0 до 1, сумма которых составляет 1: это и есть распределение вероятностей. Модуль softmax используется практически во всех классификационных приложениях.

После обучения векторы LUT используются для представления слов. Они содержат всю информацию, позволяющую системе предсказать следующее слово, как согласно его значению, так и с точки зрения его синтаксической роли. Система обучена множеству фраз, даже таких как «молоко на столе», но в нем никогда не будет словосочетаний типа «машина на столе». Во фразах «он видел собаку в саду» и «кошка в саду» слова «собака» и «кошка» встречаются в аналогичных контекстах. Система самопроизвольно назначает одинаковые векторы эмбеддинга «кошке» и «собаке», но разные векторы «молоку» и «машине». Точно так же она поступает с названиями мест, месяцев и т. д. В более общем смысле, когда слова играют аналогичную роль в предложении, их векторы эмбеддинга похожи.

В период с 2008 по 2011 г. бретонец Ронан Коллобер и британец Джейсон Уэстон, работавшие в лаборатории японской компании NEC в Принстоне, заметно усовершенствовали идею встраивания. Они доказали, что со сверточной сетевой архитектурой система может не только предсказывать следующее слово, но также выполнять задачи понимания и анализа текста. Их работа встретила ожесточенное сопротивление со стороны сообщества исследователей, занимавшихся обработкой естественного языка. Статья Коллобера и Уэстона даже стала предметом насмешек. Это несправедливо, потому что они указали правильный путь. В 2018 г. они получили награду ICML Test of Time, которая присуждается за самую выдающуюся статью, опубликованную десятью годами ранее на Международной конференции по машинному обучению (ICML)[83]. Джейсон и Ронан теперь работают исследователями в Facebook.

В 2013 г. Томаш Миколов, молодой чешский исследователь, работающий в Google, еще раз поднял идею обучения языковой модели. Он предложил очень простую архитектуру, которую он назвал Word2vec и которая оказалась настолько эффективна при представлении текстов, содержащих слова, что распространяется со скоростью лесного пожара[84]. Все используют ее для представления текста, чтобы понять его значение или стиль. Вскоре после этого Томаш также перешел в Facebook. После своего появления там он сотрудничал с французскими исследователями Петром Бояновски, Эдуардом Гравом и Арманом Жуленом в проекте FastText, который значительно улучшил производительность Word2vec[85], расширил область его приложения и добился охвата 157 языков. Система FastText, распространяемая с открытым исходным кодом, используется тысячами инженеров по всему миру[86].

Мир искусственного интеллекта взбудоражился. В конце 2014 г. Илья Суцкевер (бывший ученик Джеффа Хинтона) опубликовал на съезде NIPS статью, которая произвела эффект разорвавшейся бомбы[87]. Он построил большую нейронную сеть для перевода с одного языка на другой, возможности которой заметно превзошли методы, использовавшиеся до того.

В «классических» методах перевода использовалась статистика, рассчитанная на параллельных текстах. Сколько раз фраза «увидимся позже» переводится с французского как «à plus tard»? Сколько раз слово «banque» переводится как «банк»? Выявляя эту статистику и переупорядочивая слова на целевом языке с учетом синтаксиса, мы получаем приблизительные переводы. Но эти классические системы плохо работают для неродственных языков (например, французского и китайского) или для языков, в которых порядок слов сильно несхож (как в английским и немецким: в последнем глагол часто находится в самом конце предложения).

В 1997 г. немецкими исследователями из Швейцарии Зеппом Хохрайтером и Юргеном Шмидхубером[88] была предложена архитектура рекуррентной сети, называемая LSTM (Long Short-Term Memory, долгая краткосрочная память). Они предложили использовать многослойную LSTM для кодирования значения предложения в вектор, а затем использовать другую сеть LSTM для пословного перевода на целевой язык. Этот тип задачи назывется «seq2seq»: преобразование последовательности символов в другую последовательность символов (совокупность подходов в машинном обучении для обработки естественных языков). Такая система хорошо работает только с относительно короткими предложениями: когда LSTM достигают конца предложения, они «забывают» его начало! Кроме того, эта система требует больших вычислительных ресурсов и не может быть развернута в больших масштабах.

Однако в следующем (2015) г. у Кенхена Чо, молодого корейского исследователя с докторской степенью из лаборатории Йошуа Бенджио в Монреале, и Дмитрия Богданау, молодого стажера из Германии, возникла блестящая идея. Вместо того чтобы кодировать все предложение в вектор фиксированного размера, почему бы не позволить сети сосредоточить свое «внимание» на той части предложения исходного языка, которую она переводит? Например, системе необходимо перевести английский текст: «В этом доме две ванные комнаты. У жены есть своя, а у мужа – своя». (англ., согласно автору: «In this house, there are two bathrooms. The wife has her own and the husband his own.»; франц. «Dans cette maison, il y a deux salles de bains. La femme a la sienne et le mari la sienne.») В английском языке местоимение связано с субъектом, а во французском с объектом. Чтобы закончить предложение («а муж…»), система должна решить, переводить ли «его собственная» на «его» или «свою». Но чтобы определить правильную форму, он должен обратиться к объекту «ванная комната», который стоит в предыдущем предложении.

Первые результаты были многообещающими: система оказалась эффективнее и намного дешевле в требованиях к процессору и памяти, чем у Суцкевера[89]. Несколько месяцев спустя лаборатория Криса Мэннинга в Стэнфордском университете приняла участие в международном конкурсе машинного перевода WMT[90], используя идеи группы из Монреаля – и победила! Началась новая золотая лихорадка: идею подхватили все группы, работающие над переводом, включая группу Майкла Аули, немецкого исследователя из FAIR в Калифорнии, создавшего отличную систему перевода, архитектура которой была основана на сверточных сетях, дополненных механизмом внимания (техника, используемая для поисков взаимосвязи между частями входных и выходных данных). Его система выиграла соревнование WMT 2019[91].

Архитектура BERT (в середине) учится представлять тексты, предвосхищая слова входного предложения, которые ранее были скрыты от сети. Многоязычная версия внизу учится одновременно представлять предложение и его перевод и развивает внутреннее представление независимо от языка (источник: «Guillaume Lample et Alexis Conneau)[92].

В конце 2017 г. уже группа ученых из Google использует для своей системы перевода масштабные «схемы внимания». Их статья называется «Внимание – это все, что вам нужно». Они окрестили свою архитектуру «Трансформером». Спустя несколько месяцев сообщество потрясло еще одно изобретение, родившееся в лаборатории Google. Свою новую переводческую систему они назвали BERT (Bidirectional Encoder Representations from Transformers, «двунаправленный кодировщик на основе искусственного интеллекта»).

Рис. 7.4. Архитектура «seq2seq» (перевод последовательности в последовательность), используемая в автоматическом переводе, BERT/трансформере и многоязычном BERT

Модуль кодирования разрабатывает представление значения предложения. На входе в кодер каждое слово представляется вектором. Вектор, ассоциированный с каждым словом, «выучивается» машиной. Кодирование объединяет эти векторы в так называемую «трансформаторную» сеть со сложной архитектурой, которая представляет значение как последовательность векторов. Декодер выдает слова перевода одно за другим. Чтобы сгенерировать каждое из этих слов, он принимает в качестве входных данных ранее переведенные слова, а также вывод модуля внимания, который позволяет ему сосредоточиться на части входного предложения, соответствующей слову, которое он в данный момент возвращает (источник: Michael Auli).

Этим акронимом они продолжают традицию сокращений, начатую исследователями из Института искусственного интеллекта Аллена в Сиэтле, которые назвали свою систему ELMo (Embeddings from Language Models, т. е. векторное представление слов из языковой модели). Исследователи искусственного интеллекта веселятся: ведь Элмо и Берт – персонажи детской телепрограммы «Улица Сезам».

Идея ELMo, BERT и некоторых других, таких как Bengio, Word2vec и FastText, заключается в использовании самостоятельного обучения. Вернемся к общей идее самостоятельного обучения. В данном случае оно включает в себя отображение последовательности слов, взятых из входящего текста большой сетью «преобразователей», маскирование 10–20 % слов и обучение системы предсказанию пропущенных слов. Для этого система должна узнать значение слов и структуру предложений. Внутреннее представление слов и фраз, выученных сетью этого типа (обученной на миллиардах предложений) превосходно, то есть достаточно хорошо, чтобы сформировать входные данные для системы перевода или понимания. Статья о BERT была размещена на сайте arXiv в октябре 2018 г.[93] перед подачей материалов на конгресс ICLR. В течение нескольких недель команды из Facebook, Hugging Face (французский стартап чат-ботов) и других компаний воспроизводят результаты и публикуют свои коды. В реальности, статья не была представлена в ICLR до мая 2019 г., но за это время она уже получила более 600 цитирований! Этот пример иллюстрирует скорость создания и распространения идей.

В июле 2019 г. команда Facebook пропустила через свою модель, вдохновленную BERT и названную RoBERTa (Robustly Optimized BERT Pretraining Approach, «надежно оптимизированный BERT», традиция игры слов продолжается), огромную базу данных и возглавила рейтинг GLUE (General Language Understanding Evaluation, общая оценка понимания языка) – конкурс, включающий в себя целую серию заданий на понимание языка)[94].

Конкуренция все росла. Менее чем за год исходный BERT поднялся на 12-е место. В тройку лидеров (по состоянию на июль 2019 г.) входят RoBERTa (Facebook), XLNet (Google) и MT-DNN (Microsoft). На четвертом месте мы обнаруживаем… человека.

Впрочем, все это очень относительно. Например, одна из задач GLUE – разрешение так называемой «схемы Винограда[95]». Так обозначаются предложения, в которых ссылка на местоимение неоднозначна, например: «скульптура не помещается в коробку, потому что она слишком большая» или «скульптура не помещается в коробку, потому что она слишком маленькая».

В первом случае местоимение «она» относится к скульптуре, а во втором – к коробке. Но вы должны иметь некоторые знания о том, как устроен мир, чтобы иметь возможность связать местоимение с правильным словом. Исследователи ИИ часто используют этот пример, чтобы показать, что машинам нужно больше здравого смысла. До недавнего времени лучшие системы ИИ не превышали 60 % правильных совпадений. Лучшие системы сегодня приближаются к 90 %. Все еще далеко от 95 % производительности человека.

Идея обучения завершению предложений набирает обороты. В начале 2019 г. два молодых исследователя из FAIR (Facebook Artificial Intelligence Research, лаборатория исследования AI компании Facebook) в Париже предложили для перевода модифицированную версию BERT и назвали ее XLM (Cross-Lingual Language Model, т. е. межъязыковая модель языка). Их идея состоит в том, чтобы представить системе два предложения, одно на французском, другое на английском, и научить систему предсказывать пропущенные слова. Но при этом она может использовать слова английского предложения (например, слово «blue», т. е. «синий» или «голубой»), чтобы сделать вывод о наличии замаскированного слова «bleu» с тем же значением во французском предложении. При этом система находит общее представление независимо от языка. После обучения такие системы могут улучшить работу переводчиков[96].

Экономика любит управление ресурсами, прогнозирование спроса на тот или иной продукт, предсказание изменений цены акции или финансовой стоимости. Даже если (особенно в последнем случае) данные очень трудно интерпретировать. Если бы было иначе, каждый мог бы узнать заранее цены на фондовом рынке и разбогатеть в один миг. Финансовые новости были бы намного менее забавными.

Прогнозирование потребления энергии позволяет EDF (Électricité de France S. A., французская государственная энергетическая компания, крупнейший в мире оператор атомных электростанций) или любой коммунальной компании лучше управлять производительностью электростанции и эффективно распределять ресурсы с минимумом потерь. Как это делается?

Распределяющие компании постоянно измеряют потребление электроэнергии в районе или в городе. Эти измерения образуют серию чисел, которые зависят от местоположения. Ночью в жилом районе в течение недели потребление электроэнергии низкое. Оно увеличивается между 7 и 9 часами утра, когда жители просыпаются, затем снижается, когда они идут на работу или в школу, и находится на том же уровне в течение дня, поскольку некоторые люди остаются дома. Оно затем увеличивается вечером и остается на одном уровне примерно с 22 часов вечера до полуночи, когда люди ложатся спать. Потом оно, естественно, снижается. Кривая распределения будет немного иной по выходным и еще зависит от погоды. В промышленной зоне этот график практически перевернут. Потребление высокое днем, а ночью и по выходным остается на очень низком уровне, так как люди в это время не работают.

Таким образом, электроэнергетическая компания оперирует временными рядами: жилой 1, жилой 2 и т. д. и другими показателями, такими как наружная температура, уровень солнечного освещения, время суток, индикатор дня (1 для буднего дня, 0 для выходных или праздничных дней). Каждый час характеризуется списком подобных индикаторов. Этот список представляет собой одномерную таблицу чисел, очень похожую на изображение. Сверточная сеть обучается на основе прошлых данных, собранных за долгие годы.

Линейная регрессия – это классический метод, который не использует сверточную сеть для считывания «изображения» потребления. Выход – это простая взвешенная сумма входов. Такой же метод используется и в финансовом прогнозировании. Модель «авторегрессии» опирается на предыдущие показатели и предсказывает их будущие значения. Для этих моделей вам просто нужно рассчитать правильные коэффициенты. Но такой метод уже неактуален, если вход в систему сложный, то есть когда несколько факторов работают одновременно (например, в случае энергопотребления).

Еще одна сфера, в которой прогнозирование стало очень важным, – это реклама. Для компаний, размещающих контент в Интернете, принципиален так называемый коэффициент кликабельности (CTR) (click-through rate, соотношение числа кликов на баннер к числу показов баннера, важный показатель для интернет-маркетинга): Google, Facebook или, скажем, такая компания как Criteo, хотят знать, на какую рекламу люди будут «нажимать», потому что от этого зависит их доход. Чтобы эти компании были успешными, им необходимо свести к минимуму количество предоставляемых рекламных объявлений при максимальном доходе. Следовательно, есть задача предоставлять пользователям только ту рекламу, которая сможет их заинтересовать. Иначе пользователям будет скучно, а скука имеет отпугивающий эффект[97].

Примерами обучения являются значения в определенный час в определенный день, а желаемый выход – это, например, наблюдаемое потребление в течение следующего часа. Вместо того, чтобы обучать сеть распознавать объект на изображении, мы обучаем ее предсказывать, каковы показатели потребления в каждом районе.

В сверточной сети устройства вычисляют взвешенные суммы, пропущенные через нелинейные функции. Укладка слоев позволяет нам вычислять более сложные отношения входа-выхода, чем при линейном прогнозировании.

Чтобы предвидеть вероятность «клика» на конкретную рекламу, используется нейронная сеть с большим количеством входов, которые мы обучаем для прогнозирования интереса людей к тому или иному контенту. В качестве входов вектор представляет этот контент и предпочтения человека, которые получаются из анализа взаимодействия пользователя с другим контентом в прошлом. Данная модель основана на миллиардах ежедневных кликов на страницах Facebook или Google.

Нейронная сеть предсказывает, нажмет ли человек на данную рекламу, предлагая оценку. Затем, если человек действительно нажимает на нее, нейронная сеть поднимает оценку. В противном случае оценка смещается вниз. При выборе объявления, которое будет отправлено ей в следующий раз, данная корректировка будет учтена. Поэтому сеть постоянно обучается.

Рис. 7.5. Прогнозирование энергопотребления в городе

Сверточная сеть «наблюдает» состояние входа в течение дня или более, а потом ей предлагают предсказать, каково будет потребление через час, через день, через неделю или через месяц.

Facebook делает все то же самое для размещения рекламы в ленте новостей. Google использует его также для определения порядка отображения результатов поиска. Если вы наберете «птичий грипп» в Google, поисковая система зафиксирует, что люди никогда не кликают на первые четыре результата, а вот на пятый кликают. Поэтому Google поднимает этот результат в списке. Эти методы сегодня используются всеми рекламодателями.

Глубокое обучение получило широчайшее применение в различных науках: в астрофизике (классификация галактик и открытие экзопланет), в физике элементарных частиц (анализ струй частиц, вызванных столкновениями ускорителя частиц CERN в Женеве), в материаловедении (создание метаматериалов с новыми свойствами), в социальных науках (масштабный анализ социальных взаимодействий), в нейробиологии (понимание механизмов восприятия в головном мозге) и так далее. Наиболее многочисленные применения относятся к биомедицине, например, для предсказания пространственной структуры («фолдинга») белков. Белки, состоящие из множества аминокислот, образуют основу клеток всех организмов. Они синтезируются на основе структуры генов (последовательность нуклеотидов в ДНК).

После формирования белки складываются в определенную конфигурацию, чтобы взаимодействовать с другими белками и выполнять различные функции, которые определяются их пространственной формой.

Необходимо иметь возможность предсказать биохимические механизмы, которые обеспечивают правильную конфигурацию белков, чтобы найти новые лекарства или методы лечения, которые бы предотвратили сцепление двух белков или, наоборот, способствовали бы их сцеплению[98]. Нейронные сети – это основа наиболее эффективных методов в данной области (например, система AlphaFold от DeepMind[99]).

Напомню, чтобы у вас не разыгралось бурное воображение: хотя в 2019 г. системы помощи водителю уже широко используются в автомобилях, полностью автономные модели все еще остаются экспериментальными. В большинстве случаев автономное движение автомобиля должно контролироваться человеком, готовым перехватить управление.

Почти «теологические» дебаты разделили сообщество ИИ на две партии. Сторонники «хотя бы какого-то обучения» верят в сквозную систему глубокого обучения: чтобы обучить систему, необходимо подключить ее вход к камере автомобиля, а выход – к педалям и рулевому колесу, а затем позволить системе наблюдать за водителями-людьми в течение нескольких тысяч часов.

Со своей стороны, я полагаю, что автономные системы вождения пройдут три фазы:

1. Большая часть системы будет программироваться вручную, а глубокое обучение будет использоваться только для восприятия информации, скажем, о дорожной обстановке;

2. Больше внимания будет уделяться обучению;

3. У машины появится достаточно здравого смысла, чтобы управлять автомобилем безопаснее человека.

Одной из первых систем помощи водителю на рынке была система израильской компании MobilEye, впоследствии приобретенная Intel. В 2015 г. MobilEye предоставила компании Илона Маска, производящей электромобили Tesla, систему технического зрения для почти автономного вождения по трассе на основе сверточной сети. Им была оснащена модель Tesla S.

Минутка «юмора»! В июне 2013 г. меня пригласили выступить с докладом о моем исследовании на конгрессе COLT (англ. Computational Learning Theory, крупнейшая в мире конференция по теории компьютерного обучения) в Принстоне. В аудитории Шай Шалев-Шварц, профессор Еврейского университета в Иерусалиме, специализирующийся на теории обучения, проявил большой интерес к практическому применению сверточных сетей. Он собирался поработать в течение года в MobilEye. Поступив в компанию тем же летом, он продвигал в массы преимущества сверточных сетей. И тут началось! Инженеры MobilEye сразу же приняли его предложение относительно своей бортовой системы. Менее чем через 18 месяцев новая сверточная сетевая система была предоставлена компании Tesla, которая интегрировала ее в свою модель 2015 г. Год спустя Tesla решает разработать свою собственную систему вождения, и две компании расходятся. Вот и делай людям добро, как говорится!

Чтобы повысить надежность автономных систем вождения, некоторые компаний «мухлюют», чтобы упростить проблемы восприятия и принятия решений. Это – сторонники «смешанного» подхода, которые используют очень подробную дорожную карту, в которой перечислены все знаки, наземные разметки и другие заранее записанные сведения. В сочетании с GPS и очень точной системой оценки местоположения автомобиля бортовая система распознает только автомобили и движущиеся объекты, а также непредвиденные препятствия, например, дорожные работы. Помимо камер, большинство беспилотных автомобилей используют радары для обнаружения ближайших транспортных средств и «лидары», о которых мы поговорим чуть позже.

Подобные системы используют сверточные сети для восприятия: обнаружение проходимых участков, обнаружение полос движения, других автомобилей, пешеходов, велосипедистов, дорожных работ и различных препятствий. Их обучали, показывая им тысячи велосипедов, пешеходов, транспортных средств, дорожную разметку, дорожные знаки, тротуары, светофоры в различных условиях. Они научились идентифицировать их, даже когда они частично скрыты другими объектами.

С 2014 г. Waymo, дочерняя компания Alphabet (материнская компания Google), проводит испытания автомобилей без водителя в районе Сан-Франциско. Люди на борту – сотрудники Google. В 2018 г. в Аризоне запустили беспилотные такси. Место подходящее: широкие дороги, мало транспорта, хороший климат. Там почти всегда ясная погода. Инженеры Waymo используют смешанную систему со множеством сложных датчиков (радаров, лидаров, камер), сочетающую визуальное распознавание сверточной сети и классический метод планирования, запрограммированные правила вождения, подробные карты, которые точно указывают знаки ограничения скорости, пешеходные переходы, светофоры… Такая комбинация технологий позволяет автомобилю точно определять свое местоположение, распознавать движущиеся объекты и обнаруживать непредвиденные события, наподобие дорожных работ. Это позволяет автопилоту правильно реагировать, когда машина подъезжает к перекрестку и нужно использовать правило приоритета. Но наблюдение по-прежнему обеспечивает человек, сидящий на переднем пассажирском сиденье (которое теперь уже не называется «сиденьем мертвеца»!).

Лидар (Light Detection and Ranging, устройство светового обнаружения препятствий и определения дальности) создает подробную трехмерную карту окружения автомобиля. Он работает по принципу радара, который измеряет время, требующееся лучу, испускаемому устройством, чтобы вернуться к нему после отражения от препятствия. Но в отличие от радара, который использует широкий луч микроволн, лидар использует тонкую сетку инфракрасных лазерных лучей. Таким образом он создает карту расстояния, то есть 360-градусное изображение, которое для каждого направления дает расстояние до ближайшего объекта по этой точной оси. Это облегчает работу системы обнаружения препятствий. Но высокопроизводительные лидары по-прежнему дороги, хрупки, сложны в обслуживании и чувствительны к погодным условиям. Можно оборудовать лидарами целый таксопарк, но нельзя снабдить ими всех и каждого.

В хороших условиях беспилотный автомобиль вполне надежен. В период с 2014 по 2018 г. в Калифорнии произошло всего 59 столкновений, притом что производители беспилотных автомобилей обязаны были сообщать обо всех происшествиях, даже незначительных, которые произошли на дороге[100].

Пример: 18 марта 2018 г. в Темпе в пригороде Феникса, штат Аризона, беспилотный автомобиль, испытываемый Uber, сбил женщину, которая переходила ночью неосвещенную дорогу, по-видимому, находясь под действием метамфетамина, бросив свой велосипед в 120 метрах от пешеходного перехода. Во время пресс-конференции в Лас-Вегасе Джон Крафчик, генеральный директор Waymo, косвенно задал Uber вопрос на эту тему: «В Waymo мы уверены, что наша технология могла бы справиться с такой ситуацией» (человек, бросающий велосипед и проходящий не по пешеходному переходу). Причины дисфункции системы, вызвавшей эту трагедию, неизвестны. Джон Крафчик также напомнил, что с 2009 г. автономные транспортные средства Google проехали более 8 млн км по дорогам, пересекаемых пешеходами, не попав ни в одну аварию со смертельным исходом. Пока еще слишком рано делать какие-либо выводы, но эти показатели все же можно оценить в перспективе: частота ДТП со смертельным исходом для автомобилей, управляемых человеком, составляет в среднем одно на каждые 160 млн км в США.

Перейдем к сквозному обучению, когда система учится, имитируя водителя-человека. К 2019 г. такого метода еще не появилось. Автомобиль может спокойно ездить по проселочной дороге в течение получаса, но рано или поздно начинает ошибаться, и водитель-человек должен брать управление на себя.

Поэтому необходимо сделать подстраховку, то есть создать резервные системы, которые будут контролируют те, которые созданы специально для обнаружения пешеходов, препятствий и разметки на дороге. Если резервная система определяет, что машина едет плохо, она корректирует траекторию. Для создания таких машин нужно выполнить еще много инженерных работ. Если бы у нас были модели, которые могли бы предсказать, что будет происходить с машиной и последствия ее действий, автопилот мог бы обучаться быстрее. Но у нас таких моделей пока нет.

В общем, помощь автопилота водителю уже существует, и она действительно спасает человеческие жизни, но технология полностью автономных автомобилей еще по сути не изобретена. Следует различать полуавтономное вождение, когда водитель-человек продолжает нести ответственность за управление, даже если на практике он ничего не делает, и автономное вождение, когда автопилот работает совсем без внешнего контроля. Эра автономного вождения без участия человека начнется с того, что парк транспортных средств с сенсорным экраном будет курсировать по спокойным пригородам. Прогресс будет медленным, пока не появятся беспилотные легковые автомобили в Париже, Риме или Мумбаи.

Виртуальные помощники используют несколько приложений одновременно. Например, Алекса – небольшая энергосберегающая программа удерживает динамик подключенным в режиме ожидания и для включения использует специальной словесный пароль. После включения мы сможем «поговорить» с ассистентом. Пройдя через микрофоны, звуковой сигнал, который помощник получает, оцифровывается[101].

У Алексы есть система распознавания речи в дальней зоне. Как и мобильный телефон, Алекса оснащена несколькими микрофонами, чтобы сосредоточить внимание на говорящем человеке и нейтрализовать окружающий шум в соответствии с принципом формирования направленного луча. Некоторые микрофоны являются разнонаправленными, другие – направленными, ориентированными на основной источник звука. Система принимает сигнал с направленного микрофона и вычитает сигнал из окружающего шума, оставляя только голос человека. То же самое мы делаем, когда концентрируемся на том, чтобы следить за словами собеседника в шумном ресторане.

Система распознавания речи должна иметь дело с разными акцентами и тембрами голосов. Такие системы существуют с 1980-х годов, но только после использования сверточных сетей они научились правильно распознавать детей, акценты, необычные голоса и т. д. Например, у детей часто возникают проблемы с произношением, и у них высокий голос. Раньше сеть должна была сначала определить, был ли это ребенок, мужчина или женщина, а затем использовала разные системы распознавания для каждого из них. Сегодня достаточно одной сети, обычно сверточной.

Речь, преобразованная в числа, передается на серверы Amazon. Именно они распознают речь, то есть транслируют ее в текст. Это делает обученная нейронная сеть, разная для каждого языка. Она активируется при настройке системы. Затем вторая нейронная сеть определяет намерение. Итак, существуют две последовательные сети.

Промахи возможны на уровне первой сети. Вопрос: «Вы умеете распознавать речь?» (англ. «Can you recognize speech?») может быть интерпретирован обученной сетью двумя способами – либо так, как написано выше, либо: «Сможете ли вы разгромить красивый пляж?» (англ. «Can you wreck a nice beach?», что звучит довольно сходно с предыдущей английской фразой). Вы можете запутать систему распознавания речи, произнеся слово нечетко или быстрее, чем нужно. Система также может заменить одно слово другим, похожим на него, что может привести к неверному толкованию. Нужны языковые модели, которые предсказывают слова, следующие за определенным фрагментом текста.

Они есть во всех системах распознавания. Они вступают в дело сразу за нейронной сетью распознавания речи и пытаются, если есть какие-то двусмысленные слова, найти лучшую интерпретацию. Если последовательность слов, предложенная системой распознавания, не имеет смысла с грамматической или семантической точки зрения, языковая модель даст ей низкую оценку. Машина запрограммирована на поиск другой интерпретации с более высокой оценкой, с тем же алгоритмом, который используется для поиска маршрута: лучшая интерпретация произнесенной фразы – это путь с более высокой оценкой в матрице возможных последовательностей слов. Матрица – это своего рода граф, в котором каждая вершина – это слово, а путь (т. е. последовательность вершин, в которой каждая вершина соединена со следующим ребром) – это последовательность слов.

После завершения данных операций система может запросить разъяснения или непосредственно произвести ответ, синтезируя речь, соответствующую тексту ответа. Классические системы преобразования текста в речь использовали сегменты записанной речи и склеивали эти сегменты вместе, изменяя при этом интонации для создания предложения. Современные системы используют нейронные сети, своего рода сверточную сеть, которая используется «в обратном направлении».

Одно уточнение. «Шпионит» ли умная колонка за жизнью в доме? И да, и нет! Да, потому что виртуальный помощник находится в режиме «непрерывного прослушивания», чтобы определять слова, которые его разбудят: «Алекса», «Окей, Гугл» или «Привет, Портал» и т. п. Как только предложение записано, оно отправляется на серверы. Там оно в конце концов распознается, и вырабатывается ответ. Если после «пробуждения» виртуальный помощник регистрирует крики, сопровождающие домашнее насилие, сервер ничего не делает. Он мог бы сделать это физически, но этически это невозможно. По крайней мере, так уверяют крупные компании: Amazon, Google или Facebook, которые должны защищать свою репутацию. Но если это хакерское приложение для мобильного телефона, написанное неизвестным подростком, следует проявлять осторожность.

Сверточные сети обычно используются для рентгена, МРТ (магнитно-резонансной томографии), КТ (компьютерной томографии), для обнаружения опухолей, в ревматологии и при протезировании.

Для классического рентгеновского снимка, такого как маммограмма, где у вас есть два изображения, поскольку снимок делается по двум осям, обученная сверточная сеть «смотрит» на небольшой участок изображения. Она реагирует на подозрительный пиксель. Это прямое применение семантической сегментации сверточной сетью.

Для ее обучения вам понадобится большая коллекция маммограмм, помеченных радиологами, которые нарисовали на снимках контуры опухолей. Эти изображения разбиты на окна определенного размера, в результате чего получаются сотни маленьких изображений. Один за другим они отображаются в сверточной сети, которой сообщается, что есть опухоль или что ее нет в центре окна. Так она учится классифицировать окна в зависимости от наличия опухоли или ее отсутствия.

После развертывания эта сверточная сеть проходится по всему изображению и для каждого окна маркирует центральный пиксель: «Есть опухоль» или «Опухоли нет». По окончании процесса она создает своего рода изображение, на котором опухоль окрашена, и дает оценку достоверности обнаружения.

Если сеть ничего не обнаружила, ответ прост: «проблем нет», что характерно для большинства маммограмм. Если есть сомнения, рентген отправляют к рентгенологу для дальнейшего изучения. Сверточный сетевой фильтр исключает простые случаи, снижает стоимость и время на диагностику и позволяет практикующему врачу сосредоточиться на сложных случаях. Этот процесс также снижает шансы пропустить опухоль по невнимательности, поскольку часто врач проводит долгие часы в темной комнате перед экраном, рассматривая в основном нормальные случаи.

Распространенное приложение, о котором мы уже говорили, – это поиск маршрута. Оно рассчитывает расстояние и время в пути в соответствии с выбранным видом транспорта и даже включает в себя условия движения в реальном времени. Карты Google, Waze, Mappy – все они используют сложные методы, основанные на алгоритмах поиска более короткого пути, принципы которых восходят еще к 1960-м гг. Обучение здесь не требуется. Мой брат Бертран, бывший ученый, который сейчас работает в Google в Париже, специализируется на алгоритмах, лежащих в основе этих методов, которые называются «распределенными комбинаторными алгоритмами оптимизации».

Рис. 7.6. Выявление доброкачественных и злокачественных опухолей на маммограммах с использованием сверточной сети

В левом столбце светлые области указывают на опухоли высокого риска, выявленные при биопсии; в среднем столбце – доброкачественные опухоли, идентифицированные сверточной сетью; а в правом столбце – злокачественные опухоли, идентифицированные этой сетью. Даная сеть была обучена на 1 млн изображений и превосходит по надежности людей-радиологов, но лучшая производительность достигается при объединении ИИ-систем с усилиями радиологов (источник: Wu et al., 2019, NYU[102]).

Рис. 7.7. Архитектура сверточной сети для сегментации МРТ бедра

В отличие от людей-радиологов, данная система может напрямую наблюдать объемное изображение. Входом в сверточную сеть является трехмерное изображение, сформированное из всех срезов объемного изображения МРТ (источник: Deniz et al., 2017, NYU[103]).

Рис. 7.8. Автоматическая сегментация сверточной сетью головки бедренной кости на МРТ-изображении

Сверточная сеть принимает на вход объемное изображение МРТ бедра. Сеть маркирует каждый «воксель» (объемный, т. е. трехмерный эквивалент пикселя) в показателях вероятности того, что этот воксель принадлежит бедренной кости. Такой целостный взгляд на объем позволяет системе производить более точную сегментацию бедренной кости, что облегчает операции по замене тазобедренного сустава. Правое верхнее изображение представляет результат сегментации МРТ бедренной кости, полученной с помощью трехмерной сверточной сети. Этот результат более точен, чем при использовании других методов (источник: Deniz et al., 2017, NYU).

Решение проблемы в таком виде представляет собой поиск кратчайшего пути на графе. Компьютерный граф – это представление в компьютерной памяти сети узлов, соединенных связями. При поиске маршрута каждый перекресток или развилка является узлом, а каждое звено – участком дороги, соединяющим эти два перекрестка. Ссылки и узлы связаны с рядом чисел, которые указывают на характеристики сегмента: среднее время в пути (которое корректируется в реальном времени в зависимости от трафика), изменение этого времени, плата за проезд, характер дороги и т. д. Простой, неэффективный алгоритм исследовал бы все возможные пути между двумя точками, вычислял время в пути и находил самый быстрый. Но такой метод был бы слишком медленным даже для мощных компьютеров. Эффективные алгоритмы быстро отказываются от путей, которые слишком длинные для текущего предположения. Кроме того, они используют тот факт, что несколько путей могут проходить через один и тот же промежуточный узел, и оставлять только лучшие из них. Этот общий метод поиска кратчайшего пути в графе называется «динамическим программированием». Он используется во многих системах искусственного интеллекта для навигации, распознавания и перевода речи (поиск лучшего текста в графе возможных слов), а также для декодирования последовательностей битов, передаваемых на ваш смартфон или космический зонд, или для маршрутизации битовых пакетов в сетях связи. Это – мастер на все руки.

Грандиозные шахматные системы или системы го также используют поиск путей на графе. Но этот граф принимает форму дерева, в котором текущая позиция шахматной доски является корнем, каждое звено представляет собой ход, а узел в конце последнего звена представляет собой конфигурацию шахматной доски после некоторой последовательности ходов. Таким образом, путь от корня к данному узлу или, если использовать метафору, к «листу», представляет собой последовательность штрихов. Чтобы создать это дерево, у вас должна быть программа, которая производит все ходы на шахматной доске. Каждый узел помечен рейтингом качества конфигурации. Поэтому вам просто нужно найти ветку с лучшим рейтингом, то есть с наибольшей вероятностью победы в дальнейшем, и сделать первый ход. Но дерево, которое представляет собой последовательность из девяти штрихов, имеет астрономические размеры: около 100 000 миллиардов листьев. Поэтому приходится хитрить.

Итак, игра в шахматы. Настала очередь белых. Относительно простая программа производит все возможные ходы в соответствии с правилами игры, заданными машине (пешка перемещается на одно поле, но в первый раз она может сделать ход на два поля; слон движется по диагонали и т. д.). Таким образом, программа принимает во внимание каждую фигуру, рассматривает все возможные ходы белых и создает каталог всех возможных новых конфигураций шахматной доски. В среднем на каждый ход приходится 36 возможных вариантов.

Таким образом возникает перевернутое дерево, ветви которого расходятся до бесконечности. Даже с большой памятью, даже с быстрым процессором, машина не может исследовать все эти возможные ходы. Даже самой Deep Blue (шахматному суперкомьютеру компании IBM, выигравшему матч в шахматы у Гарри Каспарова в 1997 г.) потребуется сотня часов, чтобы исследовать их. Поэтому мы должны внедрить методы «обрезки» этого дерева возможностей, чтобы сделать метод более эффективным.

Затем мы даем системе функцию, которая оценивает качество позиций на доске для белых и черных. Эта функция оценки, созданная в сотрудничестве с шахматными экспертами, включает в себя критерии хорошей шахматной расстановки: фигуры защищены друг другом, отсутствуют материальные потери, фигуры хорошо расположены на шахматной доске, то есть больше в центре, чем по краям; король хорошо охраняется; количество клеток, которым угрожают фигуры соперника, невелико и т. д. Каждая из этих характеристик выражается некоторым числом. Эти числа образуют вектор признаков, который обрабатывается своего рода перцептроном без обучения. Он вычисляет взвешенную сумму и производит оценку. Тем самым программа как бы говорит: «Данная позиция хороша для такого-то игрока». Система возвращает положительное число, если расстановка дает белым хорошие шансы на победу, и отрицательное число, если нет. Другими словами, «при такой конфигурации ваши шансы на победу равны плюс 35; для этого – минус 10; для этого – плюс 50».

При исследовании программа, которая играет белыми, считает, что противник также будет играть так, чтобы максимизировать свой рейтинг. После того, как белые сыграют, черные будут искать наиболее выгодную позицию для них и, следовательно, самую невыгодную для белых (самый отрицательный рейтинг). В свою очередь, белые ищут лучшую позицию для себя и т. д.

Рис. 7.9. Поиск по дереву в применении к шахматам

Для каждой из возможных позиций на доске после того, как белые сделали ход, черные могут в среднем сделать 36 разных ходов. Затем у белых снова есть 36 возможных ходов для каждой из этих раскладок, то есть 36 × 36 и т. д. Получается экспоненциальный рост числа вариантов.

Подведем итоги. Есть 36 возможностей на первом ходу, 36 × 36 возможностей на втором, или 1296 возможностей, 36 × 36 × 36 возможностей на третьем (46 656) возможностей. На девятом ходу мы имеем дело уже со 100 000 млрд возможных последовательностей.

Чтобы сократить исследование возможностей, учитывая потенциальный размер дерева, программа сокращает его. На каждом ходе она сохраняет только ветки дерева, получающие высокую оценку для игрока и низкую оценку для противника. В общей сложности анализ может продолжаться до девятого хода, а то и дальше. Наконец, система определяет окончательное максимальное количество очков для белых и выбирает ход, соответствующий первому узлу в этой ветви.

Таким образом, программа сохраняет только определенные узлы дерева, поскольку черные по умолчанию также играют на победу. Эта функция оценки позволяет ограничить «разведку» оптимальными настройками, при которых виртуальный игрок делает ходы, максимально благоприятные для противника, когда для того настала очередь ходить. И затем мы спускаемся все глубже в разветвления при том же объеме вычислений и памяти. Вот так в свое время эта классическая форма искусственного интеллекта взяла верх над чемпионом мира по шахматам Гарри Каспаровым.

Новые машины устроены иначе. Они меньше используют поиск по древу. Вместо этого большая нейронная сеть «наблюдает» за доской или игрой в го и сразу же предсказывает рейтинг всех возможных ходов. Системы AlphaGo и Alpha Go Zero от DeepMind, как и система OpenGo от FAIR, используют для этого сверточную сеть. В Alpha Go Zero сеть обучается, играя против себя миллионы игр. Она усиливает стратегии, ведущие к победам, и ослабляет стратегии, ведущие к поражениям. Это обучение «с подкреплением»: вы не даете машине правильного ответа, а просто говорите ей, что ее ответ хорош или не очень хорош, как будто поощряя и наказывая ее. В сочетании с небольшим участием поиска по дереву этот метод обеспечивает действительно сверхчеловеческие возможности.

Подобные системы могут быть также обучены контролируемым обучением, имитируя людей-игроков, чьи игры постоянно записываются. Однако эти тренировки требуют гигантских вычислительных мощностей. После тренировки мы можем просто запустить сверточную сеть на шахматной доске го или шахматной доске, и она дает нам шанс сыграть. Но, как и в случае с гроссмейстерами-людьми, производительность улучшается, если объединить систему с поиском по дереву и подкреплением обучения.

Однажды я столкнулся с бывшим чемпионом Франции по шахматам, гроссмейстером, который одновременно играл против 50 человек. Он смотрел на шахматную доску и через несколько секунд точно знал, какую фигуру нужно двигать, а затем переходил к следующему человеку. Мы ждали, когда он подойдет к нам, ходили, он поглядывал на доску, смеялся, потом тоже ходил и выиграл у нас уже после десяти ходов. Я выбыл из игры буквально после нескольких ходов (я очень плохо играю в шахматы)! Такому гению, как он, не нужен поиск по дереву, чтобы понять, что происходит и что произойдет на доске. У него есть интуитивное видение шахматной партии, что позволяет ему играть напрямую. Довольно похоже на современные обучаемые системы.

В 2012 г. победа сверточной сети, предложенной Джеффри Хинтоном и его командой из лаборатории Торонто, потрясла всю область искусственного интеллекта. К тому же университет Торонто выложил код этой сети в открытый доступ. Таким образом, довольно широкое сообщество смогло независимым образом воспроизвести эти результаты на сверхсовременных графических процессорах, позволяющих выполнять числовые операции очень быстро и с малыми затратами ресурсов. Сверточные сети в итоге стали достоянием мирового сообщества.

Лаборатория Йошуа Бенжио в Монреале (Канада) и моя собственная лаборатория в Нью-Йоркском университете (NYU) долгое время использовали аналогичное программное обеспечение, но оно не подходило для новых, очень мощных видеокарт.

В 2012 г. машинное обучение уже оказалось в центре всеобщего внимания; им заинтересовалась цифровая индустрия. В начале 2013 г. в компании Facebook небольшая группа инженеров приступила к экспериментам с программным обеспечением Торонто для распознавания изображений и лиц. Они быстро добились хороших результатов, о которых сообщили техническому отделу, а потом и руководству всей компании.

Марк Цукерберг и Майк Шрепфер, технический директор Facebook, начали задумываться о будущем компании. На тот момент компания Facebook только отметила свое десятилетие. Дела ее шли успешно: сеть котировалась на бирже, хорошо зарекомендовала себя на рынке, перешла на мобильную телефонию и т. д. Но летом 2013 г. Марк и Майк пришли к выводу, что важной составляющей компании Facebook (или, сокращенно, FB) должен стать искусственный интеллект. Поэтому они решают приступить к НИОКР («научно-исследовательские и опытно-конструкторские работы») в этой области.

Пройдет совсем немного времени, и я узнаю об этом! В начале лета 2013 г. на конференции по компьютерному зрению я встретил инженеров компании Facebook, которые уже работали над сверточными сетями и делились опытом о проделанной работе. В конце лета компания Facebook обратилась к Марку Аурелио Ранзато, одному из моих докторантов Нью-Йоркского университета. Он работал на позиции постдока[104] с Джеффри Хинтоном в Торонто, прежде чем стал сотрудником Google X – секретной лаборатории, где группа ученых также работала над глубоким обучением и нейронными сетями. Компания Google не хотела говорить об этом, но Джон Маркофф, журналист New York Times, специалист по техническим и научным вопросам, обнародовал данную информацию[105].

Итак, компания Facebook захотела переманить Марка Аурелио. Я посоветовал ему не соглашаться: у Facebook не было исследовательской лаборатории, а Марк Аурелио хотел продолжать занятия фундаментальными исследованиями. Он сказал мне, что компания хочет начать исследовательскую деятельность. Через месяц Марк Аурелио все-таки решает перейти в Facebook – Марк Цукерберг и Майк Шрепфер лично наняли его! Типичный подход технологических компаний Кремниевой долины: как только в их поле зрения попадает талантливый человек, они изо всех сил будут стараться переманить его на свою сторону. Сам генеральный директор компании может взять телефон и позвонить человеку, который их заинтересовал.

Я тоже был под прицелом. Тем летом я разговаривал по видеосвязи со Шринивасом Нараянаном, лидером команды, которая активно проводила эксперименты с глубоким обучением в компании Facebook. Несколько недель спустя я пообщался с Майком Шрепфером, моим будущим руководителем. В сентябре мне позвонил Марк Цукерберг. Это был наш первый разговор. Он рассказал мне о своих планах и своем интересе к ИИ: «Вы сможете нам помочь?» – спросил он. Я не понимал, как. Я не хотел бросать преподавание в университете и переезжать из Нью-Йорка в Кремниевую долину. На этом мы тогда и закончили.

В конце ноября мне нужно было съездить в Калифорнию на семинар. Марк Аурелио, которого тоже пригласили, попросил меня зайти в Facebook и посмотреть на то, чем они занимались. Вскоре после этого помощник Марка Цукерберга предложил мне приехать пораньше. Итак, за день до моего официального визита в Facebook я обедал наедине с его руководителем в его доме.

Конечно же, мы обсуждали ИИ! Я прекрасно понимал, что он обдумал все свои вопросы и хорошо подготовился – он даже прочитал мои статьи! Он всегда так делает, когда его интересует та или иная тема. То же самое было с виртуальной реальностью или влиянием компании Facebook на демократию. Я такого не ожидал. Этот молодой генеральный директор был чем-то похож на мудрого старика. Занимая высокую руководящую должность, мало кто сможет выделить время на то, чтобы взять в свои руки переговоры, прочитать литературу по теме и даже развивать свои технические навыки.

Вечером он снова спросил меня, смогу ли я им помочь. Я объяснил ему, как я создал исследовательскую лабораторию ИИ. До поступления в Нью-Йоркский университет я шесть лет руководил промышленной исследовательской лабораторией в AT&T. По своему опыту я знаю, что такое учреждение должно подчиняться определенным правилам, чтобы хорошо функционировать: если мы хотим добиться результатов, мы должны предоставить ученым свободу творчества и не побуждать их к созданию скороспелых приложений. Гарантируйте им устойчивость и репутацию структуры, чтобы они могли инвестировать в нее свои силы и время. Поощряйте их публиковать статьи. У меня были и свои личные требования: исследования должны быть обнародованы, а программное обеспечение должно иметь открытый исходный код, который можно распространять и позволять другим использовать его, в том числе в своей продукции и услугах.

Марк успокоил меня: компания Facebook уже делится своими технологиями, включая дизайн центров обработки данных, что случается довольно редко. Многие лидеры «голубого сайта»[106] происходят из мира открытого кода. Прежде чем стать техническим директором Facebook, Майк Шрепфер занимал такую же должность в Mozilla, некоммерческой организации.

На следующий день в штаб-квартире компании я встретился с дюжиной инженеров из AI Group, к которой принадлежал Марк Аурелио. В конце дня я снова встретился с Марком и Майком, которые рассказали мне о своем проекте. Я снова сказал им, что не хочу бросать работу в Нью-Йоркском университете и переезжать, и они согласились с этим условием.

Руководители Нью-Йоркского университета дали мне согласие на неполный рабочий день. Я был уверен, что сделал правильный выбор. У меня были все нужные навыки. Я не всегда с такой уверенностью подходил к новой должности. Когда я в 43 года получил свою первую работу в области преподавания, у меня не было опыта. Я хорошо разбирался в машинном обучении, но в других областях ИТ я не чувствовал себя столь уверенно, чтобы их преподавать. Хоть я и был закоренелым атеистом, где-то в глубине души я молился, чтобы мне не пришлось преподавать операционные системы или компиляцию – самые сложные базовые дисциплины. Но на тот момент у меня уже был нужный опыт, гарантии от Марка Цукерберга и сохраненная преподавательская должность. Чего еще я мог пожелать?

Через несколько дней на озере Тахо, штат Невада, прошла Международная конференция NIPS. Марк Цукерберг и Майк Шрепфер решили принять участие в семинаре, посвященном глубокому обучению, который состоялся после конференции. С одной стороны, они хотели лучше познакомиться с исследовательским сообществом, а с другой, публично объявить о создании новой лаборатории в сотрудничестве со мной, и прежде всего – нанять новых сотрудников! Присутствие Марка, Йошуа Бенжио и других ученых создавало проблемы для организаторов семинара: все хотели попасть на него! Нужно было найти помещение побольше, усилить охрану… Генеральный директор Facebook удивил аудиторию своими познаниями. В те выходные Марк, Майк и я провели около 20 собеседований, в результате чего наняли примерно десяток специалистов.

Удивительно, что компания согласилась раскрыть результаты своих исследований. Я лично нашел для этого пять причин. Во-первых, мы все убедились в том, что невозможно привлечь серьезных исследователей, если им запрещено публиковать свои работы. Карьерный успех измеряется влиянием этих работ на науку и технологии, а известными они становятся благодаря статьям, которые предварительно оценивают редакции журналов, в которых заседают их коллеги. После одобрения исследовательские работы официально публикуются. «Банковский счет» исследователей – это количество цитат, полученных благодаря их публикациям. Одним словом, без публикаций нет карьеры. Все это объясняет, почему компаниям, которые предпочитают секретность (я не буду их называть), так трудно нанимать талантливых людей.

Во-вторых, качество методологии и достоверность информации возрастает, когда ученым известно, что их работа будет проходить тщательную проверку. А поскольку фундаментальные исследования порой трудно оценивать, цитирование другими учеными является показателем важности их вклада. Я считаю, что мы должны не только побуждать ученых к публикации, но и принимать во внимание влияние их публикаций при оценке их работы.

В-третьих, открытия не возникают сами по себе. Они являются кульминацией долгого процесса. Сначала они проходят этапы проб и ошибок, разработки и тестирования. Исследователям необходимо обмениваться мнениями с коллегами из других лабораторий, чей опыт может полезен. Это напоминает хождение взад-вперед, однако оно приносит свои плоды. Но чтобы вступить в дискуссию с исследователем, необходимо внести свой личный вклад и предложить собственные идеи. Следовательно, компании получают выгоду от обмена информацией со специалистами в своей области только в том случае, если сами «подключают голову» к исследованиям.

В-четвертых, ценность промышленной лаборатории заключается в способности компании определять перспективные разработки и быстро их внедрять. Необходимо, чтобы лаборатории имели возможность оперативно сотрудничать с производственными или оперативными отделами. Но последние не всегда хорошо понимают потенциальное влияние научного прогресса. Иногда компаниям нужна поддержка всего научного сообщества, чтобы убедиться в достоинствах того, что было создано в их собственных лабораториях!

И, наконец, хорошие научные публикации создают компании репутацию инновационного бренда.

Ведущие ИТ-корпорации, такие как Facebook, Google или Microsoft, постоянно создают что-то новое. Одни публикуют свои результаты, а другие в свою очередь улучшают их уже через несколько недель или месяцев. Но технологии будущего требуют крупных научных достижений, а не только технологического прогресса. Очень важно либо предложить что-то свое, или же обладать необходимым опытом, чтобы распознать эти достижения, когда они дадут о себе знать. На создание виртуальных помощников или роботов с уровнем интеллекта, сопоставимым с человеческим, потребуются десятилетия и несколько технологических революций. Ни одна компания, какой бы крупной она ни была, не обладает монополией на хорошие идеи. И ни одна компания не обладает настолько обширной базой, чтобы в одиночку пуститься в авантюру. Постижение тайн интеллекта и его воспроизведения в машинах – одна из самых сложных задач нашего времени, и она нуждается в поддержке международного научного сообщества, для чего требуется максимально полный обмен результатами и методами. Распространяя программное обеспечение с открытым исходным кодом, мы помогаем сообществу развиваться.

Если вы сталкиваетесь со стартапом, руководители которого заявляют, что они обладают какими-либо секретными результатами, относящимися к ИИ чуть ли не человеческого уровня, они или лгут вам, или обманывают сами себя. Не доверяйте им!

В 2019 г. Исследовательская лаборатория ИИ компании Facebook (FAIR) базировалась в четырех городах: Менло-Парк (Калифорния, США), Нью-Йорк, Париж и Монреаль; вспомогательные лаборатории были созданы также в Сиэтле (Вашингтон, США), Питтсбурге (Пенсильвания, США), Лондоне и Тель-Авиве. В каждой из них работает не так уж много сотрудников, однако в сумме исследовательский штат значителен: летом 2019 г. более 300 исследователей и инженеров были рассредоточены по разным лабораториям в Северной Америке и Европе.

Лаборатория FAIR (Facebook Artificial Intelligence Research), открывшаяся в июне 2015 г. во 2-м округе Парижа, является одной из самых важных. Она поспособствовала динамичному развитию «экосистемы» искусственного интеллекта во Франции и в континентальной Европе. В Париже FAIR установила партнерские отношения с государственными лабораториями, в частности с Inria, и университетскими отделами аспирантуры. Наш центр нанял около 15 докторантов CIFRE (фр. La convention industrielle de formation par la recherche, т. е. промышленная конвенция научно-исследовательской подготовки), которые разрывались между промышленными лабораториями и своей аспирантской работой. Таким образом, FAIR финансировала часть государственных исследований и способствовала обучению следующего поколения исследователей во Франции и Европе. Первые несколько докторантов защитили диссертации весной 2019 г., и их работа оказала реальное интеллектуальное и практическое влияние на машинный перевод, понимание текста, распознавание речи, видеопрогнозирование, самостоятельное обучение и т. д. Большинство из них были приняты на работу в различные европейские лаборатории.

FAIR также наняла некоторое количество ученых, работающих неполный рабочий день, которые могли пользоваться нашими материалами и налаживали сотрудничество с другими лабораториями. Возможность правильно распределить время, чтобы заниматься образованием и работать в лаборатории, стала одной из основных мер, принятых правительством в отношении ИИ после доклада Виллани (Седрик Виллани, «Придать смысл искусственному интеллекту как европейской и национальной стратегии», доклад французскому правительству).

Я хочу также напомнить о пожертвованиях и оборудовании, которое мы предоставляли государственным лабораториям и учреждениям, таким как PRAIRIE (англ. PaRis Artificial Intelligence Research InstitutE), новому парижскому центру передовых технологий в области искусственного интеллекта, находящегося под патронажем правительства. Мы вели лекции и курсы в европейских университетах и на Летних школах. В 2015–2016 гг. я лично ежегодно следил за работой кафедры компьютерных и цифровых наук в Коллеж де Франс[107]. Компания Facebook поддерживала стартапы, частично финансируя «бизнес-инкубатор» Station F и создавая обучающие программы. Что же касается дополнительных доходов, то Александр Лебрен, бывший старший инженер FAIR в Париже, и его коллега Мартин Рейсон покинули исследовательскую группу в начале 2019 г. (с согласия компании Facebook) ради создания стартапа Nabla, ориентированного на ИИ.

Открытие FAIR в Париже произвело на многих сильное впечатление. Со своей стороны, корпорация Google представила в Париже проект Google Brain – исследовательскую лабораторию по изучению ИИ. Компания DeepMind последовала тому же примеру. Наконец, Valeo, Thales, PSA и многие другие французские компании тоже создали исследовательские группы и разработки в области ИИ.

Я думаю, что в большей степени создание FAIR побудило молодые таланты на получение докторской степени в этой сфере. Появление передовых исследовательских лабораторий в Париже дало им перспективы карьерного роста, чего до этого момента у них во Франции не было. Другими словами, Facebook сделал искусственный интеллект популярной темой.

Но когда в 2013 г. меня нанял исследовательский центр «синей соцсети», то есть приняли на работу в лабораторию в Менло-Парке, штат Калифорния, то у меня все еще так и оставалось с десяток инженеров и три исследователя, в том числе Марк Аурелио Ранзато, мой бывший студент. Я сам остался в Нью-Йорке. В течение нескольких месяцев я нанял десять талантливых специалистов, которые теперь являются руководителями исследовательской лаборатории Facebook AI Research. Первые месяцы мы трудились, не покладая рук. Мы зарабатывали репутацию и изо всех сил пытались привлечь новых специалистов. Нам приходилось много рассказывать о наших методах работы.

Это было связано с теми принципами, которые я изложил Марку Цукербергу за тем обедом у него дома: долгосрочная работа и возможность продвигать науку без особого беспокойства о немедленном создании приложений. Свобода для исследователей заключается в том, чтобы работать над тем, что они считают наиболее перспективным. Открытые и опубликованные исследования, как в учебном заведении. Бесплатные и доступные всем исходные коды. Сотрудничество с лабораториями в учебных заведениях.

FAIR была ориентирована на долгосрочную работу, но я знал, что она потребует довольно срочных практических результатов от своих изобретений и открытий. Мы оценили масштаб проблемы и решили, что исследователи должны работать в своем привычном режиме. Но нужно было заставить остальную часть компании, которая до этого была сосредоточена на разработке конкретных продуктов, заинтересоваться нашими результатами и преобразовать их в программное обеспечение или полезную продукцию. Нам удалось сойтись во мнении ради единой цели.

На кону было будущее нашей исследовательской лаборатории. Некоторые из результатов должны были иметь положительное влияние на компанию, чтобы никому из руководителей не пришло в голову задаться вопросом, почему исследовательская группа вложила столько денег в ИИ.

Хотя Марк Цукерберг не ставил перед нами точных целей, мы понимали, что некоторые области применения ИИ особенно важны для общества: понимание текста, перевод, распознавание изображений и, в частности, распознавание лиц. В Менло-Парке исследовательская группа уже работала над этим вопросом. Инженеры одной израильской компании, приобретенной Facebook, успешно экспериментировали со сверточными сетями. Именно они убедили Марка Цукерберга продолжать исследования и заниматься разработками в области ИИ.

У нас было очень много работы. В конце 2013 г. машинное обучение только начинало использоваться для организации новостной ленты, размещения рекламы и фильтрации информации. Это по-прежнему было классическое машинное обучение, которое использовало, например, логистическую регрессию – вероятностную версию перцептрона – деревья принятия решений, «пакеты слов» и т. д. Глубокого обучения было еще очень мало.

Хотя часть деятельности FAIR была ориентирована на разработку приложений, она все же в основном оставалась лабораторией фундаментальных исследований с определенной автономией. Мы редко использовали данные Facebook. Если мы работали над системой распознавания речи, машинного перевода или понимания естественного языка, мы тестировали ее с помощью общедоступной базы данных для того, чтобы адекватно сравнивать наши результаты с результатами других учреждений, которые использовали те же базы. Например, чтобы улучшить алгоритм перевода, мы, среди прочего, использовали, данные Европейского парламента, который за последние 10 лет сгруппировал все парламентские сессии на различных языках Сообщества. Таким образом, наука продвигалась вперед, используя поддающуюся проверке и воспроизводимую методологию.

Вскоре после моего прихода в FB я понял, что для создания продукции и услуг с помощью новых методов, разработанных в FAIR, требуется отдельная группа. В Bell Labs и AT&T Labs я прочувствовал на себе весь процесс, ведущий от фундаментальных исследований к конкретным приложениям. Там наши две группы фундаментальных и прикладных исследований находились в соседних офисах и использовали одни и те же программные инструменты. Прикладные исследования порой превращают ведущих ученых в инженеров. Позвольте мне высказаться по этому поводу: двое таких ученых защитили докторскую диссертацию по теоретической физике, но, не сумев найти должности в университете после сокращения бюджета в 1980 г., они переквалифицировались в инженеров общего профиля. С их математическим образованием они бы щелкали теорию нейронных сетей и машинного обучения, как орешки.

Но вернемся к Facebook. Я убедил руководство компании организовать исследовательскую группу по прикладному машинному обучению (AMLA, Applied Mashine Learning). Ее возглавил Хоакин Киньонеро Кандела, бывший сотрудник Microsoft, который занимается системами машинного обучения для размещения рекламы. Мы оба говорили по-французски. Хоакин – испанец, он вырос в Марокко, где учился во французской средней школе, затем учился в Испании, а докторскую диссертацию защитил в Дании. После постдока в Германии он работал в Microsoft Research в Кембридже, Великобритания. Поэтому он говорил на испанском, французском, английском, немецком, датском и немного на арабском! Настоящий европеец, живущий в Кремниевой долине. В Microsoft он уже занимался прикладными исследованиями.

В первые годы сотрудничество FAIR и AML действительно поспособствовало развитию некоторых областей, таких как распознавание изображений. Но в других областях, таких как распознавание речи, все было не так радужно. Маркетинговые группы интересовали инструменты машинного обучения, которые разрабатывались в рамках AML, поэтому у инженеров оставалось мало времени на более долгосрочную работу. С другой стороны, в группу по AML необходимо было в короткие сроки нанять инженеров, специализирующихся на искусственном интеллекте и машинном обучении. Задача была непростой, потому что компании разбирали таких сотрудников как пирожки! В итоге, чтобы сотрудничество FAIR и AML стало по-настоящему эффективным, нам понадобилось несколько лет.

Научный прорыв имеет ценность для компании только в том случае, если он быстро превращается в продукцию. Техническое руководство компании должно оценить потенциальную отдачу от такого прорыва и согласиться взять на себя риск по инвестированию ресурсов в проект развития. Инженеры, составляющие основную часть компании, должны сами убедиться в возможности превратить научный прорыв в технологические инновации, создать продукт и внедрить его. Однако иногда мы сталкивались со скептицизмом. Чем дальше вы продвигаетесь, тем дороже будет каждый ваш шаг и выше недоверие к тому, что вы создали. Важную роль в решении этой проблемы играют навыки технического менеджмента. Именно эти люди делают технологические компании-гиганты такими успешными: менеджеры-инженеры! Мы смогли извлечь урок из опыта таких компаний, как Xerox и AT&T, чьи лаборатории изобрели большую часть технологий современного мира, но руководство, не поняв коммерческой выгоды этих изобретений, зачастую пренебрегало продвижением своей продукции и отдавало всю прибыль другим.

В 2018 г. Facebook создала проект Facebook AI, который охватывал все исследования и разработки компании. Этот проект курировал FAIR, AML (который был переименован в FAIAR, «Facebook AI-Applied Research», что на английском языке произносится как «fire») и несколько других лабораторий. Во главе Facebook AI стоял другой француз: Жером Песенти, бывший сотрудник IBM, которой он продал свой стартап.

Благодаря этому общему направлению улучшилось сотрудничество FAIR и FAIAR. Инновации FAIR в отношении распознавания изображений и переводе могли отразиться на экранах миллиардов людей в течение нескольких недель. Но обычно такой процесс происходит медленнее, и большая часть исследований FAIR носит долгосрочный характер.

В 2013 г. платформа еще не использовала глубокое обучение. В 2019 г. все было с точностью до наоборот: без этого Facebook уже просто не могла бы функционировать. Целый набор методов, разработанный FAIR, внес бесчисленные улучшения в работу этой социальной сети в области распознавания изображений, понимания языка, распознавания речи (что в 2013 г. еще не было приоритетом), в области разработок виртуальных ИИ-агентов, способных помогать людям в повседневной жизни, технологии для которых раньше не было. Компания Facebook была очень заинтересована в распознавании лиц, что было трудной задачей.

Теперь ИИ автоматически переводит разговоры на огромное число языков. Он анализирует миллиарды изображений в день, чтобы помочь в организации новостных лент и создании описательных текстов для слабовидящих. Профиль миллиардов пользователей обновляется буквально одним кликом и т. д.

Многие другие команды, помимо FAIR, разработали данные приложения и обеспечили их правильное функционирование для почти двух миллиардов пользователей. Мощная инфраструктура!

Я до сих пор регулярно встречаюсь с Марком Цукербергом, однако сейчас уже реже, чем вначале. Вместе с небольшой группой людей, отвечающих за ИИ в компании Facebook, мы встречаемся с ним около четырех раз в год, чтобы обсудить прогресс в исследованиях. И время от времени я встречаюсь с Марком в неофициальной обстановке, когда он желает узнать о новых достижениях FAIR.

С момента своего создания компания Facebook применяла строгие правила, касающиеся обмена данных между пользователями: никакой порнографии, никакого употребления «языка вражды», ну, или почти никакого. Помимо вышеперечисленных запретов, Facebook следовала американскому понятию «свобода слова», не собираясь на законодательном уровне урегулировать содержание разговоров. Люди могут свободно высказываться, если это не противоречит закону. Во Франции и других европейских странах с этим строго, и некоторые темы запрещены. Например, незаконно оспаривать существование преступлений против человечности.

Эта философия изменилась с 2016 г., после президентских выборов в США. Компания Facebook признала важность фильтрации контента и предотвращения использования платформы людьми для получения коммерческой или политической выгоды, в погоне за кликами, которые приносят им деньги или приводят к разногласиям. Будь то продажа некой «панацеи от всех болезней», или публикация новостей, порой выдуманных, но настолько извращенно-завлекательных, что многим людям невозможно не читать их и не делиться ими. Старый, но не очень добрый кликбейтинг!

Сегодня мы пытаемся автоматически фильтровать такой контент. Что касается фильтрации порнографических изображений или сцен насилия, то Facebook не распространяет исходный код своей системы наблюдения, чтобы помешать недоброжелателям ее обойти.

Мы делаем все возможное. Но 15 марта 2019 г. в Крайстчерче, Новая Зеландия, белый расист и исламофоб застрелил из автоматического оружия 51 прихожанина двух мечетей города. На его шлеме была камера, которая транслировала стрельбу в прямом эфире на Facebook Live[108] в течение 17 минут.

К тому времени сеть уже была предупреждена и заблокировала аккаунты стрелка в Facebook и Instagram. Впоследствии Facebook удалила 1,5 млн видеокопий этой трагедии. Этот страшный промах автоматического обнаружения вызвал всеобщее волнение. Главы правительств наряду с основными социальными сетями обратились к Крайстчерчу с призывом ужесточить контроль над подобными изображениями, опубликованными в интернете, и ввести санкции в отношении тех, кто их распространяет.

Фактически, обнаружение такого рода контента остается чрезвычайно трудной задачей даже для современных технологий. С одной стороны, многие «жестокие» видео являются законными: отрывки из голливудских фильмов, кадры из видеоигр или даже видеоролики со стрельбой по мишеням. Как отличить эти изображения от реальных убийств? С другой стороны, помните, что мы обучаем модель, предоставляя ей очень большое количество примеров. Как обучать системы обнаружения, когда – хоть это и к счастью – у нас очень мало видеороликов с настоящей резней? Инженеры Facebook, YouTube и других сервисов работают над улучшением надежности своих систем.

Большая часть ненавистнического контента, фильтруемого Facebook, удаляется еще до того, как он выпущен, благодаря автоматическому обнаружению его системами ИИ. Для обнаружения известных пропагандистских видео или изображений террористов используются методы, схожие с эмбеддингом[109]. Они помечаются сразу после публикации и добавляются в черный список запрещенных тем. Первая сверточная сеть обучается создавать вектор, представляющий изображение или видео. Затем другая система просто обнаруживает сходство с видео, которые находятся в этом черном списке[110].

Однако большое количество подобного контента все же ускользает от фильтров. ИИ не понимает подтекста изображений. Например, если неонацистская группа публикует расистское сообщение, система может его обнаружить и не транслировать. Но представьте, что это транслируется людям, наблюдающим за неонацистской деятельностью, которые могут «репостить» агрессивные послания, чтобы задокументировать неонацистскую пропаганду. Система классификации не отличит пост антинеонацистов от поста самих неонацистов: ведь это тот же текст, но с противоположным посылом. Если имеет место не реальная агрессия, а ее критика или ирония над ней, система не сможет это распознать.

В 2018 г. во Франции кто-то разместил фотографию известной картины «Происхождение мира» Гюстава Курбе, которую можно было бы отнести к порнографическому контенту, если не знать работы данного художника, тем более, что картина достаточно реалистичная. В подобных случаях система автоматического распознавания изображений не понимает, что это искусство и картину нужно допустить к просмотру. Несмотря на то, что в настоящее время уже существуют инструменты для создания таких исключений, некоторые проблемы все же не решены.

Я вспомнил редактора одной норвежской газеты, который разместил на своей странице в Facebook очень известную фотографию обнаженной вьетнамской девочки лет 12, бегущей по дороге, спасаясь от напалма. Как и почти во всех странах, изображение обнаженного ребенка в Норвегии запрещено законом, поскольку считается педофилией. Об этом факте сообщил пользователь (человек). Модератор, не узнавший фото, зарегистрировал жалобу, и фото было удалено. Скандал. Репортер написал письмо Марку Цукербергу. И, конечно же, фото восстановили. Опять же, для серьезного искусства и СМИ существует список исключений.

На ум приходят и гораздо более трагичные случаи. В Мьянме, бывшей Бирме, мусульман рохинджа преследовало преобладающее буддийское население. Буддийские лидеры публиковали поддельные новости, например фотографию, где маленькая девочка из буддийской семьи якобы была убита мусульманином. Один из лидеров затем с наслаждением опубликовал пост: «Вы знаете, как мы должны были поступить». Учитывая нынешнюю ограниченность ИИ, ни одна система не сможет распознать, является ли передаваемая информация подделкой, как и не сможет обнаружить скрытый характер призыва к мести. Сфабрикованные новости, подобные описанной выше, могут иметь ужасные последствия и разжигать этнические конфликты, независимо от платформы, используемой для его распространения. Особенно, когда за этим стоит правительство.

Здесь я хочу поговорить о пределах существующих технологий. Невозможно вручную отсортировать миллиарды и миллиарды сообщений, изображений и видео, загружаемых в Facebook каждый день. Нам все еще нужно улучшить автоматическую фильтрацию. Поэтому Facebook вкладывает большое количество ресурсов в эту область.

На сегодняшний день в компании есть три «сортировочных цеха».

1. Системы автоматического обнаружения на основе ИИ. Мы постоянно их совершенствуем, но, как вы только что убедились, они работают не совсем идеально.

2. Пользователи. Они могут сообщать о подозрительном содержании. Это эффективно, но медленно и часто предвзято. Кроме того, эта реакция является запоздалой, поскольку контент уже транслируется.

3. Модераторы. Сейчас по всему миру Facebook насчитывает около 30 000 пользователей-модераторов, в основном они работают в компаниях-партнерах. Они говорят на сотнях разных языков и определяют, нарушает ли контент, сообщаемый автоматизированной системой или пользователем, действующие правила. Работа модератора довольно сложная. Некоторым из них приходится видеть ужасные вещи, но мы не можем обойтись без таких людей.

Неудачи – это неизбежное следствие общественной полезности. Facebook объединяет географически разбросанных друзей и семьи. Социальная сеть позволяет малым предприятиям начинать свой бизнес и процветать, связывая их со своими клиентами. Она помогает объединяться тем, кто имеет близкие интересы или проблемы. Она призывает к солидарности. Она поощряет взаимодействие – как, увы, и нарциссизм.

Во-первых, давайте сразу проясним: Facebook не продает персональные данные своих пользователей рекламодателям. Марк Цукерберг напомнил об этом 25 января 2019 г., описывая бизнес-модель Facebook в статье известной газеты Le Monde[111]. Компания показывает рекламу своим пользователям, но не раскрывает информацию о них своим рекламодателям.

Мы хотим верить, что возможность общаться друг с другом имеет лишь положительный эффект. Сможем ли мы предвидеть и предотвратить неправильное использование глобальных коммуникационных платформ, если сама их концепция еще очень нова?

В 2018 г. Facebook испытала отрицательные последствия своей популярности, и имидж компании значительно пострадал. Несмотря на то, что FAIR Labs не были замешаны в этом деле и данная ситуация не имеет абсолютно никакого отношения к ИИ, я чувствую, что здесь нам нужно это обсудить. Напомним факты. В марте 2018 г. ежедневные газеты New York Times и Guardian сообщили, что данные пользователей Facebook были без ее ведома использованы американской компанией Cambridge Analytica, занимающейся анализом данных. Руководили созданием этой компании в 2013 г. Боб Мерсер, бизнесмен, известный своей консервативной позицией, и Стив Бэннон, который на тот момент входил в ближайшее окружение Дональда Трампа.

Боб Мерсер – бывший компьютерный ученый, который работал над распознаванием речи в компании IBM, пока в конце 1980-х он и некоторые его коллеги не были наняты в Renaissance Technologies, хедж-фонд и финансовую организацию, которая использует компьютерные и математические методы для инвестирования. Эти люди стали очень богатыми. Все они относились к «левым» в политике, кроме Боба Мерсера, который поддерживал либертарианское течение.

В прессе писали, что компания Cambridge Analytica получила и использовала данные миллионов пользователей Facebook, чтобы определить, кто может поменять свое мнение в пользу кандидата Дональда Трампа на выборах в 2016 г. и в пользу Brexit (выхода Великобритании из ЕС) во время кампании, определявшей будущее Соединенного Королевства.

Спустя три месяца после публикации этого громкого дела в американских и английских ежедневных газетах Пол Гревал, вице-президент и руководитель юридического отдела Facebook, обвинил Александра Когана, американца молдавского происхождения, а также ученого Кембриджского университета в области психологии, за предоставление Cambridge Analytica данных, которые тот собирал для своей работы. В его психологическом тесте «Thisisyourdigitallife», в котором приняли участие 270 000 пользователей, получивших 4 доллара за ответы на вопросы об их привычках в Интернете, использовался интерфейс подключения к платформе Facebook, получивший название Graph API v1.0. Используя профили друзей этих респондентов Коган получил доступ к определенной информации миллионов пользователей, информации, которую они вносят в свой профиль и которой они делятся со своими друзьями: город проживания, дата рождения, образование, интересы, друзья и т. д.

Как это вообще могло произойти?

Еще до 2016 г. Facebook сделала свою платформу открытой. Таким образом, компания позволила разработчикам программного обеспечения писать приложения с использованием знаменитого Graph API v1.0. Сюда входили игры, в которые можно играть с другими; или приложения с общим календарем. Контракты на использование кода запрещают сбор и распространение личных данных пользователей. Но в Facebook быстро поняли, что здесь возможны различные случаи злоупотребления, поскольку для работы программного обеспечения разработчики должны были иметь доступ к определенным данным профиля пользователей. Но для нормальной работы такое, например, приложение, как общий календарь, которому вы разрешили доступ к своему профилю, также должно иметь доступ к профилям ваших друзей, которые, однако, своего разрешения на это не давали. В ответ на злоупотребления Facebook полностью закрыла платформу, к огорчению компаний, которые в нее вложились. История получилось достаточно нервная.

К 2016 г., то есть по крайней мере за два года до раскрытия дела, компания Facebook решила эту проблему.

После того, как разгорелся скандал, Александр Коган заявил, что он ученый и использовал профили только в целях своих социологических исследований. Но похоже, что он, нарушив свой контракт, злоупотребил этими данными и передал результаты в Cambridge Analytica. И произошло это еще до того, как в Facebook решили заблокировать доступ к своей платформе.

Мы можем упрекнуть руководство Facebook в излишней доверчивости во имя своей философии. Компания не имела ни малейшего представления, что ее сетью могли воспользоваться недобросовестные люди. Но, в любом случае, доверие к компании сильно пошатнулось.

После президентских выборов в США в 2016 г. Facebook также изменила алгоритм в своей новостной ленте. Когда это приложение появилось впервые (в 2006 г.), система, которая решала, что вам показывать, была основана главным образом на простых алгоритмах, а затем на классическом машинном обучении (без глубокого обучения). Лишь с 2015 г. она стала использовать более сложные методы глубокого обучения. Система, используемая Facebook для моделирования наших интересов, обучается и развивается вместе с нашими кликами. Она постоянно адаптируется.

Все такие системы пытаются оптимизировать показатели качества обслуживания. Как и в случае с целевой функцией минимизации в машинном обучении, мы стремимся минимизировать (или максимизировать) эти показатели в зависимости от ситуации. Мы слегка модифицируем систему и на время разворачиваем модифицированную версию для нескольких пользователей. Если показатели улучшаются, мы реализуем ее для большего количества пользователей.

Мы рассчитываем, например, количество людей, которые «кликнут» на определенную рекламу. (Данный вопрос уже рассматривался в предыдущей главе: мы пытаемся уменьшить количество отображаемых объявлений по отношению к количеству кликов. Правда, количество кликов предопределяет доход компании. Но нам также известно, что чем больше рекламы мы предлагаем, тем меньше пользователей переходят на платформу, поскольку они не нуждаются в ней. Поэтому мы ищем компромисс: минимум рекламы; только та, что больше всего заинтересует пользователей. Все индивидуально.) Итак, необходимо знать, что пользователи искали ранее, чтобы предоставить им похожие вещи и т. д. Все это требует понимания контента и принципов машинного обучения.

Прежний показатель «вовлеченности» отражал количество времени, которое люди тратили на новостную ленту, количество кликов, которые они сделали, прочитанные статьи, количество их ответных сообщений и т. д. Пользователи проводят много времени на страницах Facebook, однако они не были довольны тем контентом, что у них был.

С января 2018 г. Facebook коренным образом изменила свои критерии: показатели вовлеченности теперь пытаются оценить взаимодействие пользователей с важным для них контентом и определить, что им по душе. Целый отдел компании Facebook занимался распознанием интересов пользователей. Хотя некоторый контент и вызывает клики, это не обязательно самый приятный контент для пользователей, которые впоследствии сочтут его пустой тратой времени. В 2018 г. повышение уровня удовлетворенности пользователей стало руководящим принципом компании Facebook. Все это способствует увеличению количества контента с активным посещением и уменьшению контента с пассивной реакцией пользователей.

Выбор критериев для оптимизации результата не входит в обязанности FAIR. Вся эта инфраструктура – прерогатива отдела разработок и инжиниринга. Но они, в свою очередь, используют системы для распознавания изображений, понимания текста и т. д., основанные на методах, разработанных FAIR и используемых группами прикладных исследований и разработок. У «технологической ракеты» Facebook много ступеней!

Корпоративный рекламный бюджет все чаще устремлен к онлайн-сервисам, в частности к Google и Facebook, в ущерб традиционным СМИ, таким как печатные газеты. Но в то же время социальные сети привлекают значительную часть случайных читателей к традиционным СМИ. В 2018 г. изменение алгоритма новостных лент поспособствовало развитию контента, рекомендованного друзьями, за счет контента, размещенного непосредственно в СМИ. Посты в газетах включают в себя рейтинг, именуемый индексом доверия, который оценивает их надежность. Все это приводит к увеличению обмена важным контентом из авторитетных и надежных СМИ и уменьшению контента, единственной целью которого является привлечение внимания и количество кликов: пользователи нажимают на ссылки, но не делятся ими. Новый алгоритм нарушил отношения между издательскими публикациями (реакция на статью, опубликованную органом печати) и веб-публикациями (реакция на статью, рекомендованную другом). Количество веб-публикаций резко возросло, что привело к появлению более серьезных статей в новостных лентах. Скорее всего это будут именно те статьи, которые были рекомендованы друзьями. Таким образом, корректировка алгоритма привела к повышению качества традиционных СМИ в ущерб рекламистам[112]. Именно такую роль играет Facebook в экономике медиасектора.

Основываясь на опыте последних нескольких лет, когда Facebook обвиняли равно в небрежности в отношении нежелательного контента и в чрезмерной цензуре, компания призвала правительства либеральных демократий принять новые правила по данному вопросу. Как частная компания, Facebook не считала правомерным решать, какой контент приемлем, а какой нет. Поэтому в конце 2018 г. компания вместе с правительством Франции начала дискуссию о фильтрации контента. Десятого мая 2019 г. Марк Цукерберг встретился с Эмманюэлем Макроном в Елисейском дворце, чтобы подвести итоги[113]. Работа все еще ведется: эта политика должна развиваться демократическим путем, а не зависеть от одной частной компании.

Новые правила будут, однако, лишь общими рамками. Как применить их на практике? Как решить – сохранять или удалять информацию? Команда Facebook начала крупную общественную кампанию, чтобы определить наилучший план действий[114]. В ней участвовало более 2000 человек из 88 стран мира. Оказалось, что людям прежде всего требуется наблюдательный совет, который бы утверждал политику в отношении контента, независимо от Facebook и правительства. Совет будет основан на универсальных принципах прав человека, обеспечивая компромисс между самовыражением, безопасностью, неприкосновенностью частной жизни и равенством. Совет, в частности, создаст и механизмы обжалования.

Кроме того, обновленный Facebook знаменует собой изменение философии, ориентированной на защиту личных данных пользователей. Шестого марта 2019 г. Марк Цукерберг объявил об этом на форуме[115]. Будущее компании будет сосредоточено вокруг приватного общения с друзьями с использованием данных с непрерывным шифрованием.

Для машинного обучения обязательна маркировка данных. В FAIR мы стараемся обучать систему умеренно. Например, мы изучаем, как использовать большой объем данных, не помечая их вручную. Мы делаем это так: берем 3,5 млрд изображений в Instagram и обучаем достаточно большую нейронную сеть предугадывать хэштеги, которые люди вводят при публикации фотографии. Таким образом, мы составили список из 17 000 наиболее часто вводимых информационных хэштегов и обучаем сверточную сеть предугадывать, какой из них, вероятно, выберет пользователь для конкретного изображения.

Вам может показаться, что прогнозирование хэштегов – бесполезная затея? Вы правы. Но это обязательное условие. Данная операция позволяет нейронной сети разработать универсальное представление об изображении, а упомянутые 17 000 хэштегов охватывают почти все пространство понятий, содержащихся в изображениях. После обучения сети мы удаляем последний слой (тот, который производит хэштеги) и заменяем его другим слоем, который мы обучаем интересующей нас задаче. Например, обнаружение насильственных или порнографических изображений с целью их фильтрации.

Такое предварительное обучение, или трансферное обучение, работает лучше, чем обучение машины конкретной задаче. Оно отображает точные записи в таких базах данных, как ImageNet.

Другой способ – это использование нейронной сети «Mask R-CNN[116]», разработанной FAIR, которая за последние годы добилась большого прогресса. Она позволяет не только узнавать предметы или людей, но также определять их местонахождение и рисовать их контуры. Она укажет вам на кузена Чарльза, тетю Хлою, бейсбольную биту, которую Жюльен держит в руке, собаку перед дверью, бокалы и бутылку вина на столе, а также количество овец в поле… Зачем это нужно? Например, незрячий пользователь проводит пальцем по фотографии на его мобильном телефоне, а тот вслух описывает ему то, чего он коснулся. Сети настолько хорошо сжаты, что некоторые версии могут работать на современном мобильном телефоне в реальном времени со скоростью около 20 фотографий в секунду. Все это включено в программное обеспечение с открытым исходным кодом под названием Detectron, что, в свою очередь, позволяет исследовательскому сообществу улучшать его.

В марте 2019 г. я получил возможность оценить путь, пройденный мною с того момента, как я впервые «взломал» компьютер, будучи еще подростком. Итак, я имел удовольствие и честь получить премию Тьюринга, эквивалент Нобелевской премии в области вычислительной техники, присуждаемой Ассоциацией вычислительной техники. Я разделил премию с двумя моими коллегами – Йошуа Бенджио и Джеффри Хинтоном.

Премией Тьюринга награждаются научные или технологические работы, которые имеют большое практическое влияние и являются предметом научных публикаций. Насколько я понял, премию вручают и старым работам, даже таким, которые за последние пять лет не фигурировали в цитатах.

Получение награды совпало с изменениями в моей карьере в компании Facebook. В январе 2018 г. я оставил свою должность руководителя FAIR, чтобы стать главным специалистом компании по ИИ. Я отказался от оперативного управления и вернулся к исследованиям и технологической стратегии. Мое решение объясняется целым рядом причин. Во-первых, организация значительно выросла. Наряду с FAIR нам пришлось создать отдельную организацию, занимающуюся прикладными исследованиями и отвечающую за передачу новых разработанных методов для их практической реализации.

Эта новая организация была объединена с FAIR под общей крышей, так что они теперь могут взаимодействовать очень тесно.

Лично я считаю себя больше творческим мечтателем, чем руководителем. Создать проект, направить его в нужное русло – это, конечно, хорошо, но заниматься всем остальным – уже не моя история. Я решил передать свои полномочия в другие руки.

Руководство FAIR теперь составляют два человека – Антуан Бордес из Парижа, бывший руководитель FAIR в Париже, и Жоэль Пино из Монреаля, бывший руководитель FAIR в Монреале, а также профессор Университета Макгилла. Руководителем ИИ компании Facebook, курирующим FAIR и группу прикладных исследований FAIAR, является Жером Песенти. В этой организационной структуре я вместе с Жеромом отвечаю за научное и стратегическое направление.

На сегодняшний день даже самые лучшие системы ИИ все еще очень ограничены. По уму они уступают кошке, мозг которой содержит 760 млн нейронов и 10 000 млрд синапсов. Не говоря уже о ее «двоюродной сестре» собаке, в мозге которой 2,2 млрд нейронов. Мы не можем проектировать и строить машины, которые по мощности даже приближались бы к человеческому мозгу, с его 86 млрд нейронов и потребляемой мощностью около 25 Вт. Из главы 1 нам известно, что даже если мы понимаем принципы обучения в мозгу, даже если мы понимаем его структуру, вычислительная мощность, необходимая для воспроизведения его функционирования, оказывается гигантской – порядка 1,5 × 10¹⁸ операций в секунду. Сегодняшняя видеокарта способна выполнять лишь 1013 операций в секунду и потребляет около 250 Вт. Чтобы получить мощность человеческого мозга, вам придется подключить сотню тысяч таких процессоров к гигантскому компьютеру, потребляющему не менее 25 мегаватт; это в миллион раз превышает потребности человеческого мозга. Исследователи ИИ в Google и Facebook имеют доступ к вычислительным мощностям такого порядка, однако сложно заставить несколько тысяч процессоров работать одновременно над одной задачей.

Научная проблема здесь велика. Технологическая проблема тоже.

Мы неустанно работаем над расширением границ существующих систем. Какие возможности наиболее перспективны? Чего нам ожидать от будущих исследований?

Во Франции все слышали о Клемане Адере, пионере французской авиации. Репродукция его самолета Avion-III вызывает восхищение у посетителей Музея искусств и ремесел в Париже. Клеман Адер жил в конце XIX века. Еще за 13 лет до братьев Райт, в 1890 г., этот гениальный мастер построил самолет, который совсем немного оторвался от земли. Но никто не знает его имени за пределами Франции.

Почему? Да потому что за его работами никто не следил, да и мало кто видел его изобретение. Самолет Адера действительно летал, но оказался неуправляемым. Моделью для него послужила летучая мышь, но изобретатель не подумал о проблемах с маневренностью и устойчивостью, которые создавала его машина. Желая воспроизвести природу, он сбился с пути. Еще одна проблема: этот пионер авиации был человеком скрытным и дерзким. Вместо того чтобы выставлять свои работы, он показал их лишь горстке людей. Отсутствие очевидцев даже заставляет историков сомневаться в правдивости его достижений.

Эта история без будущего хорошо иллюстрирует мою точку зрения. Засекреченные эксперименты ни к чему не приведут. Об исследованиях нужно говорить, ведь они подпитываются обменами информацией. Они должны быть открытыми. Я убедился в этом, работая в Bell Labs, и пользовался тем же принципом в FAIR. С другой стороны, воспроизведение биологии без понимания принципов ее работы часто приводит к фиаско. Вместо этого мы должны выявить главное в естественных механизмах, которые мы пытаемся воспроизвести.

Мы много говорили о знаменитом научном дуэте Хьюбела и Визеля, а также о нейробиологах, которые начали расшифровывать человеческий мозг. Они и вдохновили первых исследователей искусственного интеллекта. Искусственный нейрон был непосредственно вдохновлен нейроном в головном мозге, так же как крыло самолета вдохновлено крылом птицы. Сверточные сети имитируют определенные аспекты архитектуры зрительной коры. Однако ясно, что будущее исследований ИИ не может быть сведено к бездумному копированию природы.

На мой взгляд, мы должны искать основы интеллекта и обучения, будь то биологический интеллект или электронный. Подобно тому, как аэродинамика объясняет полет самолетов, птиц, летучих мышей и насекомых, и как термодинамика объясняет преобразование энергии в тепловых двигателях и биохимических процессах, теория интеллекта должна отражать интеллект во всех его формах.

Обучение с учителем, наиболее часто используемое в ИИ, является лишь слабым отражением принципа обучения людей или животных. Оно основано на архитектуре, параметры которой постепенно корректируются для решения поставленной задачи. Но чтобы научить систему распознавать объекты, ей потребуются тысячи или даже миллионы изображений таких объектов.

Кроме того, примеры необходимо сначала идентифицировать и пометить вручную. Компании используют армии аутсорсеров, чтобы маркировать изображения, переводить текст с одного языка на другой и производить данные, необходимые для обучения таких систем. Этот процесс стал настолько распространенным, что Accenture, международная консалтинговая группа, уже предлагает именно такие услуги многим компаниям, использующим машинное обучение. В академических исследованиях часто используется платформа AMT (Amazon Mechanical Turk), услуга, предлагаемая Amazon, с помощью которой любой может войти в систему, чтобы выполнять маркировку объектов и получать деньги.

Обучение с контролем очень эффективно, когда данных достаточно. Но у него есть свои пределы. Оно работает лишь в пределах заданной области и оставляет «слепые зоны». В качестве доказательства я беру так называемые «состязательные» изображения, которые для глубокого обучения представляют собой то же самое, что и оптические иллюзии для людей. Эти заведомо идентифицируемые изображения могут легко заставить машину ошибиться. Эксперименты показали, что незначительное изменение дорожного знака «стоп» может привести к тому, что некоторые нейронные сети уже не смогут его обнаружить. Это уже причина беспокоиться о безопасности автономного вождения. В принципе, можно ввести в заблуждение и людей-водителей, замаскировав дорожные знаки, но почему такая маскировка опаснее для беспилотных автомобилей?

Давайте посмотрим, как это работает, на примере. Рассмотрим ИИ-приложение, которое различает кошку и тостер. Можно незаметно заменить изображение кошки на изображение человека, но машина оценит эту подмену как «тостер», причем с высоким баллом надежности. Чтобы этого добиться, нам достаточно показать изображение кошки машине и поменять пиксели этого изображения так, чтобы увеличить оценку для «тостера» и уменьшить оценку для «кошки» с помощью градиентного спуска. Однако с человеком этот фокус не пройдет – для него кошка с измененными пикселями все равно останется кошкой.

Как можно так легко обмануть сеть? При обучении с учителем машина выдает хорошие результаты лишь для обучающих примеров. Но обучающие примеры охватывают крошечную часть входного пространства[117]. Вне этих примеров поведение функции не определено.

В отличие от сетей с учителем, человеческая зрительная система обучена не только классификации изображений. Как мы увидим позже, она также обучена улавливать структуру визуального мира, помимо любой конкретной задачи. Возможно, именно поэтому, в отличие от нейронных сетей с учителем, детям не нужны тысячи примеров слонов, чтобы уловить суть концепции. Достаточно трех, даже стилизованных, примеров.

Поэтому обучение с учителем не позволяет создавать по-настоящему интеллектуальные машины. Это только часть решения. Нам не хватает многих кусочков реальной мозаики.

Некоторые видят решение проблемы в другом виде машинного обучения.

Так называемое обучение с подкреплением позволяет обучать машину, не подсказывая ей ожидаемого ответа, а только сообщая, является ли конкретный ответ правильным или нет. Оно используется, когда мы можем оценить качество ответа системы без возможности предоставить ей этот правильный ответ. Допустим, вы хотите научить робота поднимать предметы. Трудно постоянно указывать машине, как приводить в действие ее двигатели для выполнения задачи. Но после теста легко оценить, был ли объект действительно поднят. Робот может опробовать стратегию, посмотреть, работает ли она, попробовать другую стратегию, если предыдущая не сработала, и повторять процесс до тех пор, пока стратегия не сработает надежно. Последнее может быть достигнуто с помощью нейронной сети, входными данными которой являются изображение сцены и датчики положения, силы и касания робота, а выходными данными – команды, отправляемые двигателям. Такое обучение методом проб и ошибок с оценкой результата без предоставления правильного ответа машине называется «обучением с подкреплением». Пройти или не пройти тест зачастую можно автоматически, что позволяет системе учиться «самостоятельно».

Оценка успеха – это своего рода «награда» или «наказание» для машины, во многом это похоже на поощрение животного, которое вы дрессируете. В случае с машиной это число. Оно положительное, если ответ правильный, и отрицательное, если ответ неправильный. Однако машина не знает, в каком направлении изменить свой результат, чтобы улучшить награду (мы не можем вычислить градиент этой функции оценки, мы можем только наблюдать за ее значениями), поэтому она делает попытки, видит влияние новой тактики на награду и меняет свое поведение, настраивая параметры своей нейронной сети так, чтобы они награда была максимальной.

Суть обучения с подкреплением в том, что оно может обучать системы, производительность которых можно оценить, не предоставляя им правильный ответ. В основном оно используется, когда системе необходимо производить действия, например, для управления роботом или игры. Обучение с подкреплением оказалось чрезвычайно успешным в играх с AlphaGo и AlphaGo Zero компании DeepMind, а также Elf OpenGo, созданной Facebook.

Классический способ обучить машину игре в шахматы или шашки – запрограммировать ее на использование древовидного поиска[118]. Более новые методы используют глубокое обучение и обучение с подкреплением.

Мы пишем программу, которая учит машину играть по правилам, с системой обучения, определяющей, какие ходы, скорее всего, приведут к победе. Поначалу такая система не обучена и играет как-то не очень, … но мы заставляем копии этой машины играть против самих себя тысячи раз. В конце каждой игры «игрок» побеждает, скорее, случайно, но он обучает свою систему повторению или усилению успешной стратегии. Он как бы говорит ей: «В следующий раз, когда ты будешь играть в подобной ситуации, играй также, как ты и играл сейчас, потому что это привело к победе».

Таким образом, машина играет против себя миллионы, а иногда и миллиарды партий. При наличии достаточного количества новых компьютеров, работающих параллельно, система может играть в миллионы игр за считанные часы. В итоге система приобретает сверхчеловеческие способности, потому что она способна сыграть большую часть всех партий, возможных в той или иной игре. AlphaGo и AlphaGo Zero, последняя версия от Google DeepMind, работают именно таким образом. В Facebook у нас есть похожая система Elf OpenGo, которая, в отличие от систем DeepMind, имеет открытый исходный код и была подхвачена многими другими исследовательскими группами.

Обучение с подкреплением эффективно для игр, поскольку их можно запускать на многих машинах одновременно.

Как и в случае обучения с учителем, достижение сверхчеловеческих способностей требует огромных ресурсов и множества межсистемных взаимодействий. DeepMind обучил систему для игры в классические видеоигры Atari (их 80). Чтобы достичь приличного уровня, ему потребовалось не менее 80 часов тренировок за игру, в то время как человеку требовалось всего 15 минут, чтобы сделать то же самое. Но если вы позволите системе учиться дальше и дальше, она достигнет высот, превосходящих человеческие возможности. На самом деле 80 часов – это время, которое потребовалось бы машине, если бы она играла в игру в реальном времени. Но она может играть в игру намного быстрее и даже играть в несколько игр одновременно. Но работает этот прием только с играми. Вы не сможете заставить часы бежать быстрее, когда обучаете машину вождению!

Обучение с подкреплением, столь эффективное в играх, в реальном мире бессмысленно. Да-да, именно так! Если бы вы захотели использовать его, чтобы научить машину вождению, ей пришлось бы проехать миллионы часов и попасть в десятки тысяч аварий, прежде чем она научилась бы их избегать[119].

Машина упадет с обрыва, а система скажет: «А, должно быть, я ошибалась» и немного скорректирует стратегию. Во второй раз машина упадет с обрыва, может быть, немного по-другому, а система снова немного поправит стратегию и т. д. Автомобиль должен был бы упасть таким образом тысячи раз, прежде чем система поймет, как избежать падения.

Так что же позволяет большинству людей научиться водить машину примерно за 20 часов практики и при незначительном контроле, не попадая при этом в аварии (для большинства из нас)? Обучения с учителем и обучения с подкреплением в таком случае недостаточно. Нужно изобрести новую парадигму, чтобы машина могла быть встать на один уровень с обучением человека или животных.

Конечно, мы могли бы использовать моделирование, но тогда возникает другая проблема: симуляторы должны быть достаточно мощными и точными, то есть достаточно точно отражать то, что происходит в реальности, чтобы после того, как система была обучена моделированием, мы могли перенести ее возможности в реальный мир. Это возможно далеко не всегда. Описанная проблема, сокращенно называемая sim2real (англ. Simulation to Real World), является в настоящее время очень популярной областью исследований.

Часть научного сообщества полагала, что обучение с подкреплением станет ключом к разработке ИИ человеческого уровня. Дэвид Сильвер, капитан команды AlphaGo и представитель компании DeepMind, любит говорить, что «обучение с подкреплением – это суть интеллекта». Столкнувшись с этим «актом веры», некоторые из нас стали пессимистами. Я как-то упоминал «Черный лес», шоколадный торт, состоящий из чередующихся слоев бисквита и сливок, довольно внушительный, покрытый глазурью и украшенный засахаренной вишней. Я часто говорю на лекциях, что если интеллект – это «Черный лес», то бисквит представляет собой обучение без учителя, основной способ обучения у животных и людей, глазурь соответствует обучению с учителем, а вишенка на торте – это… обучение с подкреплением.

Парадокс искусственного интеллекта заключается в следующем: он очень мощный, он чрезвычайно специализирован, и он … совершенно лишен здравого смысла. «ИИ не наделен понятиями. У него нет культуры. Он ничего не понимает», – напомнил всем Эмманюэль Макрон 29 марта 2018 г., когда представлял доклад об искусственном интеллекте математика Седрика Виллани[120], обладателя медали Филдса и депутата LREM.

ИИ обладает лишь самым поверхностным представлением о мире. Беспилотный автомобиль, который может добраться из точки А в точку Б, не знает, что такое водитель.

Система перевода иногда совершает ужасные ошибки, не имея об этом ни малейшего представления. Виртуальные помощники работают в пределах, определенных их обучением. Они сообщают о пробках, настраиваются на вашу радиостанцию и мгновенно находят песню Жоржа Брассенса, которую вы ищете. Но если вы скажете ей: «Алекса, моя одежда не влезает в мой чемодан, что мне делать?» – она не сможет ответить: «Бери меньше одежды» или «Купи чемодан побольше». Скорее всего, она ответит: «Вот большие чемоданы, доступные на Amazon…». Если вы скажете ей: «Алекса, я уронил свой телефон в ванну», она не будет знать, что ваш телефон намок и его нужно починить. Чтобы ответить с пользой, Алексе понадобится немного здравого смысла, то есть некоторые знания о том, как устроен мир, и о его физических ограничениях.

Нынешнему ИИ не хватает здравого смысла, а здравый смысл очень важен. Он обусловливает нашу связь с миром. Он заполняет пробелы и восполняет неявное. Вспомните, как человек сидит за столом. Мы можем не видеть его ног, но мы знаем, что они у него есть, потому что у нас есть определенные знания о строении тела человека. Вспомним элементарные законы физики. Мы знаем, что, если человек опрокинет стакан, вода выльется на стол. Мы знаем, что, если не держать предмет в руках, он упадет. Мы осознаем время и движение. Когда человек встает, мы знаем, что он больше не сидит, потому что человек не может находиться в этих двух состояниях одновременно.

Из предложения: «Пьер взял свою сумку и вышел из конференц-зала», мы сразу получаем много важной информации. Пьер, наверное, мужчина. Он, скорее всего, на работе. В его сумке наверняка есть документы. Чтобы взять сумку, Пьер делает это рукой, а не ногой, он сжимает пальцы, чтобы поднять ее, он встает со стула (он, скорее всего, сидел, возможно, на совещании), он идет к двери, а не летит, он берется за дверную ручку, поворачивает ее и переступает порог.

С самого начала мы знаем, что другие события невозможны: Пьер не собирается брать свою сумку с помощью психокинеза, он не собирается дематериализоваться, чтобы затем материализоваться за пределами комнаты, он не собирается проходить сквозь стену (если, конечно, он не человек, проходящий сквозь стены) и т. д.

Модель мира, которую мы постепенно усваиваем, – я намеренно использую ту же лексику, что и для искусственного интеллекта – в течение первых месяцев и лет нашей жизни позволяет нам заполнить это весьма банальное предложение массой недостающей информации. Она не дает нам всех сведений, но мы подразумеваем ее, потому что знаем, как устроен мир. Точно так же, когда мы читаем текст, мы можем более или менее предвидеть следующее предложение, а когда мы смотрим видео, мы можем более или менее предсказать последовательность действий и реакций.

В настоящий момент эта способность предсказывать у машин очень ограничена. Конечно, работая с адаптированным текстом, машины могут составить список возможных следующих слов. Но если взять настоящий текст, например, роман Агаты Кристи, и перейти к финальной сцене, где Эркюль Пуаро объявляет: «Следовательно, убийца – сэр …», читателю уже потребуется изрядная доля здравого смысла и знаний человеческой натуры, чтобы суметь закончить предложение. Ни одна машина это не способна.

Наш здравый смысл характеризуется способностью делать выводы. Это позволяет нам определиться в мире и действовать. Моя гипотеза состоит в том, что это – результат другой формы обучения, которую я называю «обучением без учителя».

На данный момент данное человеческое обучение намного эффективнее, чем любой другой метод машинного обучения.

Психологи, занимающиеся развитием личности, такие как Эмманюэль Дюпу, профессор когнитивных наук в Высшей нормальной школе и по совместительству исследователь в FAIR в Париже, объясняют, что такой тип обучения начинается у нас очень рано[121]. С первых месяцев жизни дети получают много знаний о том, как устроен мир. С двухмесячного возраста они знают разницу между одушевленными и неодушевленными предметами. Они рано понимают, что эти объекты не появляются спонтанно, и что они всегда есть, даже если спрятаны другими. Они приобретают понятие «постоянства». Эти свойства очевидны для взрослых, но изучать их нам приходится в первые несколько месяцев. Интуитивная физика появляется между шестью и восемью месяцами. Спустя девять месяцев малыш осваивает законы гравитации и инерции. Когда он сталкивается с опытом, который нарушает один из этих универсальных законов, его глаза округляются, и можно увидеть его удивление.

Он изучает эти основные понятия благодаря наблюдениям и экспериментам. Еще до того, как научиться ходить, ребенок ведет себя, как ученый. Если в восемь месяцев посадить его на стульчик и поставить игрушки перед ним, он будет поднимать их, бросать, следить за ними глазами, когда те падают, и будет подбирать игрушки, чтобы начать этот процесс сначала. Не ругайте его! Он изучает принцип работы гравитации.

В то же время ребенок развивает способность предсказывать. Это важно для полноты нашего восприятия (у сидящего человека есть ноги, которых я не вижу), но в более общем плане – полезно для прогнозирования последствий наших действий. Это позволяет нам их планировать. Если вы толкнете легкий объект, он сдвинется. Но чтобы пододвинуть тяжелый предмет, потребуется больше усилий.

У нас есть тысяча и один сценарий и их предполагаемые последствия. У нас также есть тысяча и одна прогностическая модель человеческого поведения. Они подпитывают наш социальный интеллект, они позволяют нам представить, как окружающие отреагируют на наши действия, или, в более общем смысле, какими могут быть последствия наших действий в мире.

Люди и животные учатся с помощью комбинации различных методов, которые исследователи искусственного интеллекта пытаются использовать в машинах. Я предполагаю, что они приобретают большую часть своих знаний посредством обучения без учителя, где важную роль играет наблюдение; к нему добавляется небольшая часть обучения (или имитационного обучения) с учителем и еще совсем маленькая доля обучения с подкреплением. Обучение ходьбе, езде на велосипеде или вождению сочетает в себе все три типа обучения. Когда мы учимся водить машину по дороге, граничащей с обрывом справа, мы знаем из нашей модели мира, что, если повернем руль вправо, машина поедет к обрыву, и наши знания о гравитации позволяют нам предсказать, что последствия будут плачевными: не стоит проверять этого «на всякий случай». Именно такой модели обучения не хватает машинам, что делает их обучение с подкреплением крайне неэффективным. Некоторые исследователи пытаются обучить машины изучать прогностические модели и использовать эти модели, чтобы уменьшить количество проб и ошибок при обучении. Мы говорим об «обучении с подкреплением на основе моделей», но и этот подход все еще находится в зачаточном состоянии.

Рис. 9.1. Этапы перцептивного, моторного и социального развития по Эмманюэлю Дюпу

Младенцы получают огромное количество базовых знаний о том, как устроен мир, в первые несколько месяцев жизни. Это обучение осуществляется в основном путем наблюдения: в первые месяцы младенцы очень мало влияют на окружающий их физический мир. Примерно через девять месяцев дети понимают, что объект без опоры падает под действием силы тяжести. До этого периода объект, который парит в воздухе, их (по словам Эмманюэля Дюпу) совсем не удивляет.

В человеческом мозге для приобретения этого знания (которое, на мой взгляд, и является сутью интеллекта) предназначена лобная доля. Животные учатся так же, как и мы. Некоторые выглядят более одаренными, чем другие. Среди птиц особенно талантливыми считаются вороны. Среди морских животных очень умны осьминоги, несмотря на то, что природа не особенно благосклонна к ним: они живут всего несколько лет и не воспитываются матерью, поскольку та умирает вскоре после выхода молодых осьминогов из яиц. Смерть матери – трагедия для человека, однако гибель их прародителя, похоже, не влияет на головоногих моллюсков, которые мирно обитают на морском дне в течение сотен миллионов лет.

А вот кошки! У них нет навыков рассуждения, как у людей, но у них куда больше здравого смысла, чем у самой умной машины. У крыс тоже. Я бы считал свою карьеру успешной, если бы мы могли создавать машины, которые будут такими же умными, как крыса или белка! Все эти животные познают мир посредством наблюдений. Они приобретают прогностические модели, которые позволяют им выжить.

Если мы поймем, как люди и большая часть животных приобретают этот огромный объем знаний о мире, в первую очередь – посредством наблюдений, мы сможем развить системы ИИ гораздо дальше.

Основная идея обучения без учителя состоит в том, чтобы взять вход, скрыть под маской часть этого входа и обучить машину предугадать маскированную часть по видимой части. Примером этого является прогнозирование видео: машине показывают видео и просят ее предсказать то, что будет происходить в видео. Затем ей дается прогноз как желаемый выход, и машина настраивается, чтобы улучшить свой прогноз. Данный процесс очень похож на обучение с учителем. Разница в том, что желаемый выход является временно скрытой частью входа.

Однако в обучении с учителем до сих пор полностью не решена серьезная проблема: как представить неопределенность в прогнозировании? Для данного сегмента видео возможны несколько вариантов развития событий. Как сделать так, чтобы машина могла отображать все эти возможности?

В главе 7 мы увидели, что обучение без учителя очень хорошо помогает обучить машину предсказывать слова в тексте. На входе в машину вводят фрагмент текста, некоторые слова которого скрыты, и обучают машину находить недостающие. Система учится представлять значение и структуру текста, просто обучаясь предсказывать пропущенные слова. Для текста относительно легко представить неопределенность прогноза. Для каждого пропущенного слова система создает большой (многомерный) вектор, каждый компонент которого указывает вероятность того, что конкретное слово в лексиконе является пропущенным словом. Результатом работы системы является распределение вероятностей по всем словам в лексиконе для каждого пропущенного слова.

Рис. 9.2. Обучение без учителя

Обучение без учителя включает в себя ввод входных данных, таких как видеоклип, маскирование части входных данных и обучение модели предсказанию скрытой части по видимой. Для этого модель должна фиксировать внутреннюю структуру данных, позволяющую заполнить пробелы. В видеоклипе на диаграмме выше наблюдаемая часть показана темным цветом, маскированная (предсказуемая) часть – светлой, а игнорируемая часть – серым цветом. В зависимости от режима обучения можно научить машину предсказывать будущее из прошлого и настоящего, предсказывать прошлое из настоящего или любую другую комбинацию, например, предсказывать верхнюю часть изображения в соответствии с нижней.

К сожалению, дело обстоит иначе, когда вход состоит из непрерывных больших сигналов, таких как кадры из видео. Непонятно, как представить распределение вероятностей в пространстве всех возможных изображений.

Возьмем пример. Ручка, опирающаяся кончиком на стол в вертикальном положении, удерживается моим пальцем. Я прошу машину предсказать ситуацию (состояние мира) через две секунды после того, как я уберу палец (рис. 9.3). Человек сможет предсказать, что ручка упадет на стол, но не может сказать, в какую сторону. Ориентация непредсказуема. Если обучать машину большим количеством видеоклипов, в которых я буду повторять эксперимент, начальные сегменты всех клипов будут, по существу, одинаковыми, но все конечные сегменты будут разными, с разным положением упавшей ручки. Если система представляет собой нейронную сеть (или некоторую другую параметризованную функцию), выход которой состоит из кадров последнего сегмента видео, она может производить только один выход для каждого входа. Чтобы минимизировать ошибку прогнозирования, система будет ведена к получению среднего значения всех правдоподобных конечных сегментов, то есть изображения, состоящего из ручки во всех возможных положениях. Это – очень странный прогноз.

Рис. 9.3. Направление падения ручки непредсказуемо

Пальцем я держу ручку в вертикальном положении; кончик ее опирается на столе. Я прошу наблюдателя, человека или машину, предсказать состояние мира – ситуацию через две секунды после того, как я уберу палец. Человек сможет предсказать, что ручка упадет на стол, но не сможет указать ее ориентацию. В этом есть неопределенность. Если вы научите машину предсказывать продолжение видео с начальным кадром, как слева на рисунке, она не сможет сделать правильный и единый прогноз. Если ее попросят сделать один прогноз, лучшее, что она может сделать, – это выдать среднее значение всех возможных кадров из исходного видео. Но такой прогноз будет изображением, состоящим из ручки во всех возможных положениях, как изображено справа. Это плохой прогноз.

Рис. 9.4. Прогнозирование видео

На видео маленькая девочка перед праздничным тортом. Трудно предсказать, будет ли девочка вытягивать голову вперед, чтобы задуть свечи, или отведет ее назад, чтобы хлопать в ладоши. Система, обученная минимизировать ошибку прогнозирования, будет сведена к прогнозированию среднего вероятного прогноза, что является нечеткой картиной. Вверху: четыре кадра, поступающие в сеть. Внизу: следующие два кадра, предсказанные сверточной сетью, приводимой к минимизации квадратичной ошибки с тысячами клипов.

Давайте возьмем видео, где в комнату вносят торт в день рождения маленькой девочки (рис. 9.4). Перед ней ставят торт с зажженными свечами. Что она собирается делать? Для того, чтобы машина могла это предсказать, ей потребуется модель мира, содержащая большой объем информации о привычках и обычаях определенных культур, и не только. Ей также потребуются знания интуитивной физики, чтобы предсказать, что если задуть свечу, то она погаснет. Не говоря уже о неопределенностях: свечи может задуть девочка, стоящая рядом, девочку могут напугать гости, а может она начнет с аплодисментов и т. д. Как в этих случаях обучить систему прогнозирования? Девочка может двигать головой вперед или назад, поэтому система, обученная делать наилучшее прогнозирование, создаст размытое изображение, соответствующее наложению различных положений головы девочки.

Если бы мне пришлось выделить только одну проблему среди тех, которые стоят на пути прогресса в области ИИ, я бы сказал так: как заставить работать обучение без учителя, когда сигнал не полностью предсказуем, и притом является непрерывным и многомерным?

Модель, обученная без учителя, – это параметризованная функция (например, нейронная сеть) yp = g (x, w), где x – это часть наблюдаемых входов, а yp – прогноз. Данная формулировка, идентичная формулировке обучения с учителем, не позволяет модели делать ничего, кроме прогноза для заданных входов. Основная идея состоит в том, чтобы добавить к f аргумент z, который мы называем скрытой переменной:

Путем изменения z в заданном наборе выход yp будет меняться сам по себе. Набор всех выходов, полученных при изменении z в заданном наборе, представляет собой набор прогнозов модели. Эта ситуация показана на рис. 9.5.

Рис. 9.5. Модель со скрытой переменной

Модель со скрытой переменной зависит от значения скрытой переменной z, которая при изменении в наборе (обозначенном серым прямоугольником внизу) создает набор выходов, представленных серой лентой справа.

Существует несколько методов обучения модели со скрытыми переменными. Самый популярный метод, GAN (Generative Adversarial Network, генеративно-состязательные сети), был предложен в 2014 г. Яном Гудфеллоу[122], когда он был студентом Йошуа Бенжио. Принцип GAN показан на рис. 9.6. В примере (x, y) мы случайным образом извлекаем значение z из набора возможных значений, что дает прогноз yp. Поскольку z нарисован случайным образом, вероятность того, что прогнозируемый yp будет равен желаемому y, мала. Идея GAN состоит в том, чтобы обучить вторую сеть, называемую «критической сетью», определять, находится ли прогноз yp в наборе вероятных выходов или нет. Мы можем рассматривать критическую сеть как обучаемую функцию стоимости. Критическая сеть обучена обеспечивать низкую стоимость выходов, связанных с примерами (x, y), и высокую стоимость всех других наблюдений. В частности, дискриминатор предполагает, что прогнозы генератора (x, yp) неверны, и корректирует его веса, чтобы предоставить этим прогнозам высокую стоимость. Одновременно с этим первая сеть («генератор») корректирует свои веса для получения прогнозов, при которых дискриминатор выдаст низкую стоимость.

Рис. 9.6. GAN (генеративно-состязательные сети) или состязательные генеративные сети

GAN состоит из двух сетей, управляемых одновременно; одна из них является дискриминатором, а другая – генератором. Генератор берет наблюдение x (например, начальный сегмент видеоклипа) – значение, полученное случайным образом из скрытой переменной z (которая является вектором), и производит прогноз yp. Данный прогноз оценивается критической сетью. Эта сеть представляет собой своего рода обучаемую функцию стоимости. Форма функции стоимости обозначена справа в трех моментах обучения. Сначала функция стоимости плоская. Наблюдаемые у для данного х – это маленькие темные точки. Для наблюдаемого x дискриминатор корректирует свои параметры u, чтобы обеспечить низкую стоимость наблюдаемого y и высокую стоимость yp, предсказываемую генератором. Функция стоимости расширяется вокруг маленьких темных точек и поднимается вокруг ярких точек, создаваемых генератором. Одновременно генератор использует градиент стоимости по отношению к своему выходу (путем обратного распространения через дискриминатор), чтобы настроить свои параметры w и приблизить свои прогнозируемые точки к долине стоимости (т. е. давать хорошие прогнозы). После обучения мы можем нарисовать z наугад и получить набор правдоподобных yp с учетом наблюдения x.

С момента своего создания GAN стали предметом феноменального количества статей. Они дали впечатляющие результаты, хотя управлять ими очень сложно. Первые ошеломляющие результаты появились в ноябре 2015 г., когда вышла статья Алека Рэдфорда, Люка Метца и Сумита Чинтала[123]. Сумит работал в FAIR, Алек и Люк открыли стартап в Бостоне, но первый с тех пор присоединился к OpenAI, а второй – к Google. Их статья показала, что GAN, использующие архитектуру сверточной (или, скорее, деконволютивной) сети, может создавать довольно убедительные синтезированные изображения. Вход в генератор представляет собой 100-мерный скрытый вектор (в их случае нет x-входа), а выход – цветное изображение размером 64 × 64 пикселя. Дискриминатор – односторонняя сверточная сеть. Авторы тренировали свою сеть на фотографиях спален. После обучения сети дается 100 случайных чисел, и она создает образ воображаемой, но совершенно убедительной спальни. Эта статья была сродни взорвавшейся бомбе. Все перешли на GAN! Они являются одним из способов выполнения старой мечты моделирования данных: параметризация очень сложной поверхности в многомерном пространстве, о котором что-то известно только на немногих конкретных примерах.

Год спустя вместе с моим учеником Микаэлем Матье и Камилль Купри, исследователем из FAIR в Париже, мы показали, что GAN могут помочь решить проблему размытых изображений при прогнозировании видео[124]. Вместе с Камиллем и другими участниками FAIR мы будем создавать изображения одежды после обучения на основе коллекции изображений от известного дизайнера[125]. Некоторые примеры приведены на рис. 9.7.

Но одна из самых впечатляющих демонстраций GAN – это статьи из финских лабораторий NVidia, где сверточная GAN смогла создать очень качественные и очень реалистичные лица после обучения на примере портретов известных людей[126].

У GAN и современных генеративных моделей в более общем плане есть много приложений для творчества: раскрашивание старых пленок, увеличение разрешения изображения, инструменты для обработки изображений и синтеза. Некоторые используют их для синтеза звука и музыкальных композиций.

Рис. 9.7. Одежда с напечатанным рисунком, произведенная методом состязательного обучения

Генератор со сверточной архитектурой был обучен на коллекции изображений модных вещей от известного дизайнера.

Но у этих методов может быть и очень сомнительное применение. Например, «дипфейки», то есть очень правдоподобные на первый взгляд изображения или видео (иногда очень вульгарные), на которых политики или люди искусства оказываются в щекотливом или недостойном положении.

При помощи GAN также можно менять и голос: человек А говорит предложение, а мы можем преобразовать голосовой сигнал так, как будто предложение сказал человек Б с его собственной интонацией, акцентом, особенностями речи и т. д. Для этого достаточно записать образец голоса человека Б и затем клонировать его.

Поскольку обучение GAN проводится без учителя, появилась надежда на использование состязательных методов для предварительного обучения системы перед обучением с учителем. Это позволило бы сократить количество примеров, необходимых в ходе обучения, однако эти методы пока не привели к существенным улучшениям в работе систем технического зрения.

Кроме того, никто не нашел способа использовать их для создания текста. GAN «предпочитают» непрерывные данные, подобные изображениям, дискретным данным, таким как текст.

Мы говорили про обучение без учителя для построения представлений данных. Конечная его цель – позволить машинам изучать модели мира путем наблюдения. Тогда обучение роботов могло бы идти намного быстрее.

На сегодняшний день машинам, в отличие от человека или животных, не хватает способности предугадать последствия своих действий. У нас есть модель мира в нашей префронтальной коре головного мозга, которая позволяет нам предсказывать динамику окружающей среды и предсказывать последствия этих изменений, поэтому мы можем с надежностью планировать то или иное действие (или последовательность действий). Часть исследований ИИ работает над тем, чтобы наделить машины этой способностью, но они пока находятся в зачаточном состоянии.

А погода, спросите вы? Она, по сути, предсказывает движение облаков и изменения барометра. Прогнозирование – это его «ДНК», как и у менее знакомых нам систем управления робототехникой, аэронавтикой или промышленными процессами. У робота есть подробная модель его динамики, которая позволяет ему прогнозировать то, как воздействие на его двигатели повлияет на положение и скорость его «конечности». НАСА использует уравнения динамики ракеты для планирования траектории стыковки с Международной космической станцией. Но все эти модели написаны инженерами вручную с применением механики Ньютона: вот в чем разница. Эти роботы не обучены. То же самое и с прогнозом погоды или расчетом обтекания самолета, законы которого написаны вручную физиками, освоившими гидродинамику или метеорологию.

С другой стороны, прогнозирование потребления электроэнергии в городе, стоимости финансовых активов или недвижимости, электорального поведения населения или даже реакции организма на лекарство – это не уже физика. Одних базовых принципов, таких как сохранение энергии или импульса, недостаточно для написания этих моделей. Сложные коллективные явления редко можно свести к нескольким основным принципам. Мы должны полагаться на феноменологические модели, которые ограничиваются прогнозированием интересующих нас переменных на основе наблюдаемых данных, не прибегая к редукционистской модели причинно-следственных связей между этими переменными. Цена дома зависит от жилой площади, количества комнат, размера земельного участка. Но оно также зависит от критериев, которые труднее определить количественно, таких как качество школ в районе, внешний вид дома или спокойствие и привлекательность района. Трудно все это вставить в уравнение!

Вы можете обучить систему (нейронную сеть или что-то еще) предугадать цену на основе этих данных и надеяться, что вы предоставили ей все необходимые переменные. Но обучение модели прогнозированию того, что произойдет даже в относительно простых ситуациях, – это совсем другое дело. Заходим в комнату. Малыш, который только начал ходить, бросается к нам в объятия, не заметив лежащего на земле электрического провода. Споткнется ли он, ударится ли головой о журнальный столик, опрокинет ли вазу, стоящую на краю стола? Эти предвидимые нами обстоятельства заставляют нас поспешить, чтобы не дать ребенку упасть. Но как робот может узнать достаточно о том, как устроен мир, чтобы представить и предотвратить все это?

Подобный «электромеханический работник» должен был бы наблюдать за ситуацией своей камерой и предугадать, как и мы, ряд возможных сценариев. Однако взаимосвязи, которые позволят прогнозировать действие на основе видеофрагмента, чрезвычайно сложны.

А теперь представьте себе робота-повара. Несмотря на то, что его рабочая зона (и работа в целом) ограничены, он, тем не менее, уже должен иметь весьма сложную модель мира. Как и любой повар, он должен уметь предугадывать, что произойдет, если он добавит молоко в муку или когда он доведет соус до кипения. Он должен понимать то, что мы считаем само собой разумеющимся: если он, например, перельет содержимое большой емкости в маленькую, значительная часть его пропадет. Он должен обладать достаточными знаниями в области интуитивной физики, чтобы знать, что стакан упадет после толчка, что необходимо обойти или переместить салатницу, чтобы вытащить пакет сахара, или какие движения нужно сделать, чтобы вставить насадки в электрический миксер. Итак:

1. Количество входных переменных огромно: их, возможно, миллионы, включая изображения с одной или двух камер, датчики расстояния, касания, силы, температуры, микрофоны и т. д.

2. Модель, описывающая состояние «мира» (кухни) в момент времени t + 1 в зависимости от его состояния в момент времени t и выполняемого действия, чрезвычайно сложна.

3. Постоянно приходится иметь дело с чем-то непредсказуемым.

Учитывая состояние мира (кухня или среда, в которой находится робот, что бы это ни было), и учитывая действие робота, модель должна предсказывать все возможные состояния мира в будущем. Часто его представляют следующей функцией:

где s[t + 1] – будущее состояние, s[t] – текущее состояние, a[t] – выполненное действие, а z[t] – скрытый вектор, представляющий все непредсказуемое в эволюции мира. Эта функция должна быть выполнена нейронной сетью.

Как ее обучить? Начнем с конкретной ситуации s[t]. Мы выполняем действие a[t], произвольно вносим z[t] и наблюдаем результаты в мире s[t + 1]. Затем мы корректируем w, параметры f, так, чтобы прогноз приближался к наблюдаемому результату. Возможно несколько прогнозов, и это обстоятельство все усложняет. Мы можем обучить эту модель состязательным методом. Данный прогноз следует повторить, несколько раз произвольно изменяя z[t].

Изучение модели для планирования последовательности действий является предметом обсуждений во многих лабораториях, в FAIR, в Калифорнийском университете в Беркли, в Google в их дочерней компании DeepMind и в других учреждениях. Но все мы сталкиваемся с одним и тем же препятствием: с трудностью делать прогнозы, потому что мир не очень-то предсказуем.

Системы, которые упоминались ранее, в значительной степени ориентированы на восприятие и интерпретацию естественных сигналов. Обучение с подкреплением пытается объединить восприятие и действие в единую парадигму обучения. Но мы уже убедились в том, что количество проб и ошибок, необходимых для обучения таких систем, недопустимо во многих практических приложениях, таких как робототехника или автоматическое вождение.

Пришло время подумать об общей архитектуре автономного интеллектуального агента, который мог бы научиться воспринимать, планировать и действовать. По этому вопросу проводится много исследований, но эксперты пока не достигли консенсуса относительно дальнейших действий.

Лучший пример автономного интеллектуального агента – это люди. Чтобы понять, чего еще не хватает машине, давайте посмотрим на поведение человека. Им управляет два механизма. Первый – реактивный или стимул-реактивный. Он управляет задачами, которые мы можем выполнять, не задумываясь. Нам бросают мяч, мы ловим его на лету. Нас спрашивают «2 + 2?», мы отвечаем «4». Мы едем на машине по прямой, пустой дороге, не обращая на нее особого внимания.

Второй механизм является сознательным и включает нашу модель мира и нашу способность планировать. Мы должны правильно припарковать машину в специально отведенном для этого месте, или сесть на поезд в незнакомом городе, или выбрать между тем или иным товаром в магазине, рассказать историю, доказать теорему или написать программу, поговорить с банковскими или административными сотрудниками и т. д.

Эти два способа мышления и действий известный психолог и лауреат Нобелевской премии по экономике Даниэл Канеман[127] называет «системой 1» и «системой 2». Некоторые виды поведения типа 1 являются врожденными, например, закрытие век, когда объект быстро приближается к нашему лицу, но большинству из них мы учимся в течение жизни. Поведение типа 2 включает в себя процессы осознанного и рефлексивного мышления.

Давайте перейдем к машине. Все системы, с которыми мы столкнулись до сих пор, относятся к системе 1, а именно «реактивной». Какую архитектуру следует создать, чтобы машина обладала поведением, относящимся к системе 2, а именно «сознательной»? Возможная архитектура автономной интеллектуальной системы показана на рис. 9.8. Она состоит из агента, взаимодействующего с окружающей средой, и целевого модуля, своего рода функции стоимости, которая измеряет степень неудовлетворенности агента. Агент наблюдает за окружающей средой через модуль восприятия, который дает ему представление (как правило, неполное) о мире вокруг него. Целевой модуль наблюдает за внутренним состоянием агента и выдает выходное число, подобное стоимости. Расчетная стоимость низкая, когда все в порядке, высокая, когда что-то не так. Агент старается минимизировать среднее значение целевого результата, рассчитанного в долгосрочной перспективе. Другими словами, целевой модуль «вычисляет» боль (высокая стоимость), удовольствие (низкая стоимость) и побуждение (высокая стоимость, когда они не удовлетворены, низкая стоимость, когда они удовлетворены) – если вообще мы можем назвать их так в случае с машиной. Агент учится минимизировать боль, получать максимальное удовольствие и удовлетворять побуждения, воздействуя на окружающую среду.

Рис. 9.8. Автономная интеллектуальная система с внутренней целью

Система наблюдает за состоянием окружающей среды через модуль восприятия. Он производит воздействие на окружающую среду, чтобы минимизировать целевую функцию (своего рода функцию стоимости), которая измеряет степень ее неудовлетворенности. Данная целевая функция наблюдает за внутренним состоянием агента и выдает небольшое число, если агент находится в состоянии удовлетворения, и большое число, если агент находится в неудобном или болезненном состоянии. Система должна научиться производить действия, которые минимизируют среднее значение цели в долгосрочной перспективе. Эта цель обеспечивает внутреннюю мотивацию системы. Она может быть построена частично «вручную», чтобы обезопасить систему и людей, которые ее используют, во многом подобно цепям и инстинктам боли или удовольствия у животных и людей. Но ее можно и частично обучить.

В мозге подобную роль играет набор структур, расположенных в базальных ганглиях[128]. Они «вычисляют» наше удовольствие, нашу боль и нашу удовлетворенность. Эта архитектура является основой обучения с подкреплением с так называемой «внутренней» мотивацией, когда стоимость рассчитывается внутри машины целевым модулем. В более традиционной модели обучения с подкреплением, используемой AlphaGo, цель является внешней. Величина стоимости не рассчитывается системой, а предоставляется непосредственно агенту окружающей средой в виде числа, символизирующего награду или наказание. Наличие внутренней цели позволяет вычислить ее градиент, чтобы знать, в каком направлении следует изменить состояние агента, чтобы минимизировать цель.

Когда человек хочет что-то сделать, под этим предполагается желаемое состояние мира. Для планирования ряда действий, соответствующих достижению этого желаемого состояния, человек использует модель мира, которая позволяет ему предсказать состояние, возникающее в результате ряда действий. Нам нужно переместить стол из одной комнаты в другую. Желаемое состояние мира – «стол в другой комнате». Но какая последовательность мышечных действий, миллисекунда за миллисекундой, приведет к желаемому результату? Это проблема планирования. Без модели мира человек был бы вынужден опробовать множество последовательностей действий и наблюдать за результатами. Модель мира позволяет нам избегать необходимости пробовать всевозможные сценарии, некоторые из которых могут быть опасными. Помните, что при обучении с подкреплением система не имеет модели и должна перепробовать все!

Шутка для специалистов: окружающую среду и реальный мир нельзя продифференцировать! Вы не можете распространять градиенты по всему миру, чтобы вычислить, как изменить действие, чтобы приблизить его к желаемому состоянию! Вы также не можете заставить реальный мир работать быстрее реального времени.

Как и человек, машина должна иметь модель мира, которую ей придется создавать заново. Агент должен иметь внутреннюю структуру, которая позволяет ему предсказывать последствия серии действий для состояния мира и его цели. Архитектура агента с внутренней моделью показана на рисунке 9.9. Она состоит из трех модулей:

1. Модуль восприятия, который дает оценку состояния мира.

2. Модель мира, то есть функция g, которая в момент времени t предсказывает состояние следующего мира на основе текущего состояния s[t], действия а[t] и, возможно, скрытой переменной z[t], заданной произвольно и позволяющей создавать несколько сценариев, если мир не полностью предсказуем:

s[t + 1] = g(s[t], a[t], z[t], w)

3. Дискриминатор, то есть функция стоимости C(s[t]). Дискриминатор состоит из суммы выражений, некоторые из которых создаются вручную, а другие обучаются и генерируются нейронной сетью. Они настраиваются для прогнозирования будущего среднего значения цели. Они говорят нам, приведет ли состояние мира к благоприятному или неблагоприятному исходу. Притом, чтобы стать правдивой, хорошая модель мира должна включать и модель самого агента (хотя бы простую).

Рис. 9.9. Внутренняя архитектура автономного агента с прогностической моделью

Чтобы действовать разумно и минимизировать свою цель, агент должен иметь три компонента: модель прогнозирования среды, дискриминатор, который предсказывает среднее значение цели в будущем, и субъект, предлагающий последовательность действий. При планировании модуль восприятия оценивает состояние мира s[0]. В каждый момент t мы предоставляем модели гипотезу действия a[t] и значение переменной z[t], и прогнозируем следующее состояние мира, используя модель s[t + 1] = g (s[t], a[t], z[t], w). Дискриминатор берет прогнозируемое состояние s[t] и вычисляет стоимость. Он пытается предсказать, приведет ли состояние модели к благоприятному или неблагоприятному исходу. Дискриминатор обучен предсказывать будущий средний результат целевого модуля. Он рассчитывает прогноз средней долгосрочной неудовлетворенности.

Чтобы спланировать действие, агент выдвигает гипотезу о последовательности действий и разворачивает модель (справа). Он уточняет гипотетическую последовательность действий, чтобы минимизировать среднюю стоимость, рассчитанную на траектории. Это уточнение может быть выполнено с помощью градиентного спуска, поскольку модель и стоимость являются дифференцируемыми функциями (нейронными сетями). Агент выполняет первое действие оптимизированной последовательности, наблюдает за новым состоянием мира и повторяет процесс. Полученные таким образом действия могут служить в качестве целей для обучения субъекта прямому прогнозированию наилучшего действия без необходимости какого-либо планирования или использования модели, то есть перехода от разумного действия к инстинктивному.

Архитектура может использоваться в двух режимах, более или менее соответствующих «системе 2» Даниэла Канемана (сознательное планирование) и «системе 1» (быстрое реагирование).

Начнем с сознательного планирования, которое инженеры в области оптимального управления называют «управлением по модели предсказания удаляющегося горизонта». Эпизод начинается с оценки состояния мира модулем восприятия. Такое состояние инициализирует модель мира. Затем модель имитирует эволюцию мира в течение определенного периода времени (определенное количество шагов – это горизонт), используя случайную последовательность z и последовательность гипотетических действий: s[t + 1] = g(s[t], a[t], z[t]). В каждый момент времени рассчитывается стоимость c[t] = C(s[t]). Теперь нужно уточнить гипотетическую последовательность действий, чтобы минимизировать среднюю стоимость по последовательности. Это можно сделать с помощью градиентного спуска. К сожалению, данную операцию приходится повторять для нескольких случайных последовательности скрытой переменной z[t]. Цель состоит в том, чтобы найти первое действие, которое ведет к благоприятному исходу (низкая стоимость) независимо от скрытой переменной. В конце эпизода, как только мы определили оптимальное действие, мы выполняем его, наблюдаем новое состояние мира и повторяем операцию для следующего момента времени t. Это довольно затратно с точки зрения вычислительного времени, поскольку модель создает множество очень разных сценариев всякий раз, когда скрытая переменная меняет значение.

Второй метод – обучить модуль субъекта; его иногда называют «стратегическая сеть». Как и раньше, мы «прогоняем» модель определенное количество раз и вычисляем среднюю стоимость. Но на этот раз последовательность гипотетических действий создается модулем субъекта, функцией p, которая принимает состояние мира в качестве входов и производит действие a[t] = p(s[t]). Чтобы обучить субъекта, мы распространяем обратно градиенты стоимости на весь эпизод (правая часть рис. 9.9) и настраиваем параметры p, чтобы минимизировать среднюю стоимость по всей последовательности.

Вот типичное приложение такой модели. Допустим, мы хотим научить беспилотный автомобиль ездить по трассе. Разумеется, речь не идет о том, чтобы отправить необученный автомобиль на настоящую трассу: он далеко не уедет. Во-первых, для модели было бы неплохо предсказать, что будут делать окружающие этот автомобиль машины в течение нескольких секунд. Состояние мира, или, скорее, непосредственного окружения автомобиля, состоит из прямоугольного изображения с центром на автомобиле, на котором представлены соседние автомобили и разметка полосы движения на дороге. По нескольким прошлым кадрам этого прямоугольника ConvNet обучается предсказывать несколько будущих кадров. В нем есть скрытые переменные, которые могут создавать несколько сценариев: без них прогнозы будут нечеткими. Данные для обучения поступают с камер, наблюдающих за движением на участке трассы. После обучения прогнозирующей модели мы обучаем субъектную сеть путем обратного распространения ошибки с течением времени, как показано на рис. 9.9. Функция стоимости измеряет близость других автомобилей и отклонение от центра полосы движения. Добавим к функции стоимости условие, которое измеряет степень неопределенности прогноза модели. Это условие заставляет систему оставаться в зоне надежных прогнозов. В этих условиях система учится водить «мысленно», даже не взаимодействуя с реальным миром[129].

Такой подход применяется в простых случаях. Но быстро возникают трудности:

1. Как получить модели мира, достаточно мощные, чтобы справиться со многими задачами и ситуациями?

2. Как обучить модель со скрытыми переменными, чтобы она могла предсказывать большинство возможных будущих сценариев?

3. Как обеспечить использование модели в тех областях, где ее прогнозы надежны?

Я не верю, что будет достигнут значительный прогресс в создании систем, интеллект которых приближен к человеческому, пока не будет найдено удовлетворительное решение этих вопросов.

Мы все еще далеки от цели.

Вторая проблема. Упомянутые нами сети способны к восприятию, а иногда и к действию. Но как научить их рассуждать и сделать по-настоящему умными?

Мы только что говорили об особой форме рассуждений: планирование последовательности действий на основе прогностической модели путем минимизации функции стоимости. Многие рассуждения сводятся к поиску последовательности векторов (или символов), которые минимизируют конкретную функцию (как решение проблемы удовлетворения ограничений).

Но многие формы рассуждений имеют иную природу. Возьмем изображение на рис. 9.10. Чтобы ответить на вопрос: «Справа от металлического серого цилиндра находится блестящий объект. Он такого же размера, что и большая резиновая сфера?», необходимо найти сферу, найти нужный цилиндр и сравнить их размеры. Вместо того чтобы обучать сеть с фиксированной архитектурой отвечать на все такие вопросы, нужно обучить ее создавать вторую сеть, специально адаптированную для ответа на этот вопрос. Эта вторая сеть будет построена динамически (то есть реконструироваться с каждым новым вопросом) и состоять из пяти модулей: один для обнаружения сферы на изображении, второй для обнаружения металлического цилиндра, третий для определения местоположения объекта справа от него, четвертый, чтобы убедиться блестящий ли объект или нет, и последний, чтобы сравнить размеры. Первая сеть выглядит как сеть языкового перевода, но вместо того, чтобы переводить предложение с одного языка на другой, она «переводит» вопрос в последовательность инструкций, описывающих архитектуру второй сети. Все это от начала до конца основано на базе данных CLEVR (A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning, т. е. диагностический набор данных для творческого языка и элементарного рассуждения, основанного на образах), созданной FAIR и Стэнфордским университетом, и состоящей из 100 000 синтезированных изображений, плюс 850 000 автоматически созданных вопросов и ответов[130].

Рис. 9.10. Сеть, выход которой представляет собой другую сеть, динамически созданную для ответа на поставленный вопрос

Итак, справа от металлического серого цилиндра находится блестящий объект. Такого же ли он размера, что и большая резиновая сфера? Чтобы ответить на этот вопрос, необходимо найти сферу и цилиндр, которые имеют правильные свойства, и сравнить их размеры. Первая сеть (вверху) работает как система перевода. Она принимает вопрос в качестве входа и преобразует его в «предложение» (последовательность инструкций), описывающее архитектуру сети, состоящей из пяти модулей. Это предложение трансформируется во вторую сеть, которая специально построена для ответа на вопрос: ее модули обнаруживают сферу, цилиндр, их положение и сравнивают их размеры, чтобы получить ответ. Система обучается от начала до конца на основе образцов изображений, вопросов и автоматически сгенерированных ответов (источник: Hu et al., 2017, FAIR[131]).

Такая идея нейронных сетей, созданных динамически на основе входов, привела к новой концепции дифференцируемого программирования. Мы пишем программу, инструкциями которой являются не фиксированные операции типа «добавить 4 к переменной z», а модули глубокого обучения, функция которых будет определяться обучением. Роль программы заключается в создании графа модулей (сети), расположение которых подходит для задачи. Этот граф (архитектура сети) заранее не фиксируется, а структурно зависит от входов. Затем система обучается с учителем. «Инструкции» программы, то есть точные функции каждого модуля, определяются этим этапом обучения.

Это новый способ написания программ, использующий преимущества дифференцируемости модулей, автоматического дифференцирования графа модулей и обучения методом градиентного спуска. Некоторые видят в этом настоящую революцию.

Искусственный интеллект требует больших вычислительных мощностей. Обучение большой сверточной сети может занять несколько часов или дней на целой «батарее» машин с графическими процессорами. После обучения сеть может использоваться на серверах центра обработки данных для фильтрации, пометки и сортировки изображений или текста, или для распознавания речи. На рисунке 6.9 показано, что для распознавания изображения требуется несколько миллиардов цифровых операций. Команды инженеров работают над автоматическим упрощением сетей, чтобы минимизировать их размер и объем памяти, и чтобы они могли быстро работать на серверах, использующих стандартные процессоры.

Растущему числу приложений требуются специализированные процессоры для сверточных сетевых вычислений, архитектура которых сильно отличается от архитектуры стандартных процессоров. Они задействованы в системах поддержки вождения автомобилей, используются в мобильных телефонах для немедленного перевода или функций «виртуальной реальности», в интеллектуальных фото– и видеокамерах для оптимизации съемки, в беспилотных летательных аппаратах, которые могут отслеживать и снимать нас самих. В будущем у нас будут глубокие сети в очках виртуальной реальности, в интеллектуальных домах и обслуживающих роботах, на транспортных средствах и у роботов-курьеров.

Все это требует разработки новых инструментов – нейронных процессоров с вычислительной мощностью, измеряемой в TFLOPS (терафлопс), но дешевых и потребляющих мало энергии. Их «маленькая» сверточная сеть должна выполнить 10 млрд операций для анализа изображения. При 30 кадрах в секунду для работы на смартфоне потребуется процессор со скоростью 300 гигафлопс, потребляющий менее 1 Вт. Емкость аккумулятора смартфона составляет примерно 10 ватт-часов. Процессор мощностью 1 Вт опустошает его за 10 часов. Слишком быстро!

Для достижения высокой производительности нейронные процессоры используют новую аппаратную архитектуру. Чтобы свести к минимуму энергоемкие обмены данными, вычислительные блоки и память смешиваются и распределяются по кремниевому чипу. Вычисления выполняются с числами очень низкой точности: нескольких битов достаточно, чтобы представить веса и активность нейронов. Нет необходимости кодировать числа на 32 или 64 бита, как это делают обычные процессоры. Новые возможности, предоставляемые приложениями глубокого обучения, интегрированными в наши повседневные гаджеты, таковы, что инновации в индустрии интегральных схем уже стремительно растут.

Компании, подобные NVidia, Google, Facebook, Microsoft, Amazon, Samsung, Intel, Qualcomm, Apple, ARM, Baidu, Alibaba, Huawei и множество американских, китайских, тайваньских и европейских стартапов разрабатывают нейронные процессоры для собственных нужд или для новых поколений смартфонов, домашних роботов, виртуальных помощников, очков виртуальной или дополненной реальности, интеллектуальных камер, автономных транспортных средств и, в общем, самых разных интеллектуальных объектов.

Четыре основные категории приложений ИИ вызывают интерес у крупных промышленных компаний: медицина, автономные транспортные средства, виртуальные помощники, и бытовые/промышленные роботы. Первые две области мы уже обсудили. Существующие методы уже влияют на медицину и помощь при вождении автомобилей. Но многие исследователи полагают, что эти приложения получат широкое распространение только после серьезного концептуального прорыва.

Полностью автономный автомобиль на улицах Нью-Йорка, Парижа, Рима или Калькутты в часы пик, без вмешательства человека, невозможен до появления обучения без учителя и использования прогностических моделей. Скорее всего, нам придется всерьез выяснять, как человек учится водить машину всего за 20 часов.

Что касается виртуального помощника, то его разработка еще более ограничена. В идеале он должен обладать интеллектом, близким к человеческому, в сочетании с хорошей долей здравого смысла. Он мог бы помогать нам каждый день. Не нужно будет тратить часы на звонки по телефону, на электронную почту или интернет, чтобы решить ту или иную административную проблему, связаться со службой мобильной телефонной связи, организовать поездку или прогулку с друзьями, планировать свой календарь или отфильтровать сообщения. Умный помощник сможет ответить на любой вопрос, помочь нам в деловых встречах, напомнить об итогах предыдущих встреч. Все это невозможно без революции, основанной на здравом смысле.

Научно-фантастический фильм «Она» 2013 г. режиссера Спайка Джонза описывает возможное взаимодействие мужчины со своим виртуальным помощником. Главный герой Тео влюбляется в компьютерную сущность, у которой голос Скарлетт Йоханссон и которую он назвал Самантой. Это – один из немногих фильмов, в которых ИИ рассматривается очень реалистично. Сценарий футуристический, но суть его верна. Люди склонны привязываться к объектам, животным и людям вокруг них. Почему все должно быть иначе с виртуальным помощником, особенно если он запрограммирован на развитие уникальной личности на основе взаимодействия со своим «хозяином»?

Но давайте посмотрим правде в глаза, настоящий робот все еще существует лишь в научной фантастике. Наши «роботы»-пылесосы, откровенно говоря, глупы. Они легко застревают просто под столом или за креслом. Когда же мы увидим домашнего робота, который способен убрать весь дом?

Автономные газонокосилки немного более искусны в обнаружении препятствий, поскольку те потенциально опасны для машины. Но и они до сих пор не могут отличить клумбы от зарослей одуванчиков. Привет, кошмар садовода! Появится ли, наконец, робот-садовник, который позаботится о наших цветах, соберет малину и вырвет все сорняки?

Машины, используемые в производстве, только повторяют раз за разом предварительно запрограммированные процедуры, но они еще не могут выполнять сложные манипуляции или сборку, если условия поменяются. Когда появится разумный, а не просто трудолюбивый робот?

Как и в случае с виртуальным помощником и автономным автомобилем, эти интеллектуальные роботы станут реальностью только после появления моделей мира, которые позволят им планировать сложные действия.

В случае успеха приложения ИИ кардинально изменят наше общество. Но ничто из этого не станет возможным до тех пор, пока машины не будут учиться так же эффективно, как животные и люди, пока они не приобретут модели мира путем обучения без учителя, пока они не накопят достаточно знаний о мире, чтобы развить в себе здравый смысл.

Вот какова реальная задача нынешних исследований в области искусственного интеллекта.

Искусственный интеллект вызывает массу вопросов. Он меняет общество. Он подрывает экономику. Как и любая технологическая революция, он способствует появлению одних профессий и уничтожению других. Не всем такое нравится.

Искусственный интеллект – это технология, наука, инструмент, целый комплекс. Требуется ли понимать ИИ, чтобы им пользоваться? Можно ли считать его надежным?

Может ли искусственный интеллект сделаться угрозой человечеству? Стоит ли бояться умного оружия? Можем ли мы представить себе вторжение роботов-убийц, дронов, исполненных злыми намерениями? Наше воображение пропитано страхами, которые затуманивают наши суждения. Должны ли мы теперь ограничивать его возможности законами и постановлениями?

Возможно, искусственный интеллект изменит представление человечества о самом себе. Он уже помогает нам понять, как работает наш мозг. Но каковы реальные пределы человеческого или искусственного познания? Если машины превосходят нас во некоторых областях, следует ли считать, что человеческий интеллект не так универсален, как нам хотелось бы думать? Может ли машина конкурировать с биологическими системами?

Если мозг – это просто машина с ограниченными возможностями, сопоставимая с ИИ, каковы будут последствия этого для людей? Будут ли машины когда-нибудь могущественнее людей во всех областях? Более творческими? Более осведомленными? Будут ли у них желания, эмоции, моральные ценности? Как обеспечить соответствие их ценностей человеческим ценностям? Хотят ли они господствовать над человечеством?

Лавина вопросов, поэтому… Давайте продолжим.

Экономика – не моя область знаний. Я просто поделюсь с вами некоторыми наблюдениями, сделанными видными экономистами. Они рассматривают ИИ как технологию общего назначения (англ. General Purpose Technologies, GPT), которая будет распространяться и коренным образом преобразовывать экономическую жизнь в ближайшие десятилетия. Из истории нам известно и о других технологиях общего назначения: паровой двигатель, электричество, компьютеры.

Как и предыдущие технологические потрясения, искусственный интеллект вытеснит некоторые профессии и заодно приведет к появлению новых профессий, которые мы даже и представить себе не можем. Кто мог предположить 20 лет назад, что такие сервисы, как YouTube, помогут тысячам людей зарабатывать деньги на создании видео? Или что Facebook и Instagram позволят мастерам своего дела находить клиентов по всему миру? Промышленные революции уничтожают одни виды деятельности и порождают другие. Напомним, что в 1870 г. каждый второй француз зарабатывал себе на жизнь сельским хозяйством. В 2019 г. доля таких людей снизилась до одной двадцатой. Мы приспособились. Мы сделаем это снова.

Экономисты считают, что в следующие 10 или 20 лет ИИ окажет значительное влияние на производительность труда – количество продукции, производимой за час работы. И это даже в том случае, если искусственный интеллект не будет развиваться и дальше. Как будут перераспределяться достижения этой новой революции? По мере распространения технологий навыки, связанные с определенными профессиями, устаревают. Людей нужно обучать новой работе или передать ответственность за нее на все общество.

Я был обеспокоен тем, что ускорение этого прогресса может негативно повлиять на большую часть рынка рабочей силы. Но выводы экономистов, специализирующихся на данных вопросах, таких как Эрик Бриньолфссон из Массачусетского технологического института, более оптимистичны. Они утверждают, что скорость внедрения технологий общего назначения в экономику ограничивается как раз тем временем, которое требуется работникам, чтобы научиться ими пользоваться. Этот процесс может занимать от 15 до 20 лет. Повышение производительности в области вычислительной техники началось только с середины 1990-х гг., когда широко распространилось использование клавиатуры и мыши.

То же самое касается искусственного интеллекта. Чем больше становится профессий, находящихся под угрозой исчезновения, тем медленнее влияет технология на экономику. Какой урок мы должны извлечь из этого? Лучший способ для стран воспользоваться возможностями искусственного интеллекта – это вложить значительные средства в образование. На всех уровнях: в школах, вузах, аспирантуре и, конечно же, в системе повышения квалификации. Вы должны подготовить людей к трансформации, а также создать технологическую и научную «экосистему», благоприятную для инноваций.

Новым технологиям необходим правильный климат. Фундаментальные исследования – это первый компонент экосистемы, который требует государственных или частных вложений. Такие вложения часто концентрируются вокруг ведущих университетов: в Соединенных Штатах, в Кремниевой долине вокруг Стэнфорда и Беркли, в Бостоне вокруг Гарварда и Массачусетского технологического института и в Нью-Йорке вокруг Нью-Йоркского университета, Колумбийского университета и Корнельского технологического института.

Второй компонент экосистемы – это промышленные лаборатории. Во Франции главным «центром притяжения» для подобных лабораторий является Париж. Помимо многочисленных инженерных школ, университетов и государственных исследовательских центров, в городе работают лаборатории искусственного интеллекта таких компаний, как Facebook, Google, Samsung, Amazon, Huawei, Valeo и целого ряда других.

Третий компонент формируют компании-стартапы, которые используют финансовые возможности и инфраструктуру, к примеру кампус Station F, частично спонсируемый Facebook. Таким образом, Париж сейчас является самым важным и динамичным местом для реализации технологических идей в Европе.

Однако во Франции продолжают сохраняться старые проблемы: там недостаточно платят исследователям и преподавателям высших учебных заведений, особенно в научных и технологических областях, где присутствует влияние частного и иностранного сектора. Рассмотрим эту ситуацию на примере любого молодого профессора компьютерных наук в хорошем американском университете в 2019 г. У такого сотрудника начальная заработная плата в размере от 100 000 до 120 000 долларов в год, а бюджет на исследования для открытия своей лаборатории составляет примерно от 200 000 до 300 000 долларов. Чтобы найти финансирование, такой исследователь предлагает проекты специальным агентствам, гражданским или военным, или подписывает контракты с промышленными организациями. Кроме того, он руководит докторантами и ведет два курса в год, что соответствует примерно 80 часам нагрузки. Заработная плата такому сотруднику выплачивается девять месяцев в году. Летом в течение трех месяцев он может оплачивать свои исследования грантами, которые составляют 33 % надбавки к зарплате, или работать в промышленной области.

Кроме того, в течение учебного года он может одновременно являться отраслевым консультантом с нагрузкой один день в неделю. Он не подчиняется приказам заведующего лабораторией и сам распоряжается своей жизнью, однако система научного сообщества стимулирует его к постоянному развитию. Молодой специалист должен стремиться к тому, чтобы добиться признания в своей области исследований, чтобы получить постоянное место работы, которое позволит ему за шесть лет пройти путь от доцента до адъюнкт-профессора. Существует и знаменитое правило «умри, но опубликуйся». Заработная плата и условия работы сильно разнятся в зависимости от специальности и университета. Учреждения, как государственные, так и частные, соревнуются в привлечении лучших из лучших.

Рассмотрим теперь молодого французского исследователя. Ему приходится постоянно бороться за место под солнцем. Сначала он должен сдать вступительные экзамены CNRS (фр. Le Centre national de la recherche scientifique, Национальный центр научных исследований), Inria (National Institute for Research in Digital Science and Technology) или другого университета на должность лектора. Но даже в случае успеха его зарплата будет около 30 000 евро в год, что примерно в полтора раза меньше средней заработной платы в стране. И все это – после восьми лет обучения в высшем учебном учреждении, одного или двух лет стажировки за границей, а также выхода значимых публикаций в международных научных журналах! В академической среде царит иерархия. Молодой преподаватель во Франции не имеет официального права руководить докторантами. Для этого ему потребуется подождать еще несколько лет и пройти новую аккредитацию. Он должен проводить 128 часов лекций в год, или 192 часа учебных занятий, или 288 часов практической работы. При этом из-за низкой заработной платы ему, скорее всего, придется работать сверхурочно, чтобы сводить концы с концами.

В результате у него остается совсем мало времени на исследования. Если молодой специалист хочет посвятить себя исследовательской деятельности, ему придется получить должность исследователя в Inria или CNRS с той же заработной платой, что и у лектора. В университетах Франции этот нелегкий путь ожидает специалиста по любой дисциплине. Аналогична ситуация и в других странах Европы. Достойные университетские должности в Европе, условия которых могут сравниться с лучшими университетами Северной Америки, имеются разве что в Швейцарии, особенно в Федеральных политехнических школах Лозанны и Цюриха.

Во Франции, конечно, хватает талантливых ученых, несмотря на эти посредственные условия. Но как их удержать? Активность и успех исследований в Соединенных Штатах и Канаде во многом зависит от их способности привлекать лучшие таланты со всего мира. Более половины молодых американских университетских профессоров родились и получили образование в других странах, в первую очередь в Китае, Индии, России, Великобритании и континентальной Европе.

Я не уверен, что революция искусственного интеллекта хороша для всех. Те люди, что имеют высококвалифицированные, творческие профессии или должности, ориентированные на работу с людьми, имеют больше шансов сохранить свою работу, чем те, чья работа может быть частично или полностью автоматизирована. Прибыль от использования ИИ вряд ли будет равномерно распределена между всеми трудящимися, а экономическое неравенство усилится, если главы правительств не исправят ситуацию с помощью фискальных мер.

Автоматизация заменила людей при выполнения повторяющихся или тонких операций. Искусственный интеллект заменит людей в профессиях, требующих определенного уровня сложности в восприятии, рассуждении, принятии решений и планировании действий. Автономные транспортные средства, вероятно, сократят количество рабочих мест для водителей грузовиков, такси и арендуемых автомобилей, но с другой стороны, дороги станут безопасней. В медицине системы анализа изображений уже внедряют при рентгенологических исследованиях. Осмотры пациентов станут более надежными и менее затратными – это большой плюс для пациентов. В области здравоохранения и логистики ИИ улучшит качество жизни для всех.

Однако изменения коснутся всех профессий.

Одно можно сказать наверняка: ИИ и его приложения добавляют ценность тому, с чем они не могут конкурировать: подлинному человеческому опыту. Автоматизация уже снизила цены на некоторые промышленные товары; эта тенденция продолжится и даже усилится с внедрением ИИ в промышленную отрасль. Однако на сферах услуг, продаж и недвижимости влияние ИИ отражается иначе. Пример? Плеер Blu-ray стоит около 70 евро. В этой невероятно сложной технологии используется множество новейших изобретений (синий лазерный диод, цифровой формат для сжатия видео H.264/MPEG-4 и т. д.). А теперь давайте возьмем расписанную вручную керамическую вазу. Ее изготовление является частью тысячелетней традиции, и поэтому она может стоить 500, 600 или 700 евро. Плеер Blu-ray производится серийно, ваза – уникальное творение. Другой пример? Каждый из нас может послушать любимое музыкальное произведение по цене до 2 евро или по подписке. Но чтобы сходить на рок-концерт или посетить оперу, придется заплатить от 50 до 300 евро. В чем разница? Уникальность события, момента жизни, который оно в себе несет. Вкусная еда, прогулка на природе, посещение музея или джазового фестиваля – я как просвещенный любитель могу только радоваться этому – заставляет все больше ценить творчество и опыт, редкую и уникальной продукцию. Будущее теперь за профессиями в области здравоохранения, искусства, науки, образования, спорта – всем тем, что отдают приоритет эмоциональным или интеллектуальным аспектам жизни.

Как и любую инновацию, ИИ можно использовать и во благо, и во вред. Многие высказываются против использования ИИ в военных целях, в первую очередь против автономных систем вооружения (SALA), известных также как «роботы-убийцы». Однако в большинстве армий существуют строгие правила, регулирующие процедуры нанесения ударов. Принятие решений всегда зависит от того или иного армейского чина, независимо от типа используемого оружия. Отметим также, что автономное или полуавтономное оружие существует на самом деле уже давно – к нему, например, относятся самонаводящиеся и крылатые ракеты. Самым старым из таких автономных видов оружия являются противопехотные мины. В 1999 г. Международная конвенция запретила их использование, но не потому, что они слишком «умны», а потому, что они, по сути – очень «глупы». К сожалению, США, Китай, Россия, Индия, Пакистан, Северная Корея и Южная Корея, Иран и несколько других стран не подписали запрет.

Рискуем ли мы стать свидетелями новой интеллектуальной гонки вооружений? В сентябре 2017 г. Владимир Путин заявил, что «лидеры ИИ станут хозяевами мира». На заседании Генеральной Ассамблеи Организации Объединенных Наций в Женеве прошли дебаты с предложениями ввести мораторий на автономное вооружение. Некоторые страны даже считают SALA одним из видов оружия массового поражения. Другие, в частности, Соединенные Штаты, напротив, рассматривают SALA в качестве средства уменьшения сопутствующего ущерба и числа жертв среди гражданского населения в военных конфликтах благодаря точному распознаванию и отслеживанию целей[132].

Перед лицом изменений в военной технике, которым способствует ИИ, опасность новой эскалации вполне реальна. Лучшей страховкой от этого остается сила наших международных институтов. Но и их необходимо защищать, как никогда раньше, поскольку им угрожает националистический популизм и изоляционизм.

Напомним, что ИИ – это инструмент, созданный людьми, который призван служить нам. Именно люди модифицируют и развивают его интеллект. Но с учетом нынешних ограничений «узкого» ИИ, неспособного проявлять инициативу, в возникновении непредвиденных ситуаций следует винить только людей. Неизвестно, случается ли что-то подобное преднамеренно, или по неосторожности, или по причине некомпетентности. Если и есть опасность от ИИ, то она связана с самим человеком и его злоупотреблением технологиями.

Для предотвращения техногенных катастроф, при моем участии было создано Партнерство по ИИ во благо людей и общества (The Partnership on AI или PAI)[133] объединяющее около сотни коллективных членов: крупные компании, интернет-гиганты, научные общества, правозащитные организации, СМИ (New York Times), академические группы и правительственные учреждения. Они обсуждают этические вопросы, предупреждают об опасностях и публикуют рекомендации. Искусственный интеллект – это новая технология, и последствия ее внедрения не всегда предсказуемы. Мы должны помнить об этом.

Партнерство проводит исследования по шести темам.

1. ИИ и жизненно важные системы, сбои в которых могут поставить под угрозу жизнь человека.

2. Справедливость, прозрачность и ответственность в сфере ИИ.

3. Влияние ИИ на экономику и рабочие места.

4. Сотрудничество человека и машины.

5. Социальное и общественное влияние ИИ.

6. ИИ и социальное благополучие.

Рассмотрим пример (к сожалению, очень распространенный), который касается неправильного использования статистических моделей: необъективные принятия решений. Если в наборе данных присутствуют ошибки или нарушения, машина, обученная этим данным, неизбежно отразит эти ошибки и нарушения в своих выводах. Проблема здесь не в ИИ как таковом, а в использовании данных и статистических моделей, какими бы они ни были. Глубокие сети – это лишь один из особо сложных примеров статистической модели, но систематическая ошибка может возникнут даже при использовании очень простых моделей, таких как линейная регрессия.

Еще один пример: распознавание лиц. Если использовать репрезентативную выборку населения Франции для обучения системы распознавания лиц, то эта система будет не очень надежной для лиц африканского или азиатского происхождения. И наоборот, если для обучения используется репрезентативная выборка населения Сенегала, она не будет надежной для людей европейского или азиатского происхождения. Становится ясно, что надежность системы зависит от разнообразия и сбалансированности обучающих примеров.

Желаемые результаты обучения на примерах могут также быть необъективными. Данные о задержанных преступниках, где учитывается уровень их рецидивизма, позволили бы предсказать риски, связанные с освобождением под залог. Но если эти данные на протяжении долгого времени искажались в ущерб этнической или социально-экономической категории, система продолжит и усилит дискриминацию. Здесь речь идет вовсе не о теории. Система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), используемая в некоторых штатах США, подверглась публичному осуждению со стороны организации ProPublica[134] (американское некоммерческое объединение журналистов). В этой системе использовались только простые статистические методы (далекие от уровня сложности глубокого обучения), но и это не предотвратило злоупотребления.

Таким образом, проблема появления ошибок и нарушений не связана с алгоритмами обучения или моделями. Здесь скорее речь о данных и о том, как они обрабатываются и фильтруются, прежде чем они будут использоваться для обучения модели. Как заметил известный социолог из Корнельского университета и лауреат премии Макартура Джон Кляйнберг: «Проблема, которую выявила ProPublica, на самом деле сводится к тому, как мы подходим к прогнозированию и алгоритмам».

Искусственный интеллект может также способствовать нарушениям прав граждан. С 2014 г. сверточные сети являются основой систем распознавания лиц[135], но следует отметить тот факт, что правительства либеральных демократий запрещают широкомасштабное использование ИИ посредством законов о неприкосновенности частной жизни. С другой стороны, правительство Китая использует системы распознавания лиц, устанавливая камеры наблюдения во всех общественных местах, и часть населения видит в этом прогресс: больше нет необходимости предъявлять удостоверение личности в аэропорту или административном здании.

Безусловно, уличные камеры наблюдения позволяют снизить уровень преступности (и без того низкий в Китае). Но эти же камеры ошибочно идентифицируют вас, когда вы переходите улицу на зеленый свет, и отправят вам штраф, словно вы специально лезли под машины. Китайское правительство использует данную технологию, и это гораздо серьезнее, в целях этнической дискриминации и контроля над повстанческим населением, таким как тибетцы или уйгуры, тюркоязычные мусульмане из Синьцзянского автономного района на северо-западе страны. Компании-стартапы по распознаванию лиц процветают в Китае! Правительство также использует машинное обучение для социальной оценки каждого человека. Вы не оплачиваете счета? Вы неоднократно совершали правонарушения? Вы общаетесь с подозрительными личностями? Ваша социальная оценка падает, а органы государственной власти усложняют вам жизнь. Правительственные органы нашли способ контролировать поведение, которое считается «девиантным».

Следуя своим принципам, китайское правительство обязывает Интернет-компании предоставлять доступ к личным данным своих пользователей – вот почему Google, Amazon и Facebook не работают в Китае. Эта страна блокирует доступ к Википедии, международным газетам, таким как New York Times и многим другим западным СМИ с помощью так называемого «Великого китайского файрвола»[136] – электронной версии Великой Китайской стены. В результате, Китай является сейчас сильно изолированной социальной системой.

Далеко не только «Поднебесная империя» использует мощь современных технологий для нарушения прав человека. Один израильский стартап гордится разработкой системы, которая может определить по фотографии черты характера человека и даже его риск стать террористом… Это – уже весьма изощренная форма социальной дискриминации!

Опять же, лучшая защита от таких побочных эффектов – это сила наших демократических институтов и законы о неприкосновенности частной жизни.

Некоторые люди называют системы глубокого обучения «черным ящиком», видя в этом повод для недовольства. Их сетования не обоснованы. Инженер может подробно изучить функционирование нейронной сети. Все доступно. Конечно, когда в этой сети находятся миллионы единиц и миллиарды подключений, довольно трудно полностью понять, как сеть принимает решение. Но разве это не особенность любого разумного решения? Ведь мы не понимаем нейронных механизмов, которые позволяют водителю такси, мастеру, врачу или пилоту авиакомпании выполнять свою работу. Мы также не можем понять, как трюфельные собаки выкапывают эти «черные бриллианты». Мы просто им доверяем. Почему у нас должны быть более высокие требования к машине, которая быстрее реагирует, не устает, не отвлекается? Почему мы должны относиться к ней с подозрением, когда с легкостью можно доказать, что она безопасней человека?

Большинство из тех триллионов решений, которые сейчас ежедневно принимаются системами ИИ, касаются поиска, сортировки и фильтрации информации, а также нескольких не слишком серьезных приложений, содержащих эффекты, применяемые к фотографиям и видео. Вы действительно хотите потратить время и силы на их детальное изучение? Они приносят нам удовлетворение, разве этого недостаточно?

В наше время используется множество систем, механизмы работы которых людям неизвестно. Многие из распространенных лекарств были получены методом проб и ошибок, и их физиологическое действие все еще недостаточно изучена. Например, препараты лития широко используются для лечения биполярного расстройства, но как они действуют, до сих пор остается загадкой. Всем знакомый и незаменимый аспирин, широко используемое лекарство, был синтезирован в 1897 г., но механизм его действия не был выяснен до 1971 г. Естественно, в случае ошибки или несчастного случая, наличие объяснения может предотвратить их повторение. Но очень часто это лишь способ успокоить пользователя. В тех случаях, когда поведение системы не может быть полностью объяснено, ее выпуск должен подпадать под процесс тестирования, протокол которого является контролируемым и открытым, как для клинических испытаний, предшествующих размещению на рынке лекарственного средства, или для процедуры сертификации нового самолета. То же самое должно относиться к системам ИИ, принятие решения которых имеет решающее значение.

Другой вопрос: должен ли ИИ быть на 100 % надежным для введения в эксплуатацию? Не обязательно. Опять же, зачем требовать от ИИ большего, чем от других средств принятия решений? Медицина ежедневно прибегает к обследованиям, надежность которых не идеальна, не подвергая при этом сомнению их полезность. Например, во время обследования всегда присутствует определенная – умеренная – возможность «ложноотрицательных» результатов. Но если возникают сомнения, врач не станет принимать во внимание только один результат обследования. Зачем требовать большего от ИИ?

Мой друг Леон Ботту любит указывать на тот факт, что современное общество производит данные, объем которых растет в геометрической прогрессии – с той же скоростью, что объемы средств для хранения данных или скорость передачи данных в сетях. Но способность людей обрабатывать эту информацию развивается не так быстро. В какой-то момент большая часть человеческих знаний будет извлечена из данных нашими машинами и сохранена ими. Согласно некоторым определениям понятия знания, этот порог уже преодолен.

С другой стороны, когда ИИ используют в судебном, правовом, медицинском, финансовом или административном контексте для принятия решений, которые существенно влияют на отдельных людей, необходимо предоставлять какое-либо обоснование. Если банк использует ИИ для предоставления кредита и отказа в нем, он должен обосновать решение заинтересованному лицу и порекомендовать изменения в его профиле, которые помогут ему получить кредит. С помощью систем машинного обучения легко давать рекомендации, вне зависимости от их важности: применяется анализ чувствительности, который заключается в поиске минимального изменения ввода, которое изменило бы решение. Это тот же принцип, что и в случае негативных примеров, но уже с реальной пользой.

Развитие ИИ идет рука об руку с развитием нейробиологии. Известно, что устройство зрительной коры головного мозга животных вдохновило ученых на создание архитектуры сверточных сетей. Но можно поступить и наоборот. В течение нескольких лет исследователи нейробиологии использовали сверточную сеть в качестве объяснительной модели работы зрительной коры. Проводятся эксперименты, где изображение параллельно показывают человеку (или животному) и сверточной сети. Активность зрительной коры измеряется функциональной МРТ, магнитоэнцефалографией или электрофизиологическими показателями (у животных), после чего предпринимается попытка предугадать эту активность, исходя из активности, наблюдаемой в сверточной сети. Данные эксперименты подтверждают тот факт, что активность первичной области зрительной коры V1 предугадывается первыми слоями сети, а активность последующих областей в иерархии вентрального пути V2, V4 и IT – верхними слоями сети. Интересное наблюдение! Нейробиология зрения вдохновляет сверточные сети, а сверточные сети, в свою очередь, помогают объяснить работу зрительной коры головного мозга.

Схожие черты этих систем открывают новое поле для исследований как в области нейробиологии, так и в области искусственного интеллекта. Правда, люди и машины учатся по-разному, но разве их методы обучения не имеют общих черт? Индуктивный вывод, заключающийся в определении правила, лежащего в основе последовательности чисел или, в более общем плане, форм, является хорошо известным умственным процессом. Но разве функция, скорректированная в системе обучения, чтобы максимально приблизиться к требуемой задаче, не сродни правилу, позволяющему в компактном виде представить набор исходных данных?

Индуктивный вывод – основа научного метода. Ученый делает наблюдения, пытается их объяснить и выявить основной закон, другими словами, он строит теорию. Затем он оценивает, позволяет ли это предсказывать ему явления, которые он еще не наблюдал. Понаблюдайте за гравитацией! То, что благодаря ей можно предсказать положение планет как сегодня, так и через 100 лет, доказывает обоснованность этого закона.

Обучающаяся машина работает точно так же. Во время своего «обучения» она постепенно выстраивает единую связь – эквивалент компактного представления – между входными данными, которые она собирает, и ожидаемыми от нее результатами. Затем эта связь позволяет ей производить для любого входа правильный выход. Даже если машина не думает, она все равно управляет связями. Она «изучает» понятия кошки, стула или самолета, которые затем позволяют ей идентифицировать любую кошку, стул или самолет. Разве это «понятие» не похоже на определение, когда мы говорим об абстрактных и универсальных представлениях, определяемых различными характеристиками объекта?

Мы можем углубиться в эту аналогию и дальше. В машине на этапе обучения выстраивается взаимосвязь между множеством изображений кошек (входные данные) и понятием кошки (выходными данными). Сконфигурированная модель машины – это стабильное состояние, в котором ошибки распознавания минимальны. Она представляет собой «подход» к понятию кошки.

У людей понятие кошки также является «подходом» к понятию кошки. Эти наблюдения отсылают нас к знакомым философским концепциям, таким как «идеи» Платона и «идеалы» Канта.

На сегодняшний день большинство ученых принимает идею о том, что мозг – это биохимическая машина. Конечно, сложная, но все же машина. Нейрон реагирует электрическим сигналом на свои входы. В зависимости от того, что он получает от своих вышестоящих нейронов, он вычисляет, приводит ли он к электрическому импульсу, потенциалу действия (или «спайку»), который он посылает всем своим нижестоящим нейронам. Механизм этот довольно прост. Но объединив активность миллиардов этих относительно простых нейронов, мы получим человеческий мозг и разум.

Я понимаю, что идея моделирования человеческого мозга может заставить содрогнуться некоторых философов или религиозных людей. Но многие из нас, ученых, считают, что механизмы мышления в конечном итоге будут воспроизводиться системами искусственного интеллекта, способными к обучению.

Те, кто оспаривает это, утверждают, что мы далеки от понимания того, как биологические, физические, квантовые и другие системы объединяются в организме, чтобы заставить мозг работать. Мы и на самом деле не все понимаем, но я убежден, что мозг млекопитающих или людей – это машина, которая умеет «вычислять», и что эти расчеты, в принципе, воспроизводимы электронной машиной – компьютером.

Комплекс человеческого превосходства находится в опасности. Как писал Зигмунд Фрейд, цитируемый выдающимся биологом-эволюционистом Стивеном Джеем Гулдом: «Основные научные революции объединяет то, что все они сбросили человеческое высокомерие с пьедесталов извечной уверенности о нашем центральном положении в космосе[137]».

В статье 1976 г. британский статистик Джордж Бокс написал: «Все модели неверны, но некоторые из них все же полезны». Шутка, ставшая известной. Любое мысленное представление мира, любое внутреннее представление набора данных в виде модели обязательно будет неточным. Статистическая теория обучения демонстрирует нам пределы этой неточности в зависимости от количества обучающих примеров и сложности модели. Она подтверждает, что любая модель неточна, но все же может быть полезной.

Физикам давно известно, что классическая механика Ньютона верна только для макроскопических объектов, движущихся с относительно малой скоростью (по сравнению со скоростью света) и в слабых гравитационных полях. В случае с высокими скоростями и сильной гравитацией должна применяться общая теория относительности, а для микроскопических объектов – квантовая механика. Что касается комбинации высокой скорости (следовательно, высокой энергии), сильной гравитации и малых размеров, нам потребуется единая теория, которой еще не существует.

Однако физика – это область, в которой хорошо применяются редукционистские подходы: «красивая» теория часто сводится к нескольким формулам и небольшому количеству свободных параметров (то есть констант, которые теория не позволяет нам вычислять из других) – таких как скорость света, гравитационная постоянная, масса электрона и постоянная Планка. Но большинство сложных явлений в химии, климатологии, биологии, нейробиологии, когнитивных науках, экономике или социальных науках нельзя свести к нескольким формулам и параметрам. Эти системы приобретают новые свойства, возникающие в результате взаимодействия большого количества различных элементов.

Возможны два варианта. Когда все элементы одинаковы и детали для нас не важны, методы статистической физики и термодинамики дают нам представление о том, что происходит. Но когда элементы разные (все нейроны разные), взаимодействия сложны, а детали важны, мы вынуждены построить феноменологические модели, которые дают нам лишь абстрактное описание явления.

Таким образом, обучение животных и, в настоящее время, машин в целом ограничивается построением феноменологических моделей, основанных на статистических закономерностях. В этом весь смысл этой книги. Ребенок или собака учатся ловить мяч в полете. Они могут предсказать его траекторию: у них есть феноменологическая модель физики. Но тот же ребенок или собака не могут написать уравнения, которые регулируют траекторию мяча. В отличие от Ньютона и некоторых других специалистов в области гравитации, они не могут создать объяснительную модель.

Смогут ли однажды машины разработать объяснительные модели на основе «экспериментальных» данных, как это делают физики? Для этого системы ИИ должны будут уметь выявлять соответствующие переменные и устанавливать между ними причинно-следственные связи. В случае движущихся тел, например, такими переменными являются масса, координата, скорость и ускорение. Применение силы к массе вызывает ускорение. Речь идет о причинно-следственной связи. Обнаружение этих причинно-следственных связей между переменными является широко обсуждаемой темой в области ИИ. Наличие эффективных методов причинно-следственного вывода позволило бы добиться прогресса в биологии и медицине. Благодаря этому мы бы смогли отличить причинно-следственные связи и простые корреляции данных. Мы могли бы вывести регуляторные цепи генов исходя из данных экспрессии этих генов. Это, например, значительно упростит поиск лечения наследственных заболеваний.

Джуда Перл, профессор Калифорнийского университета в Лос-Анджелесе (и лауреат Премии Тьюринга 2011 г. за свою работу по вероятностному осмыслению), резко раскритиковал машинное обучение, обвинив его в чрезмерном пренебрежении причинным осмыслением[138]. Я с ним согласен: чтобы быть по-настоящему разумными, машинам придется изучать модели мира, способные определять причинно-следственные связи. Некоторые из моих бывших и нынешних коллег уже работают над этим вопросом: Изабель Гийон из Университета Париж-Орсе, Бернхард Шелкопф из Института Макса Планка в Тюбингене, Давид Лопес-Пас из FAIR в Париже и Леон Ботту, мой старый друг, из FAIR в Нью-Йорке.

Самая известная отсылка к культурным явлениям, которая многое для меня значила, когда я был подростком, и которую я уже много цитировал, – это фильм Стэнли Кубрика и одноименный роман Артура Ч. Кларка «2001: Космическая одиссея». Я несколько раз упоминал главных героев из этого фильма, но еще ни разу не объяснил суть конфликта между машиной и человеком. Компьютер HAL, управлявший космическим кораблем, запрограммирован так, чтобы не раскрывать человеческому экипажу настоящие причины и цель их миссии. Это приводит к тому, что он совершает диагностическую ошибку. Он прочитал по губам космонавтов, что они хотят отключить его. Но он по определению считает себя незаменимым для успеха миссии. Мысль об этом пробуждает в нем «гордыню». Поэтому он решает убить команду. Он отключает криокамеры, где находились в анабиозе некоторые из ученых, и убивает астронавта Фрэнка Пула во время его выхода в открытый космос. Затем он отказывается впустить на борт космического корабля Дэйва Боумена, отправившегося спасать Фрэнка.

Итак, HAL, запрограммированный на выполнение миссии любой ценой, постепенно начинает рассматривать экипаж как препятствие. Это – прекрасный пример несовпадения между целью, запрограммированной в системе, и общечеловеческими ценностями. В фильме HAL потерпел неудачу, но ему все же удалось внести свой вклад в бесчисленные фантазии по поводу подавления человечества его собственным творением. Другой пример, возможно, даже более известный, – это фильм «Терминатор», в котором система SkyNet обретает интеллект, берет под контроль оружие и пытается истребить человечество.

Но мы здесь, а не в том мире. Так чего нам бояться?

В 2014 г. Стивен Хокинг высказался на эту тему на канале BBC, предположив, что «ИИ может означать конец человечества», хотя потом изменил свое мнение. Как у всякого астрофизика, его временные рамки измерялись миллионами или миллиардами лет. Но как предсказать, где окажется человечество через 10 или 100 млн лет, если оно существует всего несколько сотен тысяч лет?

Билл Гейтс тоже выразил обеспокоенность, и тоже потом отказался от своих слов. Что касается Илона Маска, генерального директора Tesla, то он сделал вообще ошеломляющие заявления и даже попытался, хотя и без особого успеха, убедить руководящие органы начать регулировать ИИ, чтобы, по его словам, избежать сценария «Терминатора». Беседуя с ним, я подумал, что он сильно недооценивает количество времени, которое потребуется ИИ, чтобы обогнать интеллект людей. Возможно, в поисках удачных вложений он слишком много слушал основателей стартапов, которые с большим оптимизмом уверяют, будто уже вот-вот возникнет ИИ, сравнимый по уровню интеллекта с человеком.

Кроме того, Илон прочитал книгу «Суперинтеллект» Ника Бострома[139]. Это философ из Оксфорда, который описывает серию сценариев-катастроф, в которых ИИ может выйти из-под контроля своих создателей. Вот пример. Мы создаем сверхразумный компьютер, которому поручили управлять фабрикой по производству скрепок. Его единственная миссия – максимизировать производство. Компьютер, конечно же, может оптимизировать производство, поставку продукции, потребление энергии и т. д. Более того, его интеллект позволяет ему спроектировать и построить новые фабрики скрепок, которые еще более эффективны, чем прежние. Он может убедить людей давать ему все больше ресурсов, а затем он найдет и способ лишить людей власти для достижения своей цели. Постепенно этот интеллект превращает всю Солнечную систему в скрепки. В общем – это очередной вариант избитого сценария с учеником творца, чьи существа выходят из-под его контроля.

Все это очень маловероятно. Как мы можем быть настолько умными, чтобы создать сверхчеловеческую интеллектуальную машину, и в то же время настолько глупыми, чтобы наделить ее такой нелепой целью? Неужели мы будем настолько безрассудными, что даже не попытаемся обезопасить себя? Например, не сможем создать еще одну сверхразумную машину, единственной целью которой было бы отключить первую?

Но не следует забывать и о том, что все технологические революции, которые мы соглашаемся признать как полезные для человечества, имели свою темную сторону. Изобретение печатного станка, позволившее распространение знаний, также способствовало распространению идей Кальвина и Лютера, послуживших причиной кровопролитных религиозных войн в Европе в XVI–XVIII вв. Радио? Оно стало свидетелем подъема фашизма в 1930-е. Самолет? Он «сократил расстояния» в мировом масштабе, но также позволил бомбить целые города. Если вы посмотрите на информационные технологии, начиная с телефона, телевидения, интернета и заканчивая социальными сетями, каждая из них породила проблемы, которые в конечном итоге были решены[140].

Мы наделяем машины все большим и большим интеллектом. Лексические определения используемые в области ИИ, – «интеллект», «нейроны», «обучение», «решение» – термины, ранее предназначавшиеся только для людей и животных, сами по себе могут нас пугать. Конечно, в очень специализированных задачах системы с ИИ работают намного быстрее человека. Это игра в го или шахматы, поиск опухолей или целей для уничтожения, составление профилей потребителей, поиск информации на тысячах страниц, переводы чуть ли не на все языки мира.

Но на данный момент, как мы уже говорили, у ИИ, каким бы замечательным он ни был, меньше здравого смысла, чем у новорожденного котенка, точнее, его нет совсем. Познания и понимание мира машинами минимальны, так как они обучены выполнять только одну задачу.

Она неспособна поддерживать намерение или развивать сознание. «Когда дело доходит до создания действительно умных машин, способных разрабатывать стратегии и хорошо разбираться в мире, у нас даже нет ингредиентов для рецепта. Сегодня нам не хватает фундаментальных концепций», – резюмирует мой коллега Антуан Бордес, один из руководителей FAIR. Прямо с языка снял!

Математик Владимир Вапник описал статистическую теорию машинного обучения, которая определяет условия, при которых система может извлекать концепцию из данных. Для справки, эта теория гласит, что для того, чтобы субъект смог чему-то обучаться, он обязательно должен специализироваться на ограниченной области задач.

Данная теорема применима и к людям. Человеческий интеллект не универсален. Другими словами, существует врожденная необходимость предварительно настроить мозг на ограничение возможностей ради ускорения обучения. Мы знаем, что некоторые из зон мозга имеют особую архитектуру и предназначены для выполнения определенных задач, даже если мы не контролируем эти механизмы.

Существует доказательство существования такой «проводки» в мозге животных и людей путем «доведения до абсурда». Нам уже известно, что зрительная кора, которая и вдохновила исследователей на создание сверточных сетей, является специализированной зоной. Представьте себе теперь, что вы носите очки, которые меняют каждый пиксель, который вы видите. Их линзы непрозрачные, они состоят из оптических волокон, которые направляют эти пиксели в разные места поля зрения. Таким образом, изображение, которое вы видите, становится непонятным. В нем нет смысла. Когда объект движется на фоне изображения, одни пиксели загораются, другие гаснут. Соседние пиксели на изображении пропадают, когда они проходят через эти очки. В таких условиях мозг практически не может что-либо распознать, потому что он неправильно подсоединен. Он запрограммирован на то, что соседние пиксели чаще всего имеют близкие значения и коррелированы. Это признак того, что наш мозг не универсален, а очень специализирован.

Мозг, к тому же, очень пластичен. Некоторые эксперименты показывают, что существует своего рода «универсальная процедура коркового обучения», когда функция зоны коры определяется поступающим к нему пучком сигналов, который поступает к нему, а не областью, которая его принимает. В конце 1990-х гг. Мриганка Сур и его коллеги из Массачусетского технологического института извлекли плод у хорька незадолго до рождения. Они провели операцию, перерезав зрительный нерв и соединив его со слуховой корой[141]. Результаты были воодушевляющими: слуховая кора стала выполнять функцию зрительной коры и модифицировала нейроны, определяющие ориентированные контуры, обычно присутствующие в области первичной зрительной коры V1.

Первоначальное строение слуховой коры несколько похоже на строение зрительной коры. Значит, если исходная структура соединений у разных зон близка, то в результате обучения в них может возникнуть любая необходимая функция. Это доказывает, что роль, выполняемая областью коры, на самом деле определяется сигналами, которые она получает, а не генетическим предварительным программированием «органа зрения» в головном мозге.

Возможность существования «универсального алгоритма» в коре головного мозга дает надежду ученым, которые, как и я, ищут единый организующий принцип, лежащий в основе интеллекта и обучения.

Сознание – сложная тема. Мы не знаем, как его правильно определить или измерить. Его путают с самосознанием, которое считают признаком высшего интеллекта у животных. Слон и шимпанзе, узнающие себя в зеркале, уже обладают самосознанием. Но не собака. На эту тему было написано много книг, в частности моим другом и соавтором Станисласом Деаном[142].

Лично я считаю, что сознание – это просто иллюзия. Правда, похоже, что оно существует у многих разумных животных, и, возможно, является лишь новым свойством больших нейронных сетей. Но мне интересно, не является ли оно скорее следствием ограничений нашей префронтальной коры. Наше сознание очень привязано к нашему вниманию. Когда мы сталкиваемся с определенной ситуацией, мы сосредотачиваем на ней свое внимание. Мы фокусируемся. Когда мы разгадываем головоломку, пробуем новый рецепт приготовления, участвуем в спорах, наше внимание «сознательно» сосредоточено на необычных или сложных задачах. Это заставляет нас для планирования дальнейших действий привести в движение нашу «модель мира».

Но, возможно, что у нас недостаточно нейронов, чтобы смоделировать более одной модели мира одновременно. Наша префронтальная кора может содержать своего рода реконфигурируемую схему, которая может быть «запрограммирована» нашим сознанием на выполнение модели мира, соответствующей текущей ситуации. В данной гипотезе сознание – это механизм управления, который настраивает эту схему для выполнения той или иной задачи. Не по этой ли причине без предварительной подготовки мы не можем одновременно сосредоточить свое внимание более чем на одной задаче? Однако, повторяя какие-либо действия намеренно и осознанно, мы учимся выполнять их автоматически, без мобилизации нашей модели мира. Благодаря этому процессу выполнение задачи переходит от Системы 2 Даниэля Канемана к Системе 1.

Поэтому, когда мы учимся водить машину, мы сосредотачиваемся на рулевом колесе, дороге, рычаге переключения передач… Мы представляем все возможные сценарии. После нескольких десятков часов практики мы легко выполняем все эти задачи. Задача стала подсознательной, почти автоматической. Сознание могло быть следствием этого преднамеренного механизма настройки единой схемы моделирования мира. Возможно, это следствие ограниченных возможностей нашей черепной коробки, а не отражение нашего высшего интеллекта. Если бы у нас было достаточно префронтальных нейронов для одновременного моделирования нескольких независимых моделей мира, возможно, нам не понадобилось бы сознание в том виде, в каком мы его себе представляем.

Я не сомневаюсь, что интеллектуальные машины будущего будут обладать некоторой формой сознания. Возможно, в отличие от нас, они даже смогут сосредоточиться на нескольких задачах одновременно.

Для людей язык настолько важен, что его даже можно счесть синонимом интеллекта. Мы соотносим слова с понятиями, мы управляем ими, чтобы рассуждать, – все это приводит нас к мысли, что интеллект не может существовать без языка.

А как насчет бонобо, шимпанзе, горилл и орангутангов, всех наших братьев – человекообразных обезьян? Похоже, у них нет такой развитой системы общения, как человеческие языки. Они не дают имен понятиям. Тем не менее они развивают символические представления и абстрактные рассуждения. В любом случае их модель мира несравненно сложнее, чем у наших лучших систем ИИ.

Если интеллект наших братьев-приматов не связан с языком, значит ли это то, что значительная часть нашего интеллекта также не связана с ним?

На мой взгляд, слишком тесная связь мышления и рассуждений с управлением символами и логикой является основной ошибкой классического ИИ (если не брать во внимание то небольшое значение, которое этот подход придавал обучению).

Напротив, мне кажется, что интеллект животных и большая часть человеческого интеллекта основан на моделировании, аналогии и воображении ситуации с использованием нашей модели мира. Это весьма далеко от логических рассуждений и языка.

Я не сомневаюсь, что однажды у автономных интеллектуальных машин появятся эмоции. В Главе 9 я предложил архитектуру, в которой поведение системы определяется минимизацией объективной функции. Данная целевая функция вычисляет затраты, которая измеряет степень «мгновенной неудовлетворенности» машины. Когда машина исправляет действие, повлекшее за собой высокие затраты, разве это не приравнивается к стремлению избежать чувство боли или дискомфорта?

Когда компонент, измеряющий заряд батареи робота, сигнализирует о нехватке питания и заставляет машину искать розетку, разве это не приравнивается к чувству голода?

Архитектура действующего модуля включает в себя модель мира и анализ. Эта модель предвидит, как изменится мир. Анализ предвосхищает результат целевой функции, модуля, который измеряет неудовлетворенность машины. Если, благодаря своей модели мира, робот предугадывает падение и повреждение, то анализ как бы предвидит «боль», рассчитываемую с помощью целевой функции. В этом случае робот попытается спланировать такую траекторию, чтобы избежать этого неприятного результата. Разве это не похоже на чувство страха?

Когда машина избегает действия, потому что в конечном итоге это действие приведет к высоким энергетическим затратам, или когда она выполняет действие, потому что оно позволяет избежать лишних затрат, разве это уже не признак проявления эмоций?

Когда компонент целевой функции, вычисляющий «голод», приводит к высоким затратам, он запускает поиск «пищи». В более общем плане поведение является результатом «неудовлетворенных» компонентов целевого модуля. Сложное поведение является результатом планирования действий, которое сводит к минимуму ожидаемые затраты с учетом используемой модели мира. Если вас ущипнуть за руку, то боль возникает мгновенно. Стоимость, рассчитанная с помощью вашего целевого модуля, отражает ваше текущее состояние. Когда кто-то хочет вас ущипнуть, ваш критический модуль предугадывает боль и заставляет вас защищать руку. Иначе говоря, эмоции – это ожидание затрат, рассчитанных критическим модулем.

Я прекрасно понимаю, что все мои примеры могут показаться слишком поверхностными. Эмоции – настолько важная часть человеческой натуры, что никто не хочет сводить их к простому вычислению математической функции. Мы так же не решаемся сводить человеческое поведение к минимизации целевой функции. Но я лишь формулирую гипотезу об общей архитектуре интеллектуальных систем, не отрицая богатства или сложности целевой функции и модели мира.

Нет.

Наш страх перед роботом, желающим захватить власть, – это проецирование особенностей человеческой природы на машины. Для большинства из нас единственным взаимодействием с разумными существами является общение с другими людьми. Именно этот факт заставляет нас путать интеллект и человеческую природу. Это ошибка: есть и другие формы интеллекта, хотя бы в животном мире, – и я говорю уже не только о языке.

Такие животные, как бонобо, шимпанзе, павианы и некоторые другие приматы, имеют в своих группах сложную, часто иерархическую социальную организацию. Выживание (или комфорт) каждого человека зависит от его способности влиять (доминирование является лишь формой влияния) на других представителей своего вида. Тот факт, что мы социальные животные, объясняет, почему мы связываем стремление к господству с интеллектом.

Но давайте рассмотрим несоциальный вид обезьян, например, орангутанов. Они сравнимы с людьми по интеллекту: их мозг всего вдвое меньше нашего. Но живут они поодиночке и избегают соседства с другими особями. Их социальное взаимодействие ограничивается отношениями матери и ребенка в течение двух лет и территориальными конфликтами. В результате эволюция не выстроила в них стремление доминировать над ближним: без социальной структуры нет никакой пользы для доминирования. Таким образом, можно быть умным, не стремясь к господству.

Вы понимаете, к чему я веду…

Кроме того, даже у людей стремление к доминированию не связано с интеллектом. Тут скорее дело в тестостероне! Самые умные из нас не всегда стремятся стать лидерами. У нас есть яркие примеры этого на международной политической арене… Да и я, например, возглавляю лабораторию, большинство сотрудников которой намного талантливее, чем я. Однако они не стремятся занять мое место. Напротив! Лучших ученых часто приглашают на руководящие должности, но многие из них отказываются. Я их понимаю: они предпочитают напрямую заниматься исследованиями.

Помимо стремления к доминированию, многие из наших побуждений и эмоций были заложены в нас эволюцией для выживания нашего вида (или наших генов!). Они включают любопытство, стремление к исследованиям, конкурентоспособность, подчинение, желание контакта с другими людьми, любовь, ненависть, хищничество, наши предпочтения по отношению к членам нашей семьи, нашему племени, нашей культуре, нашей стране. Человек, животное, да и машина, могут быть разумными без этих побуждений и эмоций. Следует запомнить: разумные машины будут стремиться к господству над человечеством только в том случае, если мы вложим в них это желание. Зачем нам это делать?

Возможно, машины захотят доминировать над человечеством, если, подобно HAL9000, они решат, что это лучший способ достичь цели, которую мы им поставили. Чтобы избежать такого сценария, будет ли достаточно встроить в них систему ценностей, которая запрещала бы им убийства, использование оружия, насильственные действия в отношении живых существ и т. д.? В этом и заключается вопрос о согласовании внутренних ценностей машины с общечеловеческими ценностями.

В «Рассказах о роботах» писатель и популяризатор науки Айзек Азимов описывает свои три закона робототехники:

1. Робот не может причинить вред человеку или своим бездействием подвергать человека опасности.

2. Робот должен подчиняться приказам человека, если только эти приказы не противоречат Первому Закону.

3. Робот должен защищать свое существование до тех пор, пока эта защита не станет противоречить Первому или Второму закону.

Как оказалось, довольно сложно запрограммировать эти законы в заранее прописанном поведении или в фиксированной части целевой функции интеллектуальной машины. На практике способность машин подчиняться этим законам скорее связана с их способностью предсказывать и оценивать опасность ситуации. Но нельзя привить эти законы роботу, пока он не научится абстрактным понятиям: опасности, послушанию, комфорту.

Как это сделать? Из Главы 9 ясно, что архитектура автономного ИИ включает целевую функцию, которая контролирует его инстинкты и импульсы. Речь идет о его «хранителе моральных ценностей». Эта целевая функция должна включать «врожденные», то есть созданные «вручную», ограничения, гарантирующие безопасность и выражаемые с помощью очень простых понятий. Легко построить датчик приближения человека и установить ограничение на скорость движения рук робота, когда человек находится в пределах досягаемости. Намного сложнее наложить поведенческие ограничения, относящиеся к абстрактным понятиям, таким как потенциальная опасность.

Целевая функция должна включать в себя не только сконструированные (врожденные) компоненты, но и обучаемые компоненты. Когда машина совершит ошибку, мы ее исправим. Она может изменить обучаемый параметр своей целевой функции, чтобы избежать повторения ошибки, возможно, даже обратившись к абстрактным понятиям, таким как понятие опасности. Такой процесс исправит поведение системы в непредвиденных ситуациях, не охваченных врожденными, т. е. вручную созданными инженером, параметрами.

У человечества, с одной стороны, существует большой опыт в кодификации систем моральных ценностей в виде законов (которые мы часто называем «кодексами»). Эти ценности иногда кодируются таким образом, чтобы организации и власть вели себя хорошо. С другой стороны, эти ценности также кодируются образованием: на протяжении тысячелетий мы учили наших детей отличать добро от зла и достойно вести себя в обществе.

Чтобы научить наших роботов будущего тоже вести себя достойно, нам не придется начинать с нуля.

Интеллект – это не только интеллектуальные способности. Он затрагивает все сферы поведения. К нему относятся обучение, адаптация и способность принимать решения. Хотя мы до сих пор не до конца понимаем, как обучаются люди и животные, ИИ дает нам некоторые ответы – по умолчанию. Существование ИИ доказывает, что между машинным интеллектом и человеческим нет непреодолимой пропасти, и указывает направления, в которых мы должны работать.

С точки зрения экономии средств машина использует в тысячи раз больше данных и энергии, чем мозг. В чем кроется эффективность работы последнего? Биологические нейроны медленные, но компактные, их много, и они потребляют очень мало энергии. Стремление к экономии энергии столь велико, что в любой момент в головном мозге активно лишь небольшое количество нейронов, которые при этом еще и экономичны сами по себе. «Тихий» нейрон тратит намного меньше энергии, чем нейрон, который посылает импульсы. Подобная слабая активность – это способ изучить аппаратную реализацию искусственных нейронных сетей будущего.

До сих пор остается большой загадкой, как человек так быстро строит абстрактные представления об окружающем мире? Как он, управляя этими представлениями, учится рассуждать и разрабатывать планы действий, позволяющие ему разбить сложную задачу на более простые подзадачи?

Ответ на эти вопросы прольет свет на другие загадки. Человек учится на небольшом количестве примеров. Он представляет сценарии, которые позволяют ему предвидеть последствия своих действий и, таким образом, сэкономить определенное количество знаний… Задача текущих исследований – обучение без использования большого количества примеров и энергии, которые на сегодняшний день характерны для ИИ.

В истории науки технологические изобретения зачатую предшествуют теории и науке. Примеры приведены в таблице 10.1.

Объектив, телескоп и микроскоп были изобретены задолго до того, как Ньютон разработал теорию оптики. Паровая машина работала более века, прежде чем Сади Карно ввел понятие теплового цикла и заложил основы термодинамики. Первые самолеты взлетели до того, как были разработаны аэродинамика, теории крыла и устойчивости полета. Первые программируемые компьютеры породили науку о вычислениях и алгоритмах, которую называют информатикой. Теория информации, предложенная Клодом Шенноном в Bell Labs в 1948 г., появилась лишь спустя десятилетия после появления первых удаленных коммуникаций и зарождения цифровых сетей.

Таблица 10.1. Изобретение и лежащая в его основе теория