Прежде чем начать разговор о библиометрии, стоит прояснить терминологию, используемую в этой области. Термин «наукометрия» обычно связывается с именем физика Василия Васильевича Налимова, опубликовавшего в 1969 году книгу с таким названием. Наукометрия включает в себя количественное измерение разных видов научной деятельности в самых разных дисциплинах[7]. Ее данные содержат суммы инвестиций в исследования и разработки (Research and Development, R&D), обучение научного персонала и производство статей и патентов. «Библиометрия», термин, введенный в обращение в том же 1969 году Аланом Причардом, означает подраздел наукометрии. Она ограничивается анализом публикаций и их характеристик[8]. И наконец, если в анализ включаются также патенты, часто используется термин «технометрия».

При слове «публикации» первыми приходят на ум научные статьи, однако публикации могут быть самого разного рода. Они включают как книги, так и диссертации, а также так называемую «серую» литературу — отчеты и аналитические записки. Возможность для более или менее тонкого анализа этих различных источников зависит лишь от степени их доступности в форме баз данных. Когда автоматической обработки данных при помощи компьютеров еще не существовало, библиометрический анализ осуществлялся вручную, ограничиваясь несколькими десятками публикаций в отдельных областях науки, таких как химия или социология.

Несмотря на четкие различия между наукометрией и библиометрией, использование библиометрических данных в исследовании научной динамики отныне настолько вошло в привычку, что оба термина быстро стали взаимозаменяемыми.

Появление библиометрии обычно относят к середине 1920-х годов, когда было опубликовано статистическое исследование Альфреда Лотки о распределении продуктивности ученых. В этой статье Лотка вывел закон, носящий теперь его имя: число авторов, публикующих N статей, обратно пропорционально числу N в квадрате[9]. Но как показал Бенуа Годен[10], первыми, кто еще в начале XX века проанализировал динамику публикаций в своей области, стали психологи. Однако в отличие от анализа Лотки, психологи в своих наблюдениях не задавались целью открыть общие законы. Они провели библиометрическое исследование для того, чтобы проанализировать рост своей новой дисциплины и способствовать ее популяризации. В ту же эпоху исследователи из другой области, сравнительной анатомии, также прибегли к анализу публикаций, чтобы проследить историю своей дисциплины с XVI до середины XIX века[11]. Но как ни датировать возникновение библиометрических исследований, настоящий их подъем начался в 1920–1930-е годы, по мере того как развивалось и систематизировалось управление фондами научных журналов в библиотеках. Специализированные журналы становились все более многочисленными и дорогими, поэтому библиотечные работники стремились найти объективные методы для отбора наиболее полезных для исследователей наименований. Именно в этом контексте управления журнальными фондами и возникла идея систематического анализа уже не самих публикаций, а содержащихся в них ссылок (цитат).

Проанализировав, какие журналы чаще всего цитировались, например, в области химии за данный период времени, библиотекари могли принять обоснованное решение, какие из них продолжали оставаться полезными, а какие устаревали, поскольку реже цитировались. Так, исследование, опубликованное в журнале Science в 1927 году, показало, что для получения представления о реальном использовании журналов вместо отбора журналов по принципу субъективного интереса со стороны некоторых исследователей следует искать объективный и более общий показатель. Анализируя содержание главного американского журнала по химии за 1926 год, авторы, два химика, обнаружили, что несмотря на то, что в нем цитируются 247 разных журналов, большинство из них (более 130) упоминались менее трех раз[12]. Обращая внимание на ведущие позиции немецких журналов, авторы попутно подчеркивали, насколько важно для молодых химиков владеть этим языком[13]. А исследование цитирования в химических журналах середины 1950-х годов наглядно продемонстрировало резкое падение количества ссылок американских химиков на немецкие журналы, что отражало радикально переменившуюся конъюнктуру после Второй мировой войны[14].

Такого рода описательный анализ, осуществлявшийся вручную на небольших по объему выборках, находил затем применение и в различных областях гуманитарных и социальных наук[15]. Из этих исследований вырастут основные понятия новой дисциплины — библиометрии. Так, идея о том, что количество обращений к публикации падает с течением времени, в начале 1960-х годов найдет отражение в понятии «время полужизни» научной литературы по аналогии с радиоактивным распадом элементов. Анализируя распределение ссылок в журналах в зависимости от их давности, можно заметить, что оно уменьшается экспоненциально. Эта кривая позволяет выявить своего рода время полужизни статьи, подсчитав количество лет, на которые приходится 50 % от общего числа ссылок, полученных с момента публикации. Этот отрезок и становится показателем продолжительности полезной жизни научных статей в той или иной области (ил. 1а). На графике видно, что в истории гораздо чаще, чем в химии, встречаются отсылки к документам более чем двадцатилетней давности. Первые исследования также показали, например, что в математике половина цитируемых публикаций имеет возраст примерно десять лет, тогда как в физике это число следует разделить на два. Иначе говоря, у статей по математике более высокая продолжительность жизни, чем у статей по физике[16]. Можно также выявить время полужизни ссылок в будущем, то есть количество лет, которое должно пройти, прежде чем будет достигнута половина от общего числа полученных ссылок (ил. 1б).

Ил. 1a. Типичное распределение возраста ссылок, содержащихся в статьях по химии и истории, опубликованных в 1980 году

Ил. 1б. Типичная временная динамика ссылок, полученных статьями по химии и истории после их публикации в 1980 году (общее число ссылок равняется 100 %)

По причине резкого роста числа публикуемых статей после Второй мировой войны ученые уже не успевали следить за результатами исследований даже в своей узкоспециализированной области. Этому уже не помогало и регулярное издание аннотаций новых публикаций частными фирмами и учеными обществами. И тогда возникла идея создать систему, которая индексировала бы все статьи, включая библиографические ссылки. За образец был принят индекс Шепарда, с помощью которого каталогизируются все решения суда в США. Он позволяет быстро выяснить, составляет ли еще данное судебное решение прецедент с учетом всех более поздних решений, которые на него ссылаются. В 1955 году специалист по библиотековедению Юджин Гарфилд, занимавший в то время пост замредактора журнала American Documentation, попросил замдиректора компании, издававшей индекс Шепарда, Уильяма С. Адэйра написать статью, в которой бы описывалось, как работает этот юридический инструмент, и указывались способы его адаптации к научной литературе. Через несколько месяцев в журнале Science Гарфилд представил проект информатизированной базы данных ссылок, содержащихся в статьях из научных журналов[17]. Его цель состояла в том, чтобы облегчить библиографический поиск, используя цитируемые статьи для нахождения других статей на ту же тему. Изначальное предположение здесь состояло в том, что цитирование того или иного текста обязательно указывает на концептуальную связь между цитирующей и цитируемой статьями (иными словами, в научных статьях, известных своей строгостью, цитаты не бывают случайными). Доступ к информации о статьях, цитируемых в том или ином тексте, помогает быстро составить релевантную библиографию. Действительно, если, например, статья цитирует книгу «Социология науки» (The Sociology of Science) Роберта К. Мертона, то велик шанс, что речь в ней идет о социологии науки. Точно так же исследователь, обнаруживая статьи авторов, в которых цитируются его работы, может таким образом ознакомиться с трудами коллег, работающих по той же теме, но при этом публикующихся не только в журналах, которые он знает и регулярно просматривает.

Убежденный в пользе своего проекта, в 1959 году Гарфилд основал в Филадельфии Институт научной информации (Institute for Scientific Information, ISI). В 1961 году он получил грант в 300 000 долларов от Национального научного фонда (National Science Foundation, NSF) и от Национальных институтов здравоохранения (National Institutes of Health, NIH) на изучение возможностей по созданию автоматизированного индекса цитирования. Как только прототип был готов, Институт научной информации (ISI) с 1963 года запустил на рынок Индекс научного цитирования (Science Citation Index, далее ИНЦ). Интерес NSF и NIH к проекту Гарфилда говорит о том, что они придавали большую важность вопросу доступа к научной литературе в условиях быстрорастущих объемов информации[18].

Итак, появление Индекса научного цитирования было связано с задачами управления научной информацией и не имело прямого отношения к оценке исследований. Тогда эта тема еще не стояла на повестке дня[19]. ИНЦ — это прежде всего инструмент библиографического поиска, с помощью которого ученые могут находить среди множества публикаций те, которые их интересуют в связи с конкретной темой. И в настоящее время Web of Science (WoS), в котором объединены индексы цитирования по разным группам наук (ИНЦ, SSCI и AHCI), представляет собой уникальный инструмент для быстрого составления библиографии по заданной теме. Речь идет об индексе постольку, поскольку финальным продуктом являлась книга, в которой имена цитируемых авторов располагались в алфавитном порядке (ил. 2). Благодаря информационным технологиям этот индекс из печатной книги трансформировался в настоящую базу данных, содержащую все библиографические ссылки из индексируемых в этой базе статей, доступ к которой обеспечивается через интернет. Однако термин «индекс» цитирования продолжает использоваться по привычке.

Ключевой фигурой в становлении наукометрии стал видный историк науки Дерек де Солла Прайс. Физик по образованию, он предложил анализировать науку так же, как статистическая физика анализирует газы, то есть следить за развитием всей совокупности ученых и их публикаций, а не ограничиваться отдельными фигурами, даже такими крупными, как Эйнштейн. Прайс стремился к созданию того, что он называл наукой о науке, основанной на количественном анализе развития областей научного знания. В 1950 году он опубликовал свое первое исследование, показавшее, что наука как система растет в геометрической прогрессии начиная примерно с 1700 года. Так, и число научных журналов, и число публикаций удваивается примерно каждые пятнадцать лет[20]. И хотя в зависимости от используемого метода и отобранных данных точный темп роста может варьироваться, интенсивный рост науки — это факт, с тех пор подтвержденный во многих исследованиях[21]. И кстати, Прайс первым использовал новый индекс цитирования в социологических, а не только библиографических целях. В статье 1965 года, анализирующей сети цитирования, он показал крайне неравномерное распределение ссылок (цитат). Это столь же сильный закон, что и выведенная Лоткой закономерность распределения продуктивности среди ученых[22].

Несмотря на накопленные знания о цитировании в библиотечной сфере и вопреки всем усилиям Прайса по популяризации науки о науке, библиометрические исследования надолго останутся уделом небольшого сообщества исследователей, состоящего из ученых-естественников, библиотекарей, социологов и историков, имевших разные мотивы для изучения свойств научных публикаций и содержащихся в них ссылок. И только в 1970-е годы библиометрия как сфера академических исследований переживает настоящий подъем в связи с новым запросом со стороны научной политики.

Вторая половина 1960-х годов отмечена важным поворотом в организации науки, поскольку в странах Запада научной политике стало уделяться повышенное внимание. В связи с необходимостью стимулировать развитие науки возникла потребность в разработке показателей в сфере науки и инноваций, точно так же как раньше были разработаны показатели экономического и социального развития[23]. Организация экономического сотрудничества и развития (ОЭСР) запустила тогда целую серию исследований по научной политике разных стран. В 1962 году по инициативе этой организации было опубликовано первое издание «Руководства Фраскати», предложившего стандартную методику статистического измерения исследований и разработок (R&D)[24]. К тому же времени относится публикация в журнале Nature статьи Прайса о научных основаниях научной политики[25].

В этом контексте Американский конгресс поручил Национальному научному фонду (ННФ, помогшему Гарфилду в создании ИНЦ) задачу создания индикаторов, с помощью которых можно было бы отслеживать развитие и измерять состояние науки и технологий. Так в 1972 году был издан первый статистический сборник «Индикаторы науки» (Science Indicators), затем выходивший с периодичностью раз в два года. В 1987 году он был переименован в «Индикаторы науки и техники» (Science and Engineering Indicators). Также в начале 1970-х годов Национальный научный фонд поручил Фрэнсису Нарину и его фирме Computer Horizons изучить возможности применения библиометрии в целях оценки научных исследований и разработок. Нарин составил объемный отчет, заложивший основы оценочной библиометрии[26]. Если ОЭСР, руководствуясь прежде всего экономическим видением научного развития, интересовалась лишь показателями вложенных инвестиций и выпущенных патентов (используемых для измерения инноваций), ННФ, более близкий к академическому миру, производил также библиометрические данные при помощи ИНЦ. Таким образом, данные по публикациям и цитированию впервые были включены в совокупность показателей научного развития в дополнение к обычным данным по научным сотрудникам и инвестициям в сфере исследований и разработок. Эти сборники впоследствии послужили образцом и для других стран. Например, французская Обсерватория науки и техники (OST) публикует серию похожих показателей с начала 1990-х годов[27].

Запрос со стороны государства на индикаторы, с помощью которых можно измерять уровень научно-технического прогресса и тем самым получать знания, необходимые для проектирования государственной политики и принятия решений, стимулирует развитие и организацию прежде разнородной сферы исследований. В академических кругах на этот запрос откликнулись запуском журнала Research Policy в 1971 году, а два года спустя начал выходить и Science and Public Policy. Оба журнала посвящены обсуждению научной политики и факторов научно-технического развития, а также их анализу. В 1974 году на конференции с участием отцов-основателей библиометрии (Дерека де Солла Прайса, Юджина Гарфилда и его сотрудника Генри Смолла, социологов Стивена и Джонатана Коулов, а также Роберта К. Мертона, одного из ее организаторов) была впервые предложена обобщающая работа под названием «О наукометрии: возникновение показателей развития науки»[28]. В ней анализируются исторические, социологические и экономические аспекты измерения науки в целях выработки цельной системы показателей ее развития. Историк науки Джеральд Холтон при этом задается вопросом, действительно ли науку можно измерять, а братья Коул рассуждают об измерении когнитивных аспектов научных дисциплин. Со своей стороны, Гарфилд и его коллеги подчеркивают важность цитат как инструмента картирования концептуальной структуры научных дисциплин и специальностей, а также их развития во времени при использовании таких количественных методов, как библиографическое сопряжение и совместное цитирование документов[29].

В следующей главе мы рассмотрим различные применения этих библиометрических методов и показателей. Сейчас же отметим лишь, что рост числа библиометрических работ привел к созданию в 1978 году первого журнала, целиком специализирующегося по данной теме, Scientometrics. По мере развития этой специальности с 1987 года стали проводиться международные конференции, а в 1993 году было создано Международное общество наукометрии и инфометрии (International Society for Scientometrics and Informetrics).

Помимо запроса, связанного с научной политикой разных стран, само наличие информатизированной базы данных ИНЦ, покрывающей все более протяженный период времени, также стимулировало проведение исследований с использованием библиометрических данных. 1970-е годы стали в целом временем развития социологии науки как отдельной специальности. В 1971 году был создан журнал Social Studies of Science, где было опубликовано несколько исследований, использующих библиометрию для анализа развития научных дисциплин[30].

Как мы показали выше, поначалу библиометрический инструментарий использовался прежде всего для управления журнальными фондами в библиотеках и для исследований динамики развития науки. С конца же 1980-х годов его постепенно начинают применять для оценки исследовательских групп. Такие управленческие технологии, как менеджмент знаний (knowledge management)[31] или бенчмаркинг (benchmarking)[32], основанные на конструировании показателей продуктивности, эффективности и пр., перекочевали в 1980-е годы из частных предприятий в государственный сектор, а в 1990-е годы и в университеты. Так библиометрические данные стали инструментом управления научными карьерами, с помощью которого стремились преодолеть ограничения традиционной коллегиальной оценки. Все более утверждалось мнение, что такая оценка слишком субъективна и ее следует дополнить или даже заменить данными, которые считались более объективными. Выходящий с 1991 года журнал Research Evaluation отражает этот менеджерский подход к науке, и в нем публикуются работы по оцениванию, зачастую основанные на библиометрии.

До 2000-х годов большинство библиометрических исследований производилось на уровне крупных единиц (больших лабораторий, университетов, стран). Практически все эксперты в данной сфере скептически относились к применению библиометрических измерений на индивидуальном уровне. Последние интересовали прежде всего менеджеров науки и ученых, которые, с тех пор как доступ к базам данных упростился благодаря интернету, принялись в свободное время заниматься любительской библиометрией. Именно такая характеристика представляется уместной, поскольку, как мы увидим в следующих главах, подобные изыскания не отличаются методологической строгостью.

В заключение этого краткого исторического экскурса можно сказать, что с 1920-х и до конца 1950-х годов библиометрия опиралась на методы ручного подсчета, ограничивалась маленькими выборками и служила прежде всего для помощи в управлении библиотечными фондами журналов. Введение в эксплуатацию информатизированной базы данных ИНЦ в начале 1960-х годов открыло путь для крупномасштабного анализа динамики науки. Эта инновация появилась в период, когда для определения политики в данной области требовалось все больше показателей, которые позволили бы измерять уровень научного развития стран. Это стечение обстоятельств в 1970–1980-е годы дало мощный толчок исследованиям динамики науки на уровне дисциплин и специальностей, а также на страновом и международном уровнях.

После робких начинаний 1980-х только на протяжении 1990-х годов библиометрия получает распространение как инструмент оценки исследователей. Став объектом этих новых количественных методов оценивания, последние вдруг узнали о существовании библиометрии, а посему связывают ее исключительно с процедурами оценки. Некоторые возмущаются таким упрощенным подходом к измерению своей научной деятельности и критикуют ограниченность этих методов, заново открывая таким образом недостатки, давно известные экспертам в этой области. Другие же, не столь критично настроенные, принимаются изобретать показатели и, комбинируя более-менее произвольным образом библиометрические данные, разрабатывают формулы для выявления лучших исследователей. Злоупотребления оценочной библиометрии бросают тень на всю совокупность методов, которые между тем являются незаменимыми при анализе глобальной динамики науки.

Как мы показали в предыдущей главе, настоящий подъем библиометрии связан с получением доступа к базам данных, позволившим автоматизировать анализ на макроуровне. Вплоть до 2004 года, когда фирма Elsevier запустила на рынок альтернативную базу данных, Scopus, Институт научной информации (ISI), созданный Юджином Гарфилдом, оставался монополистом в сфере библиометрической статистики. Поэтому большинство работ по наукометрии основываются на базах данных ISI. Однако в последние несколько лет стало появляться все больше исследований, использующих данные Scopus[33].

Для начала напомним, какова структура Индекса научного цитирования, публикуемого Институтом научной информации (ISI) с 1963 года. В 1973 году к Science Citation Index (SCI) добавляется Social Science Citation Index (SSCI), а с 1978 года — Arts and Humanities Citation Index (AHCI). До распространения интернета они были доступны лишь в университетских библиотеках, получавших их по подписке в виде толстых томов, похожих на телефонные справочники, а затем, с 1980-х годов, в виде компакт-дисков. Разумеется, бумажный носитель нисколько не приспособлен для крупномасштабного анализа, и тома Индекса использовались в основном просто для библиографических поисков. И наконец, напрямую у ISI можно было получить всю совокупность данных в электронной форме.

На ил. 2 показано типичное содержание страницы из индекса цитирования в бумажном формате. На ней видны отсылки к статьям Эйнштейна за 1959, 1960 и 1961 годы. В настоящее время бумажная версия не выпускается, и все три базы данных объединены на платформе Web of Science, содержащей около 12 000 журналов по всей совокупности дисциплин. Они доступны в интернете по абонементу университетских библиотек, подписанных на услуги Thomson Reuters, фирмы, которая приобрела Институт научной информации в 1993 году.

В базе данных содержится не полный текст статей, а совокупность связанных с ними метаданных. В ней можно найти название статьи, журнала, где она опубликована, фамилии всех авторов, их институциональный адрес, тип документа (статья, письмо, обзор, книжная рецензия и пр.) и полный библиографический список (ил. 3). Именно эта информация о ссылках и придает ИНЦ его специфический и (долгое время) уникальный характер. Поскольку в пристатейные списки литературы иногда попадают патенты, это дает возможность анализировать и ссылки на патенты[34]. В свою очередь, базы данных по патентам, также содержащие ссылки на статьи, с 1980-х годов стали использоваться для анализа связей между научными исследованиями и техническими инновациями[35].

Ил. 2. Выдержка из первого ИНЦ (источник: Eugene Garfield, American Documentation. July 1963, p. 196)

После перевода в электронную форму эта информация организуется в виде базы данных, позволяющей производить поиск по разным параметрам (автор, страна, институция, журнал и т. п.).

В бумажную эпоху поиск в ИНЦ был возможен лишь по фамилии первого автора, несмотря на то что у большинства публикаций уже тогда было более одного автора. Первые пользователи, социологи науки, подмечали это ограничение и предлагали включать также другие фамилии или по крайней мере фамилию последнего автора, который в больших исследовательских коллективах, типичных для «Большой науки», часто является руководителем. Однако Гарфилд, осознавая затратность подобного изменения в базе данных, в ответ напомнил, что ИНЦ — это прежде всего инструмент библиографического поиска, а не измерения эффективности исследователей[36]. В связи с усовершенствованием компьютерной техники современные библиометрические базы данных позволяют найти упоминания всех соавторов той или иной публикации.

Ил. 3. Типичный вид метаданных статьи в индексе цитирования

С самого начала ИНЦ воспринимался как важный ресурс для историков и социологов науки. Еще до публикации первой версии в 1963 году Гарфилд заручился поддержкой отца социологии науки, Роберта К. Мертона, а также историка науки, ратовавшего за продвижение библиометрии, Дерека де Солла Прайса. Сам Гарфилд серьезно интересовался историей науки и в течение всей своей карьеры работал над совершенствованием программ, предназначенных для автоматической визуализации сетей цитирования между статьями[37]. Благодаря интересу к истории науки со стороны Гарфилда директор исследовательской службы в ISI Генри Смолл, сам по образованию историк науки, в 1981 году взял на себя руководство созданием индекса цитирования по физике за период с 1920 по 1929 год при финансовой поддержке Национального научного фонда. Это был период развития квантовой физики, что позволило детально изучить научную революцию с точки зрения библиометрии[38]. Этот интерес к историческому использованию ИНЦ в результате привел к созданию ретроспективной базы данных, включившей ведущие научные журналы с 1900 года в сфере социальных и естественных наук[39].

Ил. 4a. Динамика среднего числа ссылок, содержащихся в статьях, по крупным дисциплинарным направлениям, 1900 — начало 2010-х годов (источник: WoS)

Ил. 4б. Динамика среднего числа ссылок (цитат), полученных статьей через два года после ее публикации, по крупным дисциплинарным направлениям, 1900 — начало 2010-х годов (источник: WoS)

По мере накопления исследований по библиометрии были обнаружены характеристики публикаций и ссылок, которые необходимо учитывать при конструировании показателей, позволяющих адекватно описывать динамику науки на разных уровнях. Так, среднее количество ссылок на одного автора в значительной мере зависит от размера дисциплин и специальностей. Например, в математике исследователей гораздо меньше, чем в медицине. В целом, при прочих равных условиях среднее количество ссылок на ту или иную статью зависит от размеров содержащихся в статьях библиографий, то есть от числа статей в этих библиографиях. Чем выше это число, тем больше у автора шансов, что его процитируют. Среднее число ссылок в статьях по всем дисциплинарным направлениям со временем существенно возросло, что отражает резкий рост числа исследователей и публикуемых статей (ил. 4a). Иначе говоря, рост среднего числа ссылок на одну статью, как показано на ил. 4б, является простым следствием демографических изменений в науке. Из этого следует, что абсолютное число ссылок мало что означает само по себе и что сравнения между разными научными областями по этому показателю некорректны. Его всегда нужно рассматривать в контексте дисциплины, к которой принадлежит исследователь, и за определенный период.

Помимо этого, уже первые исследования показали, что процент самоцитирования в целом невелик (8 %), что ссылки на собственные публикации в журналах составляют примерно 20 % от их общего числа и что распределение цитирования отличается высокой концентрацией[40]. И наконец, как показывает ил. 5, неравномерно распределены не только ссылки, но также сами публикации и гранты, получаемые исследователями[41]. Речь идет о распределениях типа Парето, подчиняющихся так называемому правилу 20/80: на 20 % исследователей приходится, в общем и целом, 80 % цитат и грантов. У публикаций концентрация несколько ниже: на 20 % исследователей приходится не более 60 % статей.

Ил. 5. Распределение грантов, публикаций и ссылок среди квебекских исследователей (источник: OST)

С середины 1960-х годов ведется поиск корреляций между числом ссылок и различными переменными, характеризующими исследователей, с тем чтобы выявить детерминанты производительности ученых и влияния научных исследований. Так, в исследовании, опубликованном в 1966 году, установлено, что нет корреляции между коэффициентом интеллекта исследователей (IQ) и числом ссылок на их работы! Зато это число коррелирует с местом университета, в котором они защитили диссертацию, на шкале престижа, установленной экспертами[42]. Используя свой первый индекс (за 1961 год), Гарфилд выявил, что лауреаты Нобелевской премии за 1962 и 1963 годы цитируются в тридцать раз чаще, чем в среднем работы их коллег[43]. Другие исследования впоследствии подтвердили, что существует связь между уровнем цитируемости, производительностью, заслугами и степенью признания исследователей[44].

Ил. 6. Сферы применения библиометрии

Базы данных Web of Science уникальны тем, что охватывают длительный временной промежуток и включают, хотя и в неравной мере, все области знаний. Они позволяют всесторонне изучать социальные и когнитивные трансформации различных научных дисциплин на всем протяжении XX века. Некоторые исследователи прибегают к ним для анализа развития наук под определенным — историческим, социологическим, экономическими или политическим — углом (ил. 6). Рассмотрим несколько примеров.

В своем простейшем виде библиометрия занимается подсчетом документов. Документы могут анализироваться на разных уровнях агрегирования по таким параметрам, как фамилия автора, его институциональная принадлежность, включая название организации (кафедра, университет, лаборатория), регион и страну, в которой она располагается. В плане содержания можно также ассоциировать документ с той или иной дисциплиной или специальностью. Простые вычислительные операции позволяют составить первое представление о сравнительном развитии различных областей науки в разных организациях и странах, а также помогают понять различные аспекты структуры и динамики наук.

Еще задолго до создания в начале 1960-х годов Индекса научного цитирования некоторые ученые стали анализировать количественную динамику публикаций в своих дисциплинах. В 1935 году, изучая кривую роста числа публикаций, посвященных фиксации азота растениями, ученые-агрономы вывели простую, но впоследствии востребованную математическую модель: логистическая кривая, характеризующаяся резким ростом с последующим насыщением[45]. Другой пример использования библиометрии относится к институциональному уровню: сотрудники исследовательской лаборатории компании «Дженерал электрик» в Нью-Йорке показали, что анализ публикаций является полезным методом для идентификации самых активных центров в той или иной научной области[46], а также для оценки уровня фундаментальных научных исследований в научно-производственных лабораториях[47].

Хотя эти примеры ограничены по своему охвату, они продемонстрировали пользу такого рода количественного анализа науки, который теперь благодаря библиометрическим базам данных стало возможно применять к совокупности научных дисциплин в глобальном масштабе[48]. Анализ временной динамики научного производства, учитывающий особенности разных баз данных, в рамках одной страны, региона или институции в самом деле дает важную информацию, которую невозможно получить другими путями. Поиск по ключевым словам (адрес, институция, термин) также позволяет оценить тренды развития отдельных научных областей (спад или, напротив, рост) более точно, чем это мог бы сделать даже самый маститый исследователь. Ни один человек не мог бы иметь всеобъемлющее видение науки в отсутствие библиометрических данных, которые также позволяют конструировать показатели, отражающие динамику отдельных научных областей. Так, например, как показано на ил. 7, базы данных наглядно демонстрируют небывалый рост китайской научной продукции начиная со второй половины 1990-х годов (ниже мы более подробно проанализируем эту продукцию по разным научным областям — химия, нанотехнологии, математика и пр.). Благодаря такого рода данным легко заметить и быстрое падение научного производства в России после распада СССР в начале 1990-х годов, а также его новый подъем в 2000-е годы. Полученные таким образом серии данных по разным странам можно соотносить с другими переменными. Так, было доказано, что общее число публикаций в данной стране (так же как и число патентов[49]) напрямую связано с ее валовым внутренним продуктом, то есть научное развитие практически невозможно отделить от экономического[50].

Ил. 7. Динамика числа публикаций в странах БРИК, 1972 — начало 2010-х годов (источник: WoS)

Используя разнообразную информацию, которая содержится в публикациях, библиометрия позволяет эмпирически оценить трансформации научных практик на протяжении XX века, а также различия между дисциплинами.

В академическом мире естественные науки часто противопоставляются социальным и гуманитарным. А между тем библиометрический анализ характеристик цитирования выявляет наличие скорее четырех, а не двух групп наук. Биомедицина отличается в этом отношении от остальных естественных наук. А социальные науки, с одной стороны, и гуманитарные дисциплины, с другой, которые традиционно объединялись в одну группу, также различаются по принятым в них практикам цитирования, берущим начало в разных традициях. В целом можно заметить, что около трех четвертей ссылок в статьях по гуманитарным дисциплинам приходится на книги, а не на журналы. Этот процент мало менялся за последние тридцать лет[51]. Зато в экономике доля ссылок на книги снизилась за тот же период с 55 до 30 %. Эта тенденция объясняется тем, что экономисты имитируют поведение коллег из естественных наук. Например, в химии или физике более 80 % ссылок приходится на статьи.

Результаты библиометрических исследований часто носят описательный характер, однако они важны тем, что ясно показывают вариативность публикационных практик во времени и в зависимости от дисциплины. Исходя из этого, представляются опасными попытки навязать единую модель научной практики, берущую за образец публикацию статей в специализированных журналах. Так, например, все более часто встречающееся во Франции использование термина «публикующийся» для характеристики производительности исследователей вовсе не нейтрально. Вопреки очевидности, «публикующийся» обозначает не просто публикующегося исследователя, а исследователя, который публикует определенное количество текстов в год в определенных журналах. Иначе говоря, «публикующийся» публикуется в определенном формате и ни в каком ином. Участие в коллективных сборниках, распространенное и значимое в социальных науках явление, таким образом, обесценивается просто потому, что ему, в отличие от журнальных публикаций, нельзя присвоить импактфактор. Таким образом, порядок вещей оказывается перевернут: практики подстраиваются под критерии, тогда как должно быть ровно наоборот. «Непубликующимся» называют не того исследователя, который не публикует свои работы, но того, который просто не соответствует навязанным критериям публикационной активности, согласно которым наивысшей ценностью обладают статьи в журналах, попавших в библиометрические базы данных. К слову, в социальных науках выбор в пользу книги или статьи также обуславливается такими социологическими переменными, как место учебы и работы. В США, например, социологи из частных университетов ставят акцент на публикации книг, тогда как их коллеги из государственных университетов публикуют прежде всего статьи[52].

Ил. 8. Среднее число авторов на статью по дисциплинам, 1900 — начало 2010-х годов (источник: WoS)

Итак, библиометрический анализ обнаруживает различия между социальными науками и гуманитарными дисциплинами в том, что касается практик цитирования. Это знание необходимо для того, чтобы противостоять навязыванию не адаптированных к этим специальностям критериев.

По таким показателям, как среднее число авторов на статью (ил. 8) и удельный вес статей с двумя и более авторами (ил. 9), можно судить о процессах коллективизации науки на протяжении всего XX века. Среди естественных наук, к примеру, быстрее других дисциплин командной стала химия, тогда как математика долго оставалась дисциплиной индивидуалистической. Но даже математика не осталась в стороне от подъема коллективной работы, и в настоящий момент более половины статей имеют двух или более авторов (ил. 10). Каждую дисциплину можно, в свою очередь, разложить на специальности с различающимися практиками сотрудничества, причем обычно исследователи-эмпирики собираются в более крупные команды, чем теоретики. Однако общей тенденцией остается растущая коллективизация науки.

Ил. 9. Временнáя динамика удельного веса статей с двумя и более авторами по крупным дисциплинарным направлениям, 1900 — начало 2010-х годов (источник: WoS)

Ил. 10. Временнáя динамика удельного веса статей с двумя и более авторами в химии, математике и физике, 1900 — начало 2010-х годов (источник: WoS)

Ил. 11. Удельный вес статей, написанных соавторами из разных стран, по крупным дисциплинарным направлениям, 1980 — начало 2010-х годов (источник: WoS)

Науке всегда было свойственно стремление к преодолению границ, однако после Второй мировой войны наблюдается настоящий подъем международного сотрудничества. Библиометрические данные позволяют проследить эту динамику с конца 1970-х годов, когда базы данных WoS стали систематически включать в описание статей полный адрес авторов. На ил. 11 показан рост международного сотрудничества по трем крупным дисциплинарным направлениям с 1980 года. Удельный вес статей, написанных соавторами из разных стран, регулярно рос, причем в естественных науках в начале 1990-х годов наблюдался ускоренный рост. Практики международных коллабораций получили распространение и в социальных науках, где ускорение их роста пришлось на начало 2000-х годов.

Ил. 12. Сеть международного научного сотрудничества между 50 самыми производительными странами (2000–2005). Размер точек пропорционален числу статей, опубликованных в международном соавторстве. Для наглядности линии на рисунке отображаются, если минимальное число совместных статей равно 500

Относительную стабильность в этом отношении сохраняли гуманитарные дисциплины: в этих областях знания у абсолютного большинства статей только один автор (ил. 9). Поэтому не имеет смысла использовать данный показатель для описания динамики гуманитарных областей. Зато распространенность международного соавторства в естественных науках придает этому показателю высокую значимость, поскольку он позволяет измерить степень интернационализации науки. С его помощью можно также констатировать, что эта тенденция гораздо более давняя, чем нынешняя риторика интернационализации науки, и что она обусловлена внутренней динамикой научных дисциплин, хотя, конечно, ее могут поощрять и специальные программы в сфере научной политики.

Возможности библиометрических баз данных отнюдь не ограничиваются простым подсчетом публикаций. Благодаря этим базам можно узнать не только из каких стран происходят соавторы тех или иных статей, но и какова их институциональная принадлежность. А методы сетевого анализа позволяют наглядно представить сети международного сотрудничества. На ил. 12 показана сеть международных коллабораций между исследователями из стран, лидирующих в сфере научного производства, с 2000 по 2005 год. Здесь ясно видно, что Франция поддерживает тесные отношения с ведущими в научном отношении странами, которые окружены более периферийными странами с менее диверсифицированными сетями сотрудничества. Можно было бы также показать связи между разными институциями внутри той или иной страны.

Сравнение сетей сотрудничества в разные периоды показывает, что с течением времени они становятся все более плотными. С 1980-х годов существенно растет не только удельный вес публикаций, написанных в международном соавторстве, но и круг стран, с которыми происходит сотрудничество.

Создание сетей перекрестного цитирования между цитирующими и цитируемыми журналами позволяет выявлять отношения между дисциплинами. Вычисление степени центральности различных узлов сети дает операциональное определение идеям «центра» и «периферии», которые чаще всего используются лишь как метафоры. Определяя изменение центральности той или иной страны или журнала во времени, можно отследить ее траекторию в мировом научном поле.

Библиометрические данные также используются для наблюдения за вновь возникающими исследовательскими полями, такими как нано- или биотехнологии. Корпус текстов для анализа при этом выстраивается на основе ключевых слов, содержащихся в статьях или в названиях публикаций. Данный подход дает возможность исследователям и в особенности компаниям осуществлять научно-технологический мониторинг, позволяющий им быть в курсе последних исследований и открытий в интересующих их сферах.

Ил. 13. Методы анализа тематических связей между публикациями. Слева: библиографическое сопряжение связывает между собой документы А и B через их общие ссылки (c, d, e, f); справа: социтирования связывают друг с другом документы А и В через статьи, которые ссылаются на оба документа (c, d, e, f)

И наконец, с помощью анализа ссылок можно выявить и более концептуальные связи между статьями. Чем более полно совпадают у двух статей списки литературы, тем выше вероятность того, что их объединяет схожая тематика. Данная интуиция положена в основу метода библиографического сопряжения, разработанного в начале 1960-х годов для автоматической классификации документов[53]. Десять лет спустя Генри Смолл, руководитель научных программ в ISI, изобрел так называемый метод социтирования, устанавливающий связь между двумя документами, которые часто цитируются вместе в других документах-источниках[54]. Как показано на ил. 13[55], эти два подхода дополняют друг друга; они позволяют создавать концептуальные сети, обнаруживающие достаточно четкие подгруппы. Подобные техники выявления сообществ применяются для вычленения дисциплин в совокупности научного поля и отдельных специальностей в рамках дисциплин[56].

В последнее десятилетие много работ было посвящено визуализации системы отношений между дисциплинами[57]. На большинстве таких изображений сеть отношений между дисциплинами отличается от линейной иерархической последовательности, как это подразумевалось в большей части классификаций наук от Фрэнсиса Бэкона до Огюста Конта. В своей совокупности дисциплины формируют круг, как это предполагал, один из немногих, Жан Пиаже[58]. И замкнуть этот круг позволяет математика, устанавливая отношения между физикой, с одной стороны, и (через статистику) с психологией и социальными науками, с другой[59].

Примеры эти можно было бы умножать, настолько многочисленны и разнообразны в наше время библиометрические исследования. Но и приведенных выше примеров достаточно для демонстрации того, что библиометрия дает нам информацию о науках, которую невозможно получить иным способом. Она позволяет уйти в исследованиях науки от частных историй, дисциплинарных предпочтений и авторитетных суждений, которые не могут служить серьезным основанием для принятия решений в сфере научно-технической политики. Как недавно подчеркивалось в отчете Совета канадских академий, политические решения, безусловно, не могут основываться исключительно на библиометрических данных, однако последние помогают сделать осведомленный выбор[60]. А те, кто думает, что без них можно обойтись, рискуют ошибиться в своих расчетах и прогнозах.

Библиометрический анализ опровергает некоторые расхожие представления. Возьмем для примера средний возраст ссылок, содержащихся в пристатейных списках литературы. Часто приходится слышать, что цитируются только статьи менее четырех- пятилетней давности и что быстрый рост числа публикаций только усиливает тенденцию ссылаться на самые свежие результаты. Однако глобальное исследование временнóй динамики среднего (или даже медианного) возраста ссылок показывает, что на самом деле в последние тридцать лет он только увеличивается![61] Точно так же несостоятельна идея о том, что бóльшая часть статей никогда не цитируется: в реальности доля нецитируемых статей снижается с течением времени, особенно с 1970-х годов[62]. Значение данного показателя, разумеется, зависит от того, какой временной промежуток взят для анализа. Если ограничиваться двухлетним периодом, то удельный вес нецитируемых статей будет выше в социальных науках, чем в медико-биологических. Зато если увеличить этот временной интервал, например до десяти лет, то разрыв между дисциплинами сокращается. Так что прежде чем приниматься за оценивание, в особенности отдельно взятых исследователей, важно хорошо понимать технические характеристики цитирования.

Противники цитационного анализа приводят в качестве аргумента тот факт, что статьи с ошибочными и даже поддельными результатами исследований могут широко цитироваться, тогда как новаторские работы иногда игнорируются. Однако с точки зрения истории и социологии науки это не является проблемой. Напротив, изучая такие ссылки, можно выявить динамику научных споров, а также способы научной коммуникации и распространения знаний. Анализ цитирования также позволяет исследовать пути рецепции той или иной теории, не вынося при этом суждения о ее истинности или ложности, ведь этот аспект скорее относится к прерогативам самого научного сообщества. Рассмотрим для примера случай холодного ядерного синтеза, о котором с большой помпой объявили в 1989 году электрохимики Стэнли Понс и Мартин Флейшман. В исследовании, опубликованном ISI, демонстрируется, что через 10 месяцев после объявления об их революционном «открытии», в соответствии с которым ядерный синтез считался возможным при комнатной температуре в пробирке, 52 % ссылок на их статью носили негативный характер, 27 % — позитивный, а все остальные упоминания были нейтральными. Интересный факт: позитивную оценку давали в основном теоретики, пытавшиеся объяснить этот феномен[63].

Если статья не цитируется, это просто означает, что ученых не интересует ее тема. Впоследствии ученые могут заинтересоваться данным предметом и начать цитировать давнюю статью. В библиометрии этот феномен известен под названием «спящая красавица» (sleeping beauty)[64]. Так, статья итальянского физика Этторе Майораны по релятивистской теории вращения элементарных частиц, опубликованная в 1937 году, «проспала» до середины 1960-х, когда благодаря ускорителям было открыто большое количество новых частиц. И с тех пор данный вопрос получил актуальность, которой у него не было за тридцать лет до этого, когда единственными известными частицами были электрон и нуклон (протон/нейтрон) со спином ½. Однако следует отметить, что Майорана не был безвестным ученым и другие его публикации часто цитировались[65].

Согласно другому расхожему мнению, важнейшие тексты того или иного ученого могут долгое время оставаться почти не замеченными. Так, в статье, часто приводимой в качестве примера критиками библиометрии, британский биолог Питер Лоуренс утверждает, что самая важная работа XX века очень редко цитировалась в первые десять лет после ее публикации[66]. Поскольку речь шла о статье Уотсона и Крика о структуре ДНК, опубликованной в Nature в 1953 году, это утверждение меня заинтриговало. Надо заметить, что оба исследователя были награждены Нобелевской премией в 1963 году, спустя всего девять лет после своего открытия, что кажется очень коротким сроком. В этой связи представляется маловероятным, чтобы их текст остался незамеченным. Решив внимательнее рассмотреть этот случай, я методично проанализировал все ссылки на эту статью между 1953 и 1970 годами и пришел к выводу, что утверждение Лоуренса — это миф. Источник его — в неправильном использовании библиометрии, когда выводы делаются, основываясь на абсолютном числе ссылок, без учета специфики изучаемой научной области и периода, а также всей совокупности журналов, где встречаются ссылки на данный текст. Статья Уотсона и Крика вовсе не прошла незамеченной, напротив, вплоть до 1970 года она оставалась наиболее часто цитируемой среди текстов, опубликованных в Nature в 1953 году. К примеру, в период с 1953 по 1955 год она цитировалась в 36 раз чаще, чем в среднем другие статьи, вышедшие в Nature в 1953 году. А если вспомнить, что среднее значение этого показателя для журнала Nature сильно превышает его значение для совокупности статей, публикуемых во всех журналах по биологии вместе взятых, то становится ясно, что текст Уотсона и Крика стал широко известен сразу после публикации. В 1956–1958 годах его цитируют в 65 раз чаще, чем в среднем все другие статьи. Иными словами, социологическая догадка была верна: столь фундаментальные статьи не проходят незамеченными в рамках адекватного научного сообщества[67].

Как показывают эти примеры, к которым можно было бы добавить и другие[68], публикации того или иного ученого и ссылки на ту или иную статью могут изучаться с исторической и социологической точек зрения, и вовсе не обязательно при этом впадать в оценивание и рейтингование[69].

По мнению некоторых специалистов, использование ИНЦ должно было неминуемо оказать влияние на то, как ученые и журналы будут рассматривать цитирование. Например, Гарфилд призывал редакторов журналов и рецензентов статей обращать внимание на то, насколько корректно авторы ссылаются на релевантные теме их исследования работы коллег. С его точки зрения, это позволило бы не проводить заново уже осуществленные исследования[70].

Норман Каплан, первый социолог, написавший в середине 1960-х годов статью по практикам цитирования, полагал, что использование ИНЦ приведет к большей рефлексивности, то есть нормы цитирования станут более явными[71]. В первых научных журналах середины XVII века цитата имела вид ссылки на автора в самом корпусе текста. Эта практика отвечает негласному долгу признания вклада других членов научного сообщества и приоритета на открытия. Для краткости это можно назвать механизмом наделения символическим признанием. Ссылки также позволяют автору вписать себя в определенную традицию. Долгое время их использование было неформальным и почти не кодифицированным. По мнению Прайса, использование ссылок становится более систематическим с середины XIX века[72]. Однако по наблюдению Чарльза Базермана[73], еще в конце XIX века в американском журнале Physical Review более половины ссылок не были датированы. Но столь слабая кодификация ничуть не мешала рецензентам требовать от авторов упоминания тех или иных работ. Так, в 1760–1770-е годы редколлегия парижской Академии наук часто просила авторов добавить ссылки на предшествующие работы по той же теме. Например, от члена-корреспондента Академии Пьера-Туссена Навьера, подавшего для публикации статью о растворении ртути в кислоте, потребовали «добавить цитаты, как было указано в рецензии». А в 1765 году редколлегия заставила аббата Нолле «сослаться на уже существующие в данной области работы»[74].

Распространение ИНЦ в научном поле изменило эти практики, придав акту цитирования большую осознанность. Они также стали предметом тщательного контроля со стороны рецензентов и журналов, которые постепенно систематизировали оформление этих ссылок (упоминание журнала, года выхода и т. п.). С середины 1970-х годов в научном сообществе стали придавать все большую значимость цитатам как мере качества исследований, и практики цитирования сделались предметом для анализа во многих работах[75]. Большая их часть сходится на том, что за этими практиками стоят разнообразные мотивы и что отсылки к текстам имеют несколько разных функций. Например, они могут отсылать как к методам, так и к источникам, теориям, фактам и пр. Были предложены разные классификации типов цитирования (утвердительное, отрицательное, нейтральное) и причины, по которым автор ссылается или не ссылается на ту или иную статью[76]. Однако с библиометрической точки зрения важность имеют прежде всего агрегированные характеристики. В этой перспективе сами причины цитирования маловажны, поскольку они могут быть различными у разных людей. В каком-то смысле они нейтрализуют друг друга. В конечном счете важно лишь то, что в рамках той или иной специальности или дисциплины одни тексты цитируются чаще, чем другие. При всем разнообразии практик на самом общем уровне цитирование остается мерой заметности цитируемых работ. Индивидуальное цитирование может носить в том числе чисто риторический характер[77]. Однако тот факт, что исследователь цитирует классическую статью, чтобы показать, как его работы вписываются в легитимную традицию, придающую вес его собственной публикации, лишь подтверждает, что цитируемая статья важна в глазах научного сообщества, по меньшей мере как гарантия качества.

Одним из побочных эффектов распространения ИНЦ, которые приходят на ум, является рост количества самоцитирований. И хотя отсечь их при измерении заметности работ исследователя не составляет труда, оказывается, что, вопреки ожиданиям[78], доля самоцитирований остается достаточно стабильной с 1980 года[79]. В целом практика самоцитирования не столь уж проблематична, тем более что у нее есть и легитимная функция: напомнить об уже опубликованных автором работах, на которые опираются его нынешние труды. На самом деле мотивации цитирования собственных и чужих работ в общем-то схожи[80].

Многочисленные критические высказывания в адрес практик цитирования — некоторые обоснованные, другие не очень (как мы только что увидели) — набрали силу внутри академического поля за последние два десятка лет лишь вследствие все более частого использования показателей цитирования для оценки качества научных исследований как на индивидуальном, так и на институциональном уровне. Действительно, критика самоцитирования или ссылок на своих имеет смысл только в свете того, что ссылки стали чем-то вроде валюты, используемой в процессе оценивания исследователей. Поэтому стоит рассмотреть вопрос оценивания более подробно.

С недавних пор участились разговоры о важности оценки научных исследований, и поэтому может создаться впечатление, что в предыдущие эпохи ученых не оценивали. Необходимо прояснить это недоразумение и напомнить, что возникновение оценочных процедур датируется началом институционализации науки, а их сфера применения впоследствии расширялась по мере появления новых организационных структур. С середины XVII века и до наших дней исследователи всегда подвергались оценке.

Проблема состоит не столько в оценивании как таковом, сколько в расширении его применения. В результате исследователям поступает все больше запросов на оценку их коллег, и некоторые отвечают на эти запросы отказом, не желая отрывать время от собственной работы[81]. И хотя некоторые ученые, видимо, считают, что работу мысли оценить невозможно, следует напомнить, что оценивание на разных уровнях уже давно осуществляется в следующих сферах:

1) научные публикации и доклады;

2) запросы на финансирование исследований;

3) преподавание в высшей школе;

4) продвижение по должности;

5) научные центры и департаменты;

6) учебные программы в высшей школе;

7) с конца 1980-х годов в некоторых странах к этому списку прибавилась оценка самих университетов.

Не будет преувеличением сказать, что практика оценки научных трудов восходит к созданному в марте 1665 года журналу Лондонского королевского общества Philosophical Transactions. Его главным редактором был один из двух секретарей этого ученого общества Генри Ольденбург. Это издание представляло собой прототип современного научного журнала: его содержание ограничивалось сферой науки и включало книжные рецензии, оригинальные статьи и перепечатки статей из иностранных источников. Уже в анонсе проекта этого нового издания уточнялось, что его содержание будет «рецензироваться членами Общества»[82]. Сам Исаак Ньютон испытал на себе превратности оценивания, подав в 1672 году свою первую статью в Philosophical Transactions Лондонского королевского общества. Рецензентом был назначен Роберт Хук, не обнаруживший в произведении Ньютона ничего оригинального и даже посчитавший, что заключения автора ошибочны в свете его собственной теории света, опубликованной несколькими годами раньше. Ньютон же имел дерзость не снизойти даже до ее упоминания. Такая оценка, разумеется, ввергла Ньютона в страшный гнев…[83]

Долгое время оценивание науки ограничивалось оценкой публикаций коллег и соперников в научном поле. Поначалу журналы имели общий профиль и охватывали несколько областей, а позже, в течение XIX века, специализировались и стали отраслевыми. С появлением дисциплинарных журналов связано формирование относительно независимых друг от друга областей, объединяющих исключительно представителей одной дисциплины (химия, математика, физика и т. п.)[84].

До начала XX века оценивание носило достаточно формальный характер: редактор журнала или редколлегия решали, достаточно ли им компетенции, чтобы самим оценить предложенный текст, а если нет, то выбирали среди своего близкого окружения эксперта, способного написать отчет о значимости присланного текста. Доля отказов в публикации в целом была очень незначительной. Даже в Annalen der Physik, ведущем журнале по физике начала XX века, по оценкам Макса Планка, отказы составляли менее 10 %, и сам он предпочитал скорее предложить внести исправления в текст, чем отказывать своим коллегам в публикации[85].

А вот пример того, как медленно развивался процесс оценивания. В 1936 году Альберт Эйнштейн, привыкший к тому, что его публикации принимались быстро и без возражений, был удивлен тем, что статья, предложенная им в американский Physical Review, прошла оценку анонимного рецензента, написавшего в своем отчете, что великий ученый ошибся в своих расчетах! Эйнштейн ответил, что никогда не давал разрешения редактору показывать кому-либо свой текст до публикации, и не счел целесообразным отвечать на комментарии, показавшиеся ему ошибочными, сообщив редакции журнала, что попросту отзывает свой текст. По всей видимости, он тогда просто не знал, как функционирует этот американский журнал, который тогда более строго следовал процедурам, чем его европейские аналоги. Однако это не помешало ему учесть замечания рецензента и опубликовать на следующий год отредактированную версию своей статьи в другом журнале[86].

Схожий процесс коллегиального оценивания имеет место и при подаче заявок на финансирование исследований. Система грантов институционализировалась в течение XX века в большинстве стран, где стали появляться агентства по финансовой поддержке научных исследований, особенно после Второй мировой войны. Во Франции в 1901 году была создана Касса научных исследований для финансирования индивидуальных исследовательских проектов. Впоследствии такие гранты стали выдаваться как министерствами, так и Национальным центром научных исследований (CNRS). Созданное в 2005 году Национальное агентство исследований (ANR) является продолжением и наиболее ярким выражением этого тренда. В Северной Америке подобные агентства по финансированию науки, независимые от министерств, имеют гораздо более давнюю историю. Канадский Национальный совет научных исследований с 1916 года распределяет гранты среди исследователей, подавших свои научные проекты[87]. Однако в США ведущая роль в этом процессе перешла к федеральному центру лишь в 1950 году, когда был создан Национальный научный фонд (ННФ)[88]. Оценка проектов, зачастую в форме живого обсуждения в рамках комитетов из 10–20 человек, долгое время оставалась достаточно неформальной и слабо регулируемой — компромисс по вопросу выбора лучших проектов достигался в ходе непосредственного общения. Как показали социологи Джонатан и Стивен Коулы, в этой системе есть значительная доля произвольности и одни и те же проекты могут оцениваться очень по-разному в зависимости от состава комитета[89]. Известно также, что критерии, используемые членами экспертных комиссий, значительно разнятся в зависимости от дисциплины и содержат весомую долю артистического произвола: так, проект, который одному кажется «впечатляющим», «захватывающим» и «оригинальным», другой расценивает как «непоследовательный» и «методологически слабый»[90].

Для того чтобы упорядочить этот субъективный процесс, постепенно стали вводиться балльные системы оценивания, основанные на подсчете баллов, выставленных каждым членом комиссии, — иначе говоря, коллективное рейтингование. Однако за внешней объективностью этой арифметики суть осталась неизменной, ведь решение поставить галочку в компьютерной программе под оценкой 2,5, а не 4,0 остается абсолютно непрозрачным и не поддающимся анализу. Квантификация вынесенных суждений, перекодирующая «супер!» в цифру 3, а «ничтожество» — в 1,5, ни в коей мере не отменяет фундаментальной субъективности суждения, а лишь скрывает ее за кажущейся объективностью цифры. Однако благодаря этой процедуре становится возможно произвести некоторые арифметические операции с оценками отдельных членов комиссии: вычислив «среднее арифметическое» этих суждений, можно определить «дисперсию» оценок и сфокусировать процесс принятия решения на суждениях, сильно отклоняющихся от этого среднего показателя. Если все участники поставили 2, то консенсус оказывается полным, а суждение окончательным по сравнению с каким-нибудь другим проектом, где средний показатель 4. При этом не имеет значения, если за одной и той же оценкой стоят суждения, вынесенные каждым в соответствии со своими особыми критериями. Итак, здесь по-прежнему действует модель дискуссии, имеющая целью убеждение и достижение компромисса (или по крайней мере большинства голосов) для отбора лучших проектов. А квантификация оценки на самом деле служит лишь упорядочиванию процесса обмена мнениями и более быстрому достижению коллективного решения.

С начала 1970-х годов библиометрию использовали финансирующие науку организации, такие как ННФ, чтобы выяснить, позволяет ли процесс коллегиального оценивания выявлять лучших исследователей. Было показано, что в области химии более 80 % грантов получают исследователи, на которых в предыдущие пять лет ссылались в среднем более 60 раз, и что публикации ученых с четырех лидирующих университетских факультетов, получающих бóльшую часть грантов, цитируются примерно 400 раз за тот же самый период. Эти результаты послужили ответом критикам процесса оценивания, утверждавшим, что он является по сути своей предвзятым[91]. С тех пор этой теме было посвящено множество библиометрических исследований как по отдельным факультетам или исследовательским группам, так и по целым университетам, в чем легко убедиться, пролистав подшивки таких журналов, как Scientometrics или Research Evaluation[92].

На следующем уровне оцениваются отдельные исследователи. С распространением и принятием модели Берлинского университета в 1810 году в большинстве университетов, присваивающих степени магистра и кандидата наук, профессор должен также быть исследователем. Руководство университета (в централизованных системах это министерство, а в случае автономных учреждений — декан или завкафедрой) чаще всего обращается к внешним по отношению к данному факультету экспертам, прежде чем нанять новых преподавателей на постоянную должность (tenure) или повысить их в должности[93]. Эти эксперты, которые выбираются среди коллег, выносят общее суждение об оригинальности работ кандидата. После вступления кандидата в должность оценивание проводится реже и его характер сильно варьируется в зависимости от стран и институций.

Использование библиометрических данных для индивидуальной оценки исследователей стало вызывать возражения с самого зарождения библиометрии как метода, и Гарфилд мгновенно отреагировал на это беспокойство. Прибегнув к яркому образу, он предположил, что было бы абсурдно каждый год вручать Нобелевскую премию наиболее часто цитируемым авторам. Ведь если, по его словам, исходить из одного лишь показателя цитируемости научных работ, то следовало бы признать Лысенко одним из величайших исследователей 1950-х годов[94]. По мнению Гарфилда, ссылки позволяют находить статьи и тех, кто их цитирует, тем самым помогая составить мнение о том или ином исследователе. Но подсчет ссылок не может заменить собой процесс оценки, при котором необходимо учитывать и другие переменные. Число полученных ссылок, в частности, зависит от характера статьи. Статья методологического характера, описывающая конкретную методику, цитируется гораздо дольше, чем обычный текст, представляющий новые результаты по тому или иному предмету. Точно так же обзорная статья, передающая актуальное состояние знаний в данной области, будет ожидаемо цитироваться в течение длительного времени, даже если она не содержит результатов какого-либо открытия.

Будучи горячим сторонником использования ИНЦ, Гарфилд утверждал, что анализ цитирования позволяет предсказать, кому будет присуждена Нобелевская премия[95]. Но это было явным преувеличением: хотя Thomson Reuters и делает регулярно такие предсказания, чтобы популяризировать использование ИНЦ, они все-таки нереалистичны, поскольку один анализ ссылок не позволяет учесть все разнообразие исследовательских областей, а также стратегии Нобелевских комитетов, которые заботятся о соблюдении баланса между дисциплинами от года к году. А главное, часто цитируемых авторов слишком много по сравнению с небольшим числом Нобелевских премий, присуждаемых ежегодно[96].

Гарфилду как основателю Индекса научного цитирования было очевидно, что любой инструмент может быть использован не по назначению и необоснованно. «Научному сообществу надлежит предотвращать злоупотребления при использовании ИНЦ, обращая должное внимание на его корректное использование»[97]. Ту же позицию он занимает и в отношении журнального импакт-фактора, который был создан для помощи в отборе журналов библиотечными работниками, но который, как мы видим, в отсутствие критической рефлексии превратился в инструмент оценивания исследователей.

Несмотря на эти призывы к бдительности, библиометрия начала постепенно проникать в процесс оценивания исследователей уже с 1970-х годов. Как отмечает социальный психолог Джанет Бавелас, академический мир начиная с 1960-х годов настолько изменился, что стало невозможным, как прежде, назначать профессоров лишь по принципу включенности в персональные сети (old boy network) и основываясь на авторитете деканов или заведующих кафедрами[98]. И как раз в момент поиска системы оценки, которую можно было бы считать более демократической, объективной и менее произвольной, стал доступен Индекс научного цитирования. К тому же быстрый рост числа вузовских преподавателей и исследователей в течение этого периода (1965–1975) делал еще более сложным поиск и отбор кандидатур, которых стало слишком много, чтобы все могли знать их лично. Добавим к этому, что цифры с давних пор обладают аурой объективности[99]. Так были созданы все необходимые предпосылки к тому, чтобы цитирование стало использоваться как показатель качества.

В мае 1975 года в журнале Science была опубликована подробная статья о растущем использовании цитатного анализа для оценивания исследователей. В ней упоминалась профессор биохимии, которая оспаривала свое увольнение как несправедливое, утверждая на основании количества ссылок на ее статьи, что ее цитировали гораздо чаще, чем коллег-мужчин, которых тогда же повысили в должности[100]. На этом примере видно, что цитирование — это орудие, используемое не только руководителями институций, но и самими исследователями в тех случаях, когда им это выгодно. В связи с упрощением доступа к базам данных по цитированию, таким как Google Scholar, некоторые ученые стали указывать в резюме число ссылок на свои статьи, а также свой h-индекс, тогда как ценность этих показателей сомнительна и может привести к ошибочной оценке значимости кандидатур.

В середине 2000-х годов, когда в научных кругах стали разрабатывать библиометрические показатели для придания большей объективности индивидуальному оцениванию, американский физик Хорхе Е. Хирш из Калифорнийского университета в Сан-Диего предложил свой h-индекс (индекс Хирша).

Этот индекс равен числу статей N, опубликованных исследователем и процитированных по меньшей мере N раз каждая с момента их публикации. Например, у автора, опубликовавшего 20 статей, из которых 10 цитируются как минимум по 10 раз каждая, h-индекс равен десяти. Произвольность этого индекса просматривается уже в самом названии статьи, притом опубликованной в журнале, считающемся престижным, Proceedings Национальной Академии наук США: «Индекс для квантификации научной продукции (output) исследователя»[101]. В действительности этот индекс не измеряет ни количество (ouput), ни качество или импакт, а представляет собой некое сочетание этих двух параметров. Он произвольно комбинирует количество опубликованных статей и количество ссылок на них. Считается, что этот индекс позволяет не ограничиваться количеством статей и учитывать также их качество. В соответствии с распространенным стереотипом опубликовать огромное количество плохих статей просто; поэтому число опубликованных статей не считается надежным показателем достоинств исследователя. Но проблема в том, что было быстро доказано: h-индекс очень сильно коррелирует с общим числом опубликованных статей и, таким образом, оказывается избыточным[102].

Более того, у него нет ни одной из базовых характеристик хорошего показателя (мы еще вернемся к этому вопросу в главе IV). Людо Уолтман и Неес Ян ван Эк продемонстрировали, что при сравнении исследователей, количество ссылок на которых возрастает в равной пропорции, h-индекс может давать противоречивые результаты. Эти авторы заключают, что h-индекс «не может считаться подходящим показателем общего научного импакта исследователя»[103]. Этот небрежно сконструированный показатель даже опасен, когда служит для принятия решений о найме, поскольку его использование может приводить к непредсказуемым результатам. Это легко показать на одном простом примере. Сравним два случая: молодой исследователь опубликовал только три статьи, но каждую из них процитировали 60 раз (за фиксированный промежуток времени); второй исследователь того же возраста более плодотворен и имеет в активе 10 статей, каждая из которых процитирована 11 раз. Последний имеет, таким образом, индекс Хирша 10, тогда как первый — всего 3. Можно ли на основании этого заключить, что второй в три раза лучше, чем первый, и поэтому его нужно взять на работу или повысить в должности? Разумеется, нет…

Несмотря на эти непоправимые изъяны, h-индекс получил широкое распространение в некоторых научных дисциплинах. Создается впечатление, что он прямо для того и создан, чтобы тешить раздутое эго некоторых исследователей[104]. Росту его популярности способствовало также то, что он определяется автоматически во всех библиометрических базах данных, то есть он получается без каких-либо усилий! Тем не менее достоин сожаления тот факт, что ученые, обучавшиеся математике, теряют всякую способность к критическому мышлению перед примитивной цифрой. Судя по всему, права старая английская пословица, так похожая на этот социальный закон: «Any number beats no number». Иными словами, лучше уж плохая цифра, чем вовсе никакой…

Если верить Хиршу, его индекс способствует «более демократичной оценке научных исследований»[105]. Но судя по всему, скорее верно обратное: эта «демократия», не опирающаяся на знания об условиях валидности показателя, быстро трансформируется в оценочный популизм. В ответ на рост неконтролируемого использования библиометрии комитет Международного математического союза отмечал, что точно так же, как мы идем к врачу, когда болеем, нам следовало бы обращаться к специалисту по статистике всякий раз, когда мы производим статистические подсчеты[106]. При ознакомлении с их отчетом, где заново подчеркиваются обычные характеристики и ограничения библиометрических данных, известные уже не одно десятилетие, можно было бы добавить, что ученым, использующим библиометрию, следовало бы консультироваться со специалистами по библиометрии…[107]

Самая серьезная проблема, связанная с использованием ИНЦ, касается научных журналов. Журнальная сфера превратилась в высококонкурентный рынок, поэтому для привлечения лучших статей и авторов журналы все чаще используют свой импакт-фактор в качестве инструмента саморекламы, адресованной библиотекам и авторам. С конца 1990-х годов импакт-фактор журналов рассматривается не только как показатель качества журнала, но и как мера качества публикуемых там статей, а это некорректно, как мы продемонстрируем ниже. Осознав важность этого индикатора, журналы принялись манипулировать им в целях его повышения! Чтобы понять, как некоторые из них дошли до таких крайностей, следует сначала напомнить определение импакт-фактора.

Импакт-фактор (ИФ) журнала, вычисляемый и публикуемый ежегодно с 1975 года компанией Thomson Reuters в Journal Citation Reports на основе данных Индекса научного цитирования, представляет собой просто среднее арифметическое числа ссылок, полученных всеми статьями того или иного журнала за двухлетний период. Иными словами, ИФ характеризует журналы, а не статьи[108]. Например, ИФ какого-либо журнала за 2006 год вычисляется так: число ссылок за 2006 год на статьи, опубликованные в нем в 2004–2005 годах, делится на число статей журнала за тот же период (2004–2005).

Выбор столь короткого, двухлетнего периода для вычисления ИФ не случаен. Есть тенденция противопоставлять высокие ИФ научных журналов (таких, как Science или Nature) низким ИФ журналов по социальным наукам. Однако это во многом следствие того, что социальные и естественные науки обладают различными временными горизонтами. Действительно, достаточно увеличить период для подсчета ссылок до десяти лет, чтобы ИФ журналов по общественным дисциплинам достиг значений, вполне сопоставимых с ИФ естественно-научных изданий. Например, средний двухлетний показатель цитируемости статей медицинского журнала The Lancet в 1980 году составлял 2,4, а American Sociological Review — 1,8. Однако если подсчитать значение того же показателя за десятилетний период, то результаты будут совсем иными: импакт социологического журнала (20,9) будет гораздо выше, чем медицинского (14)[109]. Так что совершенно очевидно, что ИФ журналов по разным дисциплинам несравнимы между собой и что численное значение ИФ журнала имеет смысл не само по себе, а лишь в сопоставлении с журналами из той же самой области.

Другая важная характеристика ИФ состоит в том, что при его определении в общее число ссылок на данный журнал включаются и самоцитирования журнала. Вопрос о включении самоцитирований ставился еще в начале 1970-х годов, когда создавался этот показатель, однако он стал проблематичным только в 1990-е годы. К этому времени ИФ превратился в важный фронт конкурентной борьбы между журналами и стал все чаще использоваться для характеристики самих статей. Ввиду его стратегической важности редакторы и владельцы журналов стали требовать, чтобы авторы ссылались на статьи из их же журнала. Жалобы на такое принуждение начали появляться во второй половине 1990-х, и с тех пор их поступает все больше[110].

Проблема эта отчасти техническая, ведь достаточно было бы переопределить ИФ, исключив из него самоцитирование журналов, чтобы получить показатель, который подделать было бы нелегко. Для этого потребовалось бы, чтобы журналы объединились в картель для взаимного обмена ссылками. И некоторые журналы, не останавливаясь ни перед чем, по всей видимости, так и поступают. Однако Journal Citation Reports не стал предлагать нового определения, исключающего самоцитирование: наряду с обычным ИФ журналов Thomson Reuters стал публиковать значения того же показателя, полученные после исключения самоцитирования, а также указывать удельный вес самоцитирований журналов в общем числе полученных ссылок.

Не стоит, однако, рассматривать самоцитирование исключительно в негативном ключе. На самом деле это такая же нормальная практика, как и в случае цитирования авторами собственных работ: логично, что статьи, публикуемые в одном и том же журнале, связаны между собой через предмет изучения. Возьмем, к примеру, теорию узлов в математике. Разумеется, журналов, посвященных столь узкой сфере исследований, немного. На самом деле он всего один: Journal of Knot Theory and its Ramifications. Каждый, кто занимается теорией узлов, наверняка захочет опубликоваться в этом журнале, хотя и другие журналы, более общего профиля, принимают статьи по этой теме. К чему приводит для этого журнала исключение самоцитирования из подсчетов? Очевидно, что оно снижает его импакт-фактор. В Journal Citation Reports агентства Thomson Reuters за 2009 год обнаруживаем, что ИФ этого журнала — 0,523 и что он снижается до 0,311, если убрать самоцитирование, которое составляет в данном случае 40 % от общего числа ссылок. Но действительно ли это что-то меняет? Его импакт-фактор по идее не должен иметь значения при оценивании: очевидно, что все, кто занимается теорией узлов, знают, хорош этот журнал или нет. И если у другого математического журнала, мало публикующего про узлы, ИФ 0,822, это не означает, что он лучше, поскольку ИФ зависит от размера исследовательской области. Если в данной области работают всего 100 человек, то на одну статью неизбежно будет приходиться меньше ссылок, чем если бы в области работало в десять раз больше людей. Поэтому нормально, что в некоторых очень специализированных областях высок процент самоцитирования среди ссылок того или иного журнала.

Тем не менее у некоторых журналов оказывается анормально высокий уровень цитируемости. Фирма Thomson Reuters, не желая, чтобы полемика о манипулируемости импакт-фактором запятнала репутацию ее продукта, с 2007 года публикует черный список журналов, подозреваемых в подделке своих ИФ. Таким образом Thomson Reuters определяет журналы, для которых она не публикует ИФ. В 2007 году такой санкции подверглись девять журналов[111]. Подобный надзор распространяется и на взаимные обмены ссылками между журналами. Такую практику выявить сложнее, однако Thomson Reuters разработала специальную программу для этих целей. Так, в выпуске Journal Citation Report за 2013 год 37 журналов попали в отдельную категорию, из которых 14 — за обмен ссылками. А в предыдущий год в этой категории оказались всего три журнала. Эти потенциально девиантные журналы остаются в черном списке два года, а потом проходят повторную оценку. Однако среди журналов, фигурирующих в WoS, таковых насчитывается менее 1 %[112].

Гонка за количеством публикаций приводит к учащению фальсификаций[113], а преувеличенно важное значение, приписываемое импакт-фактору, подталкивает редакторов журналов к нарушению академической этики. Так, летом 2013 года редактор бразильского медицинского журнала Clinics был отстранен от должности за то, что с 2009 года, стремясь максимизировать число ссылок на журнал, вступил в картель взаимного цитирования. Такое девиантное поведение — предсказуемое порочное последствие правительственной политики, оценивающей качество программ высшего образования в Бразилии на основе импактфактора журналов, где публикуются студенты. Издатели бразильских научных журналов выступают с жесткой критикой этой примитивной системы оценки, требуя ее изменения[114]. Вообще для журнала может быть вполне естественным стремиться к максимизации заметности публикуемых им статей и просить у авторов ссылаться на релевантные статьи, вместо того чтобы ограничиваться лишь ссылками на англо-американские работы. На самом деле эти манипуляции с импакт-фактором не имели бы никакого значения и даже не представляли бы собой девиации, если бы этот показатель не стал критерием оценки.

ИФ, каким бы способом его ни высчитывали, остается мерой, связанной с журналом, а не со статьей. Главная причина, почему ИФ — это плохой показатель значимости индивидуальных статей, состоит в том, что распределение реальных ссылок на статьи одного и того же журнала подчиняется закону Парето, вариацией которого является распределение Лотки. Для распределения этого типа, в отличие от так называемого нормального распределения в форме колокола, среднее значение не является адекватной мерой центральной тенденции. Кривые типа Парето, напротив, крайне асимметричны и часто могут быть описаны формулой 20/80, где 20 % статей получают 80 % от общего числа ссылок (см. ил. 5). Например, редакторы журнала Nature, обладающего одним из самых высоких ИФ, подчеркивают, что этот показатель не следует использовать для оценки статей. В 2004 году 89 % всех ссылок на статьи из этого журнала были получены 25 % этих статей[115]. Заметим, что это не очень далеко от соотношения 20/80, которое, конечно, не является в данном случае закономерностью, но просто способом описать высокую концентрацию ссылок. Иными словами, статья, вышедшая в журнале с высоким ИФ, может быть не процитирована ни разу! Поэтому, чтобы измерить заметность той или иной статьи, нужно учитывать фактические ссылки на эту статью, а не импакт-фактор журнала, в котором она опубликована.

Хотя с середины 1990-х годов эксперты по библиометрии постоянно напоминали об абсурдности использования ИФ журналов для оценки исследователей[116], это ничуть не предотвратило вопиющие злоупотребления со стороны научных администраторов и самих ученых. Более того, в некоторых странах (Пакистане, Китае, Южной Корее, Японии) министерские чиновники и руководители академических организаций даже учредили систему премий, напрямую увязанных со значением импакт-фактора журналов! Как докладывал в 2006 году журнал Nature, на основе подсчета суммы импакт-факторов статей за тот или иной год Министерство науки Пакистана назначает премии в размере от 1000 до 20 000 долларов! Пекинский Институт биофизики учредил похожую систему: ИФ от 3 до 5 приносит премию в размере 2000 юаней за балл, а если ИФ превышает 10, то за каждый балл назначается 7000 юаней. В редакционной статье того же самого номера редколлегия журнала раскритиковала подобную бессмыслицу. Но как бы мы ни относились к идее премирования исследователей за производительность, в данном случае проблема состоит в неверном понимании смысла самого показателя. Ведь совершенно невозможно, чтобы ИФ какого-нибудь математического журнала, к примеру, когда-либо сравнялся с ИФ медицинского журнала! И ни один здравомыслящий человек не станет утверждать, что статьи по медицине все как одна превосходят качеством статьи по математике и поэтому их авторам нужно начислять более высокие премии.

И наконец, важно отметить вводящую в заблуждение строгость импакт-фактора, значение которого вычисляется с точностью до одной тысячной! В естественных науках редко встречаются явления, которые измерялись бы с такой аккуратностью! Кому есть дело до того, что завтра температура будет… 20,233 градуса? Почему бы не ограничиться первой цифрой после запятой? А потому, что иначе все эти рейтинги во многом потеряли бы смысл.

Поскольку экономисты являются особо ярыми сторонниками использования импакт-фактора[117], рассмотрим список экономических журналов в Web of Science (WoS) за 2011 год. Разумеется, среди 256 журналов довольно мало изданий имеют совершенно одинаковые импакт-факторы с четырьмя значащими цифрами (только у трех журналов ИФ равняется 1,000, у двух — 0,757, у трех — 0,743 и т. п.), что позволяет присваивать журналам, например, 22-е или 24-е место, как если бы за ними стояли существенные различия. Но поскольку невозможно всерьез считать, что эти десятые или тысячные имеют какое-либо действительное значение, рассмотрим рейтинг, составленный из целых чисел. В этом случае видно, что лишь два журнала стоят далеко впереди всех остальных, имея ИФ, равные 9 (Journal of Economic Literature) и 6 (Quarterly Journal of Economics). За ними идут два журнала с ИФ, равным 4, 12 — с ИФ, равным 3, и… 31 — с ИФ, равным 2. И наконец, у 118 журналов ИФ равен 1. Иными словами, невозможно провести рейтингование внутри каждой из этих больших групп, и добавление знаков после запятой — это не что иное, как произвольный способ конструирования искусственных рейтингов. Возможно, экономист скажет нам, что десятые доли бывают полезны, но даже при их учете остается четыре журнала с одинаковым ИФ, равным 2,7 (11–14-е места рейтинга), и 18 — в почетной компании World Bank Economic Review — с ИФ, равным 1,1 (70–87-е места). Таким образом, эта кажущаяся точность оказывается иллюзией.

В основе такого поведения, ведущего к злоупотреблению рейтингами и якобы точными показателями, лежит полное непонимание характеристик используемых индикаторов. Негативные последствия подобных практик совершенно очевидны. Без оппортунизма исследователей, пользующихся неправильно рассчитанными премиями, и оппортунизма журналов, которым на руку оценочное использование импакт-факторов, было бы невозможно заставить верить (или делать вид), что подобная система справедлива и рациональна.

Профессора и исследователи объединены в рамках университетских факультетов, лабораторий и исследовательских групп, которые тоже стали объектом оценки. Библиометрические методы начали использоваться на этом уровне организации науки в 1980-е годы. К примеру, сравнительный анализ лабораторий, работающих в определенной сфере, позволяет сопоставить их с другими похожими лабораториями за рубежом или в той же стране на основе библиометрических данных, касающихся количества публикаций сотрудников данной лаборатории и их заметности (измеряемой по числу ссылок)[118].

Наиболее сложная система оценивания университетских факультетов была введена в Англии эпохи Маргарет Тэтчер. Начиная с середины 1980-х годов каждые четыре-пять лет проводится процедура Research Assessment Exercise (RAE). Она состоит в оценке качества исследований на разных факультетах (то есть прежде всего качества их публикаций) комиссией внешних экспертов. После первого такого опыта в 1986 году, когда факультетам выставлялась оценка от 1 (национальное признание) до 4 (мировой лидер), рейтинг усложнился, включив промежуточные ступени (к примеру, 3a и 3b), а также уровни выше четвертого (5 и 5*). Часть правительственного бюджета, идущего на университеты, увязана с этими оценками: институции, занимающие высокие места в рейтинге, получают большую часть субсидий.

Эта система оценки была крайне сложной: в 15 секторах, поделенных на 67 исследовательских областей, задействованы около 1500 оценщиков[119]. После 2008 года оценка по этой системе была приостановлена, вероятно из-за того, что процедура была признана излишне тяжеловесной. Новая система, переименованная в Research Excellence Framework (REF), была введена в действие с 2014 года. Как и в случае RAE, полученные результаты влияют на объемы государственного финансирования, распределяемого между университетами. На самом деле процедура изменилась мало, оценку по-прежнему производит специальный комитет, определяющий место факультета в одной из пяти категорий: от одной до четырех «звезд» и «без места» для самых слабых[120]. Как и раньше, эти процедуры основаны прежде всего на мнении коллег, избираемых из числа представителей внешних институций. Эксперты посещают оцениваемые факультеты, анализируют их отчеты с целью составить представление об общем качестве преподавания и исследований, не используя при этом четко определенных количественных показателей. Публикации, разумеется, принимаются в расчет, но они являются лишь одним из элементов, из которых складывается общая оценка, носящая, по большому счету, качественный характер. И хотя британская система не основана на библиометрических данных, ее можно сравнить с неоправданно сложным механизмом, затратным как по времени, так и по деньгам.

Практика прямого учета библиометрических данных в формулах финансирования университетов возникает в 1990-е годы сначала в Австралии, а затем, с 2003 года, в бельгийской Фландрии[121]. Целью оценивания при этом является не улучшение практик и организации исследований, а наказание институций, которые оказываются наименее эффективными по выбранным показателям, через урезание их бюджета. Это механическое применение библиометрии, которое заставляет академические институции гнаться за количеством публикаций, уже подвергалось суровой критике[122]. В Австралии подобные критические выступления заставили правительство отказаться от системы рейтингов, и в 2007 году она была заменена другой системой, основанной на экспертной оценке, «формируемой с опорой на ряд количественных показателей»[123]. Речь идет не о полном отказе от количественных индикаторов, а скорее о том, чтобы использовать их с учетом контекста, рассматривая те или иные критерии как помощь при вынесении оценки, вместо того чтобы принимать их за абсолютную и бесспорную истину только потому, что они выражены цифрами.

Как и следовало ожидать, работы, посвященные последствиям оценивания, основанного на количественных характеристиках статей, показывают, что исследователи сознательно подстраивают свое поведение под критерии, используемые при их оценке[124]. Как замечает Майя Бовалле в своей книге о показателях эффективности, введенных в академических организациях под влиянием новой менеджерской идеологии, «как только тот или иной показатель сконструирован и введен в использование, результаты по нему улучшаются уже просто потому, что на нем оказывается сконцентрировано всеобщее внимание»[125].

К счастью, организаций, механически включающих библиометрию в формулы финансирования, пока единицы, в то время как их большая часть не разделяет подобные подходы. Так, Совет канадских академий, проведя опрос об использовании библиометрических показателей при распределении финансирования в десятке стран, в заключение своего отчета подчеркивает, что «напрямую увязывать выделение денежных средств с количественными показателями является слишком большим упрощением и не представляет собой реалистичной стратегии»[126]. Остается лишь пожелать, чтобы другие организации подписались под этими словами, преодолев выжидательную и некритичную позицию, подобную той, что занимает, к примеру, Институт Франции[127].

Жаркие споры на предмет использования библиометрических показателей при оценке исследователей чаще всего оставляют за кадром важнейший аспект оценивания, а именно роль экспертной работы самих исследователей в этом процессе. Стремление таких институтов, как Европейский научный фонд (ESF), Европейский исследовательский совет (ERC) и Агентство по оценке научных исследований и высшего образования Франции (AERES), использовать ранжирование журналов по категориям A, B и C для упрощения и даже механизации индивидуального оценивания де-факто представляет собой своего рода тейлоризацию оценивания, деквалификацию необходимого для него экспертного знания.

Рейтинги журналов порождают легкопредсказуемые негативные эффекты, которые вовсе не компенсируются их весьма ограниченной потенциальной пользой. Например, некоторые статьи будут предлагаться в неподходящие для них журналы по той причине, что последним присвоен рейтинг A, и это будет только повышать риск их отклонения редакцией журнала. Другое предсказуемое последствие: новым динамичным журналам станет сложно пробивать себе дорогу, поскольку им не удастся быстро получить хорошее место в рейтинге, в результате чего исследователи будут неохотно предлагать им статьи. Мы не призываем здесь к увеличению числа журналов. В силу неизбежной ограниченности ресурсов невозможно бесконечно открывать новые журналы по данной дисциплине. Разумеется, невозможно и запретить создавать новые журналы, но когда на кону деньги налогоплательщиков, вполне законным является требование, чтобы решения о выделении субсидий были основаны на определенных критериях, подходящих для оценки журналов. Так, представляется оправданным утверждение, что журнал, 90 % авторов которого принадлежат к одной лаборатории, не отвечает потребностям всего научного сообщества и не заслуживает государственных субсидий.

Импакт-факторы и рейтинги журналов имеют еще одно косвенное последствие, о котором редко говорится. Стремление исследователей улучшить свои позиции ведет к отказу от изучения локальных, маргинальных и немодных тем. Такая тенденция особенно опасна для гуманитарных и социальных наук, объекты которых имеют по определению более локальный характер, чем у естественных наук. Очевидно, что некоторые темы менее годны для экспорта. Учитывая, что самые цитируемые журналы — англо-американские (а вовсе не международные), шансы опубликовать статью в престижном издании зависят от того, интересна ли данным журналам ее тематика. Исследователю, стремящемуся публиковаться в самых известных журналах, выгоднее изучать экономику США, чем специфику Банка Франции, поскольку последняя тема мало интересует американский журнал[128]. Социолог, работающий по интернациональной, а значит, делокализованной теме или занимающийся теорией, имеет больше шансов экспортировать свои статьи, чем социолог, занимающийся эмпирическим исследованием тех или иных аспектов своего общества. Например, сравнение между Хабермасом и Луманом легче найдет спрос на международном рынке, поскольку у него нет локального эмпирического содержания, которое уменьшило бы его привлекательность для американского журнала. А вот у желающего осуществить сравнительное исследование покупательского поведения на юге Франции и в Бретани могут возникнуть проблемы с интернационализацией результатов. Но неужели этот объект исследования менее важен, чем флуктуации Нью-Йоркской фондовой биржи? Угроза обесценивания и утраты интереса к локальным, но социологически значимым объектам исследований станет вполне реальной, если показатели цитируемости будут использоваться механически, без учета индексикальности (пользуясь этнометодологическим термином) объектов исследования гуманитарных и социальных наук[129]. Исследователи перестанут изучать некоторые темы из страха, что их не будут публиковать журналы категории А. Любопытно, что такие журналы чаще всего иностранные и на английском языке, тогда как журналы на национальных языках, как правило, попадают в класс В или С. Трудно не заметить своеобразной формы колониализма в некоторых рейтингах, предлагаемых Европейским научным фондом (ESF). Действительно, если судить только по общему числу ссылок, то почти неизбежно, англо-американские журналы будут всегда занимать верхние строчки рейтинга. Их, как правило, чаще цитируют в силу простого демографического эффекта: потенциальное число читателей по той или иной специальности больше для английского, чем, например, для французского языка[130]. Однако это число ни в коей мере не указывает на интернациональное или национальное происхождение этих ссылок. Особенно остро это ощущается в социальных и гуманитарных науках по причинам, о которых мы говорили выше.

В качестве одного из основных показателей интернационализации журнала можно рассматривать географическое происхождение публикующихся в нем авторов. Например, в 2000–2012 годах 81 % авторов American Journal of Sociology (AJS) работали в США, тогда как доля британских авторов в British Journal of Sociology составляла 61 %. Так, мы видим, что первый журнал — в основном американский, то есть локальный, и менее международный по степени своей открытости, чем второй или даже чем канадский аналог AJS, в котором только 72 % авторов — канадцы. Для измерения международной заметности этих журналов можно также посмотреть на языковое разнообразие цитирующих их статей. И здесь обнаруживается, что 97 % ссылок на American Journal of Sociology приходится на англоязычные статьи и только 3 % — на статьи на других языках. Для сравнения, например, только 64 % ссылок на французский журнал Actes de la recherche en sciences sociales происходят из франкоязычных источников, 26 % — из англоязычных и 3 % — из немецкоязычных. Географическое происхождение ссылок также указывает на более ярко выраженный локальный характер American Journal of Sociology, поскольку две трети ссылок происходят из США. Для сравнения, лишь 40 % учтенных в Web of Science ссылок на статьи, напечатанные в Actes de la recherche en sciences sociales, имеют источником французские издания[131]. Итак, мы видим, что хотя общий объем цитирования американского журнала в десять раз выше, чем у французского журнала, это вовсе не означает большей степени его интернационализации.

Будучи глухими к этим тонкостям, как и к рискам возможных злоупотреблений, сторонники механистической количественной оценки опираются исключительно на статистику, способствуя вытеснению из процесса оценивания качественного аспекта, считающегося субъективным. Количественные показатели могут анализироваться людьми, абсолютно далекими от рассматриваемой научной области. Но парадокс состоит в том, что для оценки исследователя необходимо собрать комиссию, состоящую из коллег, хорошо разбирающихся в своей области. Эти специалисты хорошо знают, какие журналы являются лучшими в их области, и не нуждаются в списке, составленном группой неизвестных экспертов, распределивших журналы по категориям A, B и С. Напротив, людям, ничего не понимающим в данной области, эти рейтинги дают основание считать, что они выносят обоснованное суждение. Но они и не должны принимать участие в оценочных комиссиях! Распространение все новых плохо сконструированных показателей, таким образом, способствует вытеснению компетентной оценки, которая должна принимать во внимание показатели продуктивности, но интерпретировать их в специфическом контексте. И тот факт, что некоторые исследователи участвуют в разработке этих рейтингов и сами пользуются этими бессмысленными показателями, ничуть не отменяет того, что данные методы минимизируют роль качественной оценки научной работы, заменяя ее оценками механистическими.

Часто путают оценку и рейтингование. В действительности это две совершенно разные операции. Если вторая подразумевает первую, то первая вовсе не обязательно приводит ко второй. В отличие от оценки, которая призвана в определенный момент времени подвести промежуточный итог работе, проделанной индивидом или организацией, и адресуется прежде всего данному человеку или организации, рейтинг всегда связан с публичностью и пиаром. Но донесение до общественности — процесс отнюдь не безобидный, чреватый побочными эффектами, способными причинить ущерб репутации.

Следует также различать официальный и неофициальный рейтинги. Любой исследователь спонтанно ранжирует для себя журналы своей дисциплины. Некоторые журналы более престижны, чем другие. Ученый-физик знает, что ему лучше публиковаться в Physical Review Letters, чем в Il Nuovo Cimento. Но эти субъективные и более-менее общепринятые рейтинги подвижны и различаются от человека к человеку. Однако ситуация кардинально меняется, когда официальная организация публикует официальный список, где во всеуслышание объявляется, что журналу Il Nuovo Cimento присвоена оценка C, а журналу Physical Review Letters — оценка A. Такая официализация неизбежно порождает негативные эффекты, к которым не приводят спонтанные рейтинги среди самих исследователей. Действительно, журнал X публикует множество статей, и некоторые из них оригинальные, выдающиеся и более значительные, чем статьи, опубликованные в журнале Y. И исследователи, внимательно следящие за развитием своей научной области, это прекрасно знают. Благодаря неформальному общению внутри сообщества и различным типам взаимодействий складывается спонтанная, подвижная и нестигматизирующая оценка. Таким образом, негласная иерархия журналов в той или иной научной области ни в коей мере не равнозначна официальному рейтингу.

Однако следует признать, что и в самом научном сообществе нет единодушия в этих вопросах. Некоторые исследователи в некоторых дисциплинах решили принять как данность деление журналов на категории A, B и C. Другие ученые и другие дисциплины его отвергли, посчитав, что оно произвольно, и предложили попросту очертить «периметр научности», позволяющий утверждать, что вошедшие в него журналы не какие-то сомнительные конторы, а действительно серьезные академические издания. При втором подходе удается избежать ловушки официальных оценок A, B или C, ведь известно, насколько произвольны подобные рейтинги, неизменно отражающие борьбу за власть и расстановку сил. А кто те судьи, что устанавливают подобные рейтинги? И кто с готовностью использует деление на A, B и C? Весьма показательно, что все уважаемые журналы по истории и социологии науки сообща отвергли рейтинг, изначально предложенный Европейским научным фондом, и уже в 2009 году опубликовали коллективную редакционную статью по этому вопросу. Иными словами, внутри научного поля ведется борьба, и было бы наивно не принимать ее во внимание[132]. Состав комиссий, созданных для рейтингования журналов в разных областях гуманитарных и социальных наук, наводит на мысль, что в них отнюдь не всегда заседают самые признанные исследователи и механизмы формирования этих комиссий остаются неясными. Создается впечатление, что мы здесь имеем дело с феноменом, который Пьер Бурдье отважился назвать «законом Жданова». В соответствии с этим законом индивид, занимающий доминируемую позицию в том или ином поле, в большей мере склонен к участию в действиях властей, которые призваны пошатнуть позиции доминирующих[133]. Попадание в число тех, кто официально решает, что этот журнал достоин оценки A, а тот — только C, кому-то явно может вскружить голову…

Можно часто слышать мнение, будто бы от рейтингов никуда не денешься и поэтому с ними «приходится считаться». Это вовсе не так. Благодаря сопротивлению исследователей подобные неразумные инициативы иногда удается остановить. Например, в Австралии остро негативная реакция ученых на рейтинги журналов заставила правительство пойти на попятную и отказаться от использования этих рейтингов для оценки исследовательской работы[134]. Также и во Франции протест со стороны многих исследователей привел к тому, что организации, продвигавшие подобные рейтинги, были вынуждены перейти к простому списку журналов, определяющему «периметр научности»[135]. Этот пример наглядно демонстрирует, что возможно очертить совокупность журналов, считающихся научными в той или иной области, не втягиваясь в порочную игру рейтингов, которые как раз и призваны механизировать процесс принятия решений в ущерб мнению компетентных коллег. Иными словами, научный мир не должен пасовать перед требованиями, не имеющими никакого научного обоснования и подчиняющимися чуждой ему логике.

Для наших целей нет необходимости подробно останавливаться на каждом из многочисленных более или менее бессмысленных показателей, предлагавшихся за последний десяток лет[136]. Более всего удивляет в этом возрастающем многообразии показателей отсутствие четких критериев, позволяющих судить об их валидности. Поэтому для начала необходимо напомнить основы любой процедуры оценивания. А затем я предложу некоторые критерии для проверки валидности показателей.

В последние пятнадцать лет мне как научному руководителю Обсерватории наук и технологий (OST) Квебекского университета в Монреале (UQAM) доводилось сотрудничать со многими организациями в целях проведения библиометрического анализа. Как ни странно, мне часто приходилось им напоминать, что процедуре оценивания должно предшествовать определение специфических целей и задач оцениваемой институции. А ведь должно быть ясно, во-первых, что подход к оценке правительственной лаборатории и университетского исследовательского центра не может быть одним и тем же; а во-вторых, что оценивание осуществляется в свете определенных целей, которые ранее поставила себе сама институция или финансирующая ее организация. Эти цели должны быть достаточно точно определены, чтобы было возможно разработать показатели, способные измерить, насколько они были достигнуты. Если главная задача правительственной лаборатории состоит в осуществлении мер по обеспечению безопасности граждан, то понятно, что количество публикаций в ученых журналах не будет главным показателем ее успеха! В свою очередь, университетская научная лаборатория, имеющая множество контрактов с промышленными предприятиями, но мало публикующая в научных журналах, выглядит проблематично в свете традиционной миссии университета, состоящей в приросте общедоступных знаний. Иными словами, не нужно сначала выбирать показатели, а затем подгонять под них миссию организации таким образом, чтобы их максимизировать. Напротив, следует сначала установить цели и задачи, а затем попытаться найти показатели, которые действительно отражают степень их реализации.

Несмотря на неоднократные призывы к инновациям в сфере оценки (сюда относится и недавнее движение altmetrics, альтернативной метрики, которая основана на социальных сетях, но еще более проблематична, чем обычный анализ цитирования), для конструирования показателей в научной сфере имеется ограниченное число исходных данных. На входе мы имеем научно-педагогические кадры, инструменты, бюджеты и виды деятельности, производимые при помощи этих ресурсов. На выходе же получаем публикации (книги, отчеты и статьи), патенты, конференции и, конечно же, выпускников вузов и их профессиональные карьеры. Чтобы отследить импакт, применение или результаты (outcomes — менее четкий, но более широкий по охвату термин, чем «импакт»), можно прибегнуть к анализу цитирования статей, промышленного внедрения идей или, к примеру, занятости дипломированных специалистов. В эпоху интернета мы можем также наблюдать появление новых индикаторов, таких как число просмотров электронной версии статей или число скачиваний. Итак, конструирование показателей опирается на совсем небольшое число параметров, по-разному комбинируя которые можно корректно оценивать различные эффекты научной деятельности.

Составить список данных, необходимых для оценки научных исследований, нетрудно. Другое дело — убедиться в том, что они надежны и что стоимость доступа к этим данным не слишком высока. Базы данных по затратам на науку и результативности исследований не всегда доступны в подходящем виде. Такова, к примеру, ситуация с общей суммой ассигнований на научные исследования, получаемых университетами, поскольку не все страны собирают подобные данные централизованно. И сбор этих данных может быть дорогостоящим.

Что касается научных публикаций, здесь доступны три источника: Web of Science (WoS), Scopus и Google Scholar. Доступ к первым двум осуществляется только по подписке, а вот третий находится (пока) в свободном доступе в интернете. Преимущество первых двух источников в плане оценки состоит в том, что их содержание контролируется и список входящих в них журналов известен. Однако их недостаток состоит в том, что доступ к ним стоит весьма дорого. Google Scholar находится в свободном доступе, однако проблема в том, что его содержание не контролируется и непрерывно меняется, настолько, что невозможно составить себе представление о его реальном содержании в тот или иной момент. Действительно, там можно обнаружить как статьи из реферируемых журналов, так и тексты, кем-то вывешенные на своей персональной веб-странице. Статьи могут появляться и исчезать, так что невозможен никакой контроль за валидностью показателей, рассчитываемых на основании этого источника. К тому же в этой базе данных не упоминается институциональный адрес авторов, что еще более ограничивает возможности ее использования в целях оценки. Наконец Google Scholar — потенциально манипулируемый источник[137].

Сириль Лаббе, французский программист из университета Жозеф-Фурье, показал, как можно манипулировать контентом Google Scholar таким образом, чтобы увеличить h-индекс фиктивного исследователя, названного им Ике Анткаре[138]. Он сфабриковал сотню коротких статеек, взаимно цитирующих друг друга, и вывесил их на веб-сайте. Когда они были проиндексированы Google Scholar, h-индекс этого фиктивного исследователя оказался равен 94, а ведь это почти невозможно для реального исследователя! Этот случай был использован для того, чтобы указать на ограниченность библиометрического метода. На самом же деле это ничего не доказывает по поводу библиометрии, а лишь ставит под вопрос состоятельность Google Scholar как базы данных для библиометрических изысканий. Трюк с Ике Анткаре был бы невозможен в Scopus или Web of Science, поскольку в них учитываются лишь журналы, публикующие анонимно рецензируемые статьи, а не спонтанно вывешиваемые в интернете документы. И хотя на агрегированном уровне наблюдается корреляция между результатами, полученными при использовании разных баз данных, в случае, когда оценка производится на индивидуальном уровне, качество базы данных имеет ключевое значение для правильной интерпретации показателей цитируемости.

Бесплатный и неконтролируемый доступ к Google Scholar и к интернету, в отличие от платного доступа к Scopus и Web of Science, разумеется, внес свою лепту в создание атмосферы оценочной анархии, которая нередко расценивается как демократизация[139]. В самом деле, теперь любой исследователь может попробовать измерить свою заметность и качество, состряпав спонтанный показатель, основанный на количестве посещений веб-страницы (hits) в Google Scholar и, с недавних пор, упоминаний в «Твиттере»! В результате в последнее время участились спонтанные применения оценивания и создание фиктивных показателей научного импакта, приводящие к некоторому хаосу в академическом мире, чьи представители не всегда способны адекватно оценить качество запускаемых в оборот измерений. Такие показатели способствуют созданию рейтингов, больше похожих на «черные ящики», но подающихся в качестве надежных фактов, которые должны приниматься во внимание чиновниками разных уровней при проведении научной политики.

Таким образом, источник используемых данных представляет собой важный аспект любого оценивания. Соревнование между фирмами, участвующими на этом рынке, непосредственно влияет на содержимое библиометрических баз данных. Примерно с середины 2000-х годов наблюдается существенный рост числа журналов, зарегистрированных в WoS. Во времена, когда у Института научной информации Гарфилда была монополия на библиометрические данные, он один определял критерии качества и не стремился увеличивать число анализируемых журналов, индексируя лишь наиболее значимые издания. С выходом на этот рынок Scopus конъюнктура изменилась: владелец новой базы данных, издательский дом «Эльзевир», сделал своим конкурентным преимуществом тот факт, что он покрывает намного больше журналов. А это привлекательно для библиотек, чьей целью является максимально широкий охват научной периодики. Таким образом, количество включенных в базу данных журналов стало аргументом продаж и веской причиной для того, чтобы купить подписку: Scopus ежегодно индексирует более 16 000 журналов, а Web of Science — чуть более 12 000. Следует, однако, отметить, что состав обеих баз данных совпадает более чем на 50 %[140].

Локальный или, напротив, универсальный характер предметов в разных дисциплинах не может не влиять на валидность библиометрических показателей, учитывая неполное освещение некоторых областей науки в самых популярных базах данных (Web of Science и Scopus). Так, очевидно, что невозможно использовать удельный вес статей в международном соавторстве в качестве индикатора интернационализации в областях, где преобладают практики единоличного авторства статей, как это, например, до сих пор имеет место в истории или философии. Точно так же сложно ожидать одинакового уровня международного сотрудничества от исследований, имеющих объектом сельское хозяйство в Северной Франции и распределение черных дыр во Вселенной. Эти простые примеры напоминают нам, насколько важно хорошо понимать природу используемых данных, если мы хотим быть уверенными, что они адекватно отвечают на поставленный вопрос. Они также в очередной раз указывают на необходимость принимать во внимание специфику дисциплин и их предметов, от которой зависит релевантность используемого показателя. Следует помнить и о том, что широта охвата дисциплин, специальностей и стран варьирует в зависимости от используемой базы данных.

Другое важное ограничение библиометрии состоит в том, что базы данных включают не все журналы, в которых публикуются исследователи. Этот факт неоднократно подчеркивался аналитиками из разных лабораторий, которые смогли точно установить присутствие или отсутствие публикаций своих сотрудников в различных базах данных[141]. Учитывая закон больших чисел, чем меньше масштаб анализа, тем менее надежны и репрезентативны результаты и тем осторожнее их следует анализировать. Явная тенденция рассматривать базы данных как вещи в себе заставляет забывать тот простой факт, что не учтенные в них работы (и особенно работы не на английском языке) тем самым обесцениваются, а между тем никто еще не доказал, что не внесенные в базы журналы обладают худшим качеством.

Часто отмечают, что в Web of Science (или в Scopus) не индексируются книги, что на деле путают с цитированием книг. Ведь совершенно очевидно, что Web of Science (так же как и Scopus) содержит библиографические описания всех книг, процитированных в статьях. Вполне возможно, что распределение ссылок в журналах по общественным наукам похоже на то, которое обнаруживается в книгах по тем же дисциплинам. Действительно, было бы крайне удивительным, если бы какой-либо автор, мало цитируемый в журналах, вдруг стал бы обильно цитироваться в книгах, тем более что последние часто основываются на уже опубликованных статьях, отредактированных и собранных вместе. Если это так, то можно с полным основанием заключить, что инвестиция в создание индекса книг компанией Thomson Reuters, недавно выпустившей на рынок Индекс цитирования книг (Book Citation Index), окажется бесполезной. Ведь важно не абсолютное число ссылок, а их распределение и относительная представленность в той или иной области. Грубо говоря, библиометрия имеет дело с чем-то вроде репрезентативной выборки. В результате добавления воды в бассейн ее средний уровень повышается, однако ее состав от этого не меняется — иначе говоря, структура выборки остается прежней. Вот почему рейтинги совокупной продукции стран в базах данных Scopus и Web of Science примерно одинаковы, хотя на уровне дисциплин иногда выявляются существенные различия[142]. И наконец, следует отметить, что Индекс цитирования книг еще более ориентирован на англо-американскую продукцию, чем базы данных журналов (которые с годами мало-помалу диверсифицировались), а это делает его использование для оценки еще более проблематичным.

В дискуссиях об оценивании более всего раздражает стремление все свести к одной-единственной цифре. Примитивность такого подхода можно проиллюстрировать при помощи следующего образа: многомерное пространство, сведенное до пространства с нулевым измерением, то есть до точки! В самом деле, при суммировании взвешенных значений нескольких показателей для получения одной цифры теряется информация о каждой из осей многомерного пространства, которые репрезентируют тот или иной показатель. Только одновременный учет сразу нескольких показателей позволяет охватить разные измерения того или иного понятия, например понятия влияния (импакта) исследовательской работы.

Так, академическую среду интересует прежде всего научное влияние публикаций, но нельзя пренебрегать и другими типами влияния, для измерения которых подобрать корректные показатели не так трудно. Например, речь может идти об экономическом, социетальном, культурном, экологическом и политическом влиянии научных исследований. Иначе говоря, в случае университетов исследовательская функция институции должна рассматриваться наряду с другими ее функциями. К примеру, качество преподавания не может оцениваться исключительно в свете проводимых в университете исследований без учета той среды, в которую погружены учащиеся там студенты (качество зданий, библиотечные ресурсы и т. п.). Чтобы эти параметры получили надлежащее освещение, следует избавляться от «синдрома фонаря», то есть от привычки искать ключи там, где светло, а не в том месте (пусть и темном), где они были потеряны. Таким образом, необходимо отказаться от использования легкодоступных показателей и, подробно изучив отдельные кейсы, оценить наличие некоторых из этих типов влияния для каждого из основных показателей. Такой качественный подход затратен, однако он необходим для адекватной оценки влияния исследований в различных секторах[143].

В ряду проблем, связанных с оценкой научного труда, отдельно стоит наболевший вопрос о рейтингах. Хотя оценивание и рейтингование — это не одно и то же, обе операции требуют использования показателей, при работе с которыми нужно применять некоторые базовые принципы для обеспечения их валидности. Международная экспертная группа по рейтингам (International Ranking Expert Group) утвердила так называемые берлинские принципы контроля за качеством рейтингов. Члены этой самопровозглашенной группы, состоящей из экспертов по оцениванию, однажды собрались, чтобы определить хорошие практики при составлении рейтингов. Так были сформулированы следующие принципы: 1) ясно определять цели рейтингования; 2) обеспечивать прозрачность методологии; 3) выбирать адекватные и валидные показатели; 4) четко определять веса показателей и не менять их по ходу дела; 5) признавать разнообразие и специфику различных институций[144].

На первый взгляд эта инициатива кажется похвальной и разумной. Но если присмотреться, декларируемые принципы оставляют желать лучшего. Четвертый принцип, в соответствии с которым следует четко определять веса переменных, с тем чтобы впоследствии их не изменять, представляется парадоксальным. В соответствии с этим принципом, если выяснится, что изначальное распределение весов неадекватно, его не следует менять под предлогом обеспечения преемственности, что по меньшей мере проблематично. Пятый принцип, требующий признания разнообразия институций, — лишь благое пожелание. На самом деле ни один из этих критериев не применим к существующим рейтингам университетов, в частности к так называемому Шанхайскому рейтингу. А ведь разработчики рейтинга также входят в данную экспертную группу, что не мешает им проявлять полное безразличие к тому, что их собственные показатели не следуют принципам, которые они продвигают… Третий принцип, выбор адекватных и валидных показателей, вроде бы самоочевиден, однако при этом не указывается какой-либо нормы, которой они должны соответствовать. Мы уже показали, насколько важную роль играют источники и качество информации, содержащейся в базах данных, однако не менее важно и конструирование показателей. Не нужно думать, будто главное — это качественная база данных, а «не расчет того или иного показателя, при котором, по большому счету, выбирается то, что наиболее удобно»[145]. Чтобы быть валидным, показатель должен отвечать некоторым критериям, и эта сторона дела не зависит от используемых для его расчета баз данных. Валидный показатель, на мой взгляд, должен обладать тремя свойствами.

Показатель по определению является переменной, которую можно измерить и которая призвана точно репрезентировать то или иное понятие, отсылающее к измеряемому свойству объекта[146]. Типичные примеры таких понятий и показателей — инфляция, показывающая, как с течением времени меняются цены на товары, или валовый внутренний продукт (ВВП), измеряющий объем производства страны. Показатель — это не само понятие, а приблизительное представление, используемое для определения того, каким образом реальность, стоящая за этим понятием, изменяется во времени и в пространстве. Свойства показателя всегда следует сравнивать с предполагаемыми свойствами самого понятия, и это сравнение должно основываться на интуиции и предварительном знании объекта, а также на других результатах измерения того же понятия. Итак, показатель должен как можно полнее соотноситься с внутренними характеристиками понятия, которое он призван измерить.

Первое свойство хорошего показателя — это его соответствие объекту. Насколько точно он отражает измеряемые характеристики объекта? Достоверны ли результаты, получаемые при измерении в свете того, что уже известно о данном понятии? Так, уровень инвестиций в исследования и разработки (R&D) является в первом приближении надежным индикатором интенсивности научных исследований в данной стране. Но представим, что требуется оценить научный импакт отдельного автора. Разумеется, можно провести опрос экспертов из той же области знания и предложить им расположить данного автора на некой шкале. Можно также предположить, что показателем этого научного импакта являются ссылки на его работы. Но недостаточно просто это постановить; нужно сначала протестировать наличие этой связи, выявив отношение между результатом анализа ссылок и другим, независимым от него индикатором. И действительно, как мы показали выше, наличие корреляции между уровнем цитируемости и репутацией, оцениваемой на основании полученных премий и научных званий, с 1970-х годов было неоднократно продемонстрировано в работах по социологии науки и библиометрии[147]. Как мы уже отмечали, мнение о том, что великие ученые мало цитируются, является мифом. Однако валидность показателя цитируемости была подтверждена прежде всего в сфере естественных наук. Нельзя некритично переносить его в область социальных наук и тем более в гуманитарные науки и филологию, поскольку результаты, полученные в этих дисциплинах, публикуются в форме статьи реже, чем книги, а последние менее широко представлены в базах данных[148]. Итак, чтобы убедиться, что показатель действительно адекватен объекту, следует проводить тесты и анализировать способы производства знаний в разных дисциплинах.

Во-вторых, хороший показатель должен быть однородным по своему составу. Например, в сфере науки однородным (для данной страны) показателем научной деятельности будет число статей, опубликованных в ведущих научных журналах. Этот показатель позволяет измерить результативность, которую можно сопоставить с вложенными ресурсами, такими как объем инвестиций в науку (выраженных в евро). По этим показателям можно сравнивать между собой страны и даже организации. С их помощью можно также картировать научную деятельность в двух разных аспектах: входящие ресурсы и результаты. Соотношение этих двух величин дает показатель производительности научного труда (затраты/выпуск). Однако если принять этот показатель за меру качества научных исследований (а не их эффективности), комбинируя его с репутационной шкалой, установленной экспертной группой, то получается неоднородный показатель, который может непредсказуемо варьироваться, причем установить точную причину этой вариации невозможно.

Шанхайский рейтинг университетов дает в этом смысле наилучший пример того, как делать не надо: в нем намешаны одновременно ссылки, Нобелевские премии и статьи в ведущих журналах, и всем этим критериям назначены веса абсолютно произвольным образом, чтобы в конечном счете получить одну цифру. Складывая столы со стульями таким образом, невозможно определить причину вариаций итогового показателя. К тому же известно, что использование весовых множителей для сложения показателей иногда дает бессмысленные результаты[149]. Критерий однородности также связан с принципами прозрачности и простоты показателей, что означает возможность их прямой интерпретации. Например, такая метрика значимости журналов, как Eigenfactor, основанная на алгоритме типа Page Rank, непрозрачным образом принимает в расчет качество цитирующих журналов[150]. Но на каком объективном основании можно заключить, что ссылка в журнале Science имеет больше веса, чем ссылка в Scientometrics? Это только добавляет произвольности уже и без того сомнительному показателю. В реальности оказывается невозможно исправить плохой показатель, комбинируя его с другими и тем самым делая его еще менее прозрачным. Следует отказаться от такого показателя и найти другой, более адекватный и простой в интерпретации.

Последнее важнейшее качество хорошего показателя состоит в том, что его значения должны варьироваться в соответствии с инерцией, свойственной измеряемому объекту, поскольку разные объекты меняются с большей или меньшей быстротой в зависимости от их внутренних свойств. Возьмем для примера термометр: предположим, что вместо старого доброго столбика с ртутью используется электронный прибор с цифровым экраном и что в непроветриваемой комнате он сначала показывает 20 градусов, минуту спустя — 12 градусов, а еще через минуту — 30 градусов. Разумеется, исходя из простого здравого смысла наблюдатель скорее придет к заключению, что прибор сломан, чем поверит в то, что температура так быстро меняется. Ведь интуитивно понятно (и это подтверждается термодинамикой), что температура в закрытой комнате не может столь резко меняться в течение трех минут! Точно так же известно, что такие крупные организации, как академические институции, сродни неповоротливым танкерам, неспособным быстро менять курс (оно и к лучшему, ведь это избавляет их от необходимости реагировать на сиюминутные, а порой и пустые требования[151]). Поэтому если рейтинг показывает, что некоторая институция за один год переместилась с первого на шестое место или с восьмого на второе, то это явно означает, что используемый показатель дефективен или крайне неточен, а вовсе не то, что качество институции резко изменилось! К тому же, учитывая естественную погрешность в данных из года в год, ясно, что бóльшая часть годовых колебаний в рейтингах на самом деле случайна и не имеет никакого реального значения. И тот факт, что обычные лидеры неизменно занимают верхние строчки, вовсе не свидетельствует о состоятельности этих рейтингов и показателей. Ведь можно с большой долей уверенности утверждать, что какой бы критерий мы ни избрали, Гарвард, Калифорнийский технологический институт и Массачусетский технологический институт всегда окажутся в тройке лидеров. И кстати, неудивительно, что эти университеты как раз не очень озабочены своим положением в рейтингах. Настоящая борьба происходит скорее на средних позициях, где места распределяются наиболее произвольным образом. Но именно эти позиции (условно говоря, второго верхнего квартиля) более всего интересуют научных администраторов. Так или иначе, годовое передвижение на несколько позиций вверх — не более чем артефакт, а вовсе не реальное изменение, которое можно записать на счет руководства, наградив его премией или просто похвалами.

Инерция, присущая оцениваемой институции, также должна учитываться при выборе частоты проведения оценки. Например, в США Национальный исследовательский совет (NRC) составляет рейтинг всех докторских программ американских университетов по всем дисциплинам не чаще, чем раз в десять лет. Почему так редко? Не только потому, что такие подсчеты дорого стоят, но и потому, что очень маловероятно, чтобы академическая программа, которая в 2008 году была оценена на отлично, в 2009 году стала посредственной. Иначе говоря, подобная периодичность учитывает относительное постоянство университета. Это наводит на мысль, что проводить оценку таких крупных институций каждые четыре года не имеет особого смысла (и ведет лишь к растрате ресурсов). Более реалистичной для фиксации действительных изменений была бы частота оценки в шесть-семь лет.

К этим трем критериям следует добавить еще один, неочевидный момент, который требует прояснения, поскольку тоже может служить для выявления сомнительных показателей: значения показателя должны изменяться подобно монотонной функции — либо непрерывно возрастая, либо убывая. H-индекс, к примеру, не отвечает этому требованию. Очевидно, что импакт исследователя, опубликовавшего 3 статьи, процитированные каждая по 100 раз, выше, чем влияние исследователя, опубликовавшего 10 статей, процитированных по 10 раз каждая. Однако в соответствии с h-индексом будет верно обратное, потому что первый написал 3 статьи, а второй — 10. Это все равно что утверждать, будто по некоторой шкале 20 градусов — это более холодная температура, чем 10… А вот значимость числа полученных ссылок не изменяется при его возрастании: 1000 цитат всегда будет лучше, чем 10.

В отличие от h-индекса, предназначенного для индивидуальной оценки, рейтинги университетов, которых становится все больше с начала 2000-х годов, претендуют на оценку целых институций. Но прежде чем их использовать с этой или иной целью, необходимо подвергнуть детальному анализу каждый из используемых при их составлении показателей. Было бы несложно показать, что ни один из показателей, выбранных публикующими эти рейтинги организациями, не отвечает нашим критериям. Большая часть этих показателей не имеют того значения, которое им приписывают. К тому же их складывают, наделяя произвольными весами, в результате чего рейтингование становится еще более проблематичным[152].

Итак, можно привести немало доказательств некорректности ежегодно составляемых рейтингов университетов, которые публикуются журналами лишь для повышения своих продаж. Исходя из этого, нельзя не задаться вопросом, почему руководители академических институций — которые должны иметь хотя бы элементарную математическую грамотность и хвалятся тем, что принимают решения на основе объективных международных показателей, — продолжают их учитывать без каких-либо критических оговорок, просто потому, что «они существуют»…

Отношение управленцев к рейтингам становится понятнее, если заметить, что они служат университетам прежде всего для маркетинговых целей. Как минимум с 1990-х годов ОЭСР занимается продвижением единого мирового рынка высшего образования, и появление мировых рейтингов в начале 2000-х годов вписывается в это неолиберальное течение, превращающее вузы в обычных агентов рынка. А там, где рынок, там конкуренция и маркетинг. Не случайно университеты нанимают все больше так называемых пиар-специалистов для улучшения, обновления и продажи своего имиджа.

Пиар-директор одного канадского университета считает, что университетам уже пора понять, что мы живем в рыночной экономике и что следует развивать «бренд» наших университетов для продажи наших «товаров» потенциальным «покупателям», то есть студентам. Она охотно объясняет, каким образом ей удалось создать для своего учреждения имидж «динамичного университета», где проводятся исследования, «идущие в авангарде науки» (тщательно подбирая при этом модные и запоминающиеся слова)[153].

Однако за таким оптимистичным представлением о маркетинге в сфере высшего образования скрывается и более темная сторона. Когда смотришь рекламу в газетах, по телевидению и (с недавних пор) в кино, всякий раз поражает, что тщательно отобранные картинки и слова балансируют на грани обмана и подмены образов. Разумеется, целая армия адвокатов под лупой рассматривает эти тексты и картинки, чтобы избежать малейшего риска преследования за заведомо ложную рекламу, хотя очевидно, что транслируемое сообщение передает не то, что должно бы.

Применение к университетам маркетинговых технологий проблематично, поскольку университеты по идее должны воплощать поиск истины, а не стремиться всеми правдами и неправдами продавать «товары». Мир бизнеса руководствуется иной этикой, нежели университет, наделенный моральной миссией.

Маркетинг может стать скользким путем для университетов, которые хотят позиционировать себя в качестве лидеров в той или иной сфере и усердствуют в поиске рейтинга, где они были бы на первых позициях. В последние годы среди университетских администраторов особой популярностью пользуются Шанхайский рейтинг и рейтинг журнала Times Higher Education, которые раздают звания лучших мировых университетов. И хотя во многих странах специалисты по оцениванию неоднократно доказывали полную научную несостоятельность этих рейтингов, многие университеты используют их для продвижения своего качества. Хуже того, точно так же как некоторые журналы пытаются подтасовывать свои импакт-факторы, в США было доказано, что некоторые институции занимались подтасовкой данных по отдельным показателям, чтобы улучшить свои позиции в рейтингах[154].

Многие вузы пользуются этими рейтингами, если находят в этом выгоду для себя. Такое поведение является по меньшей мере оппортунистским, если не сказать циничным. Хорошим тому примером может служить университет X (речь идет о реальном заведении, но из гуманных соображений не будем его называть). Подыскав подходящий рейтинг, руководство университета, по всей видимости, предпочло не упоминать свое в нем место. Тогда специалист по маркетингу предложил следующую формулировку: «Университет X находится в пятерке лидирующих канадских университетов». Но если университет X «находится в пятерке лидеров», почему тогда просто не назвать его место? Занимает ли он первую строчку? Конечно, нет, иначе бы он с гордостью заявлял об этом. Скорее всего, он и не на втором месте, по той же самой причине. Остаются третье, четвертое и пятое места… Я предполагаю, что этот вуз попал на четвертое или пятое место в этом рейтинге и специалисты по пиару рассудили так: «Нам хотелось бы быть в числе лидеров, так давайте используем слово „лидер“, и тогда, вполне возможно, читатель именно его и запомнит!» Стоит особо отметить выражение «в пятерке лидирующих». Хотя никакой закон не запрещает такого рода утверждения, они все-таки граничат с интеллектуальной нечестностью и приближаются к методам, используемым продавцами подержанных автомобилей и других сомнительных товаров. Я считаю, что такой тип поведения постепенно искажает миссию университета, поощряя цинизм.

Вот еще один пример: университет Б (название которого мы тоже не раскрываем) всерьез принимает рейтинг, хотя его место из года в год меняется без какой-либо связи с родом его деятельности. Он с гордостью заявил, что в этом году занял в нем 20-е место, забыв при этом упомянуть, что в прошлом году он был на 12-м месте! Либо рейтингу можно верить — и тогда понижение на восемь мест демонстрирует серьезное снижение качества или даже провал в менеджменте со стороны руководства, которому следовало бы запустить программу коренных преобразований; либо рейтинг никчемный и все эти места, будь то 20-е или 12-е, гроша ломаного не стоят. Иными словами, маркетинговые стратегии не должны основываться на этих цифрах. И кстати, администраторы разных учреждений, получивших хорошие результаты, подтвердили мои впечатления: «Вы правы насчет этих рейтингов, но наши послания должны быть просты». Цинизм здесь сопровождается снисходительным отношением к бедным студентам и их родителям, неспособным разобраться в сложных вопросах…

Исходя из сказанного, можно только поддержать выступление Дэвида Нейлора, ректора Торонтского университета, самого крупного в Канаде, публично признавшего в 2006 году, что рейтинг вузов, предложенный канадским журналом Maclean’s, пригодился его заведению только для одной цели: маркетинга. «Никто из нас не верит всерьез, — заявил он, — что этот рейтинг имеет интеллектуальное обоснование»[155]. Подобный цинизм в академической среде — прямое следствие создания рынка высшего образования и небывалого подъема пиар-технологий. Процитируем снова Дэвида Нейлора: «Велик соблазн одной-единственной цифры. Ее легко вставлять в пресс-релизы. Пару-тройку цифр легко упомянуть на обложке журнала, тем самым превратив эти показатели в основной инструмент помощи в выборе вуза. Рейтинги отнюдь не являются прозрачным источником информации для выпускников и их семей, которые должны принимать важные решения в сфере высшего образования. Они маскируют проблемы лидеров и скрывают преимущества аутсайдеров». После этого критического выступления он решил, что его заведение не будет больше участвовать в рейтинге Maclean’s. Почему? Потому что Maclean’s — частная компания, делающая деньги на университетах и, в частности, на своем ежегодном рейтинге. Очевидно, что университеты очень мало меняются за один год, но это не мешает специальному номеру Maclean’s, содержащему рейтинг, продаваться лучше, чем обычные номера. И что же мы узнаем нового каждый год? Совсем не много… Рейтинги приносят прибыль прежде всего журналу, который зачастую использует данные, бесплатно предоставляемые ему университетами!

Излишнее доверие к рейтингам может также привести к нелепым ситуациям, как это было в случае с Александрийским университетом в Египте. В 2010 году он вдруг оказался в топе исследовательских университетов согласно рейтингу, публикуемому фирмой QS совместно с Times Higher Education (THE). Университет поспешил похвастаться новым статусом на своем веб-сайте, и главный редактор THE даже поздравил университет, заявив, что «попадание заведения в эту таблицу означает, что оно по-настоящему вышло на мировой уровень»[156]. По всей видимости, неожиданный выход университета на уровень мировых лидеров настолько вскружил его руководителям головы, что им было даже недосуг задать себе элементарный вопрос: как получилось, что практически незаметная на мировом уровне институция вдруг за один год поднялась в число исследовательских заведений мирового класса? К счастью (и к несчастью для этого университета), более проницательные люди задались этим вопросом и обнаружили техническую ошибку при обработке данных. Без особой огласки эта ошибка была исправлена, и в следующем году в очередном рейтинге Александрийский университет оказался в категории «601+» (то есть между 601-м и 700-м местами), а данные за 2010 год попросту исчезли из обращения…[157] Другой курьезный случай связан с Шанхайским рейтингом, где одним из показателей качества является тот факт, что в университете учился или работал лауреат Нобелевской премии. Когда Альберт Эйнштейн в 1922 году получил Нобелевскую премию по физике, он был профессором Берлинского университета, за что последнему причитаются очки в этом рейтинге. Однако в конце Второй мировой войны университет был разделен на две части: первая превратилась в Гумбольдтовский университет, перешедший под коммунистический режим, а западная часть в 1948 году стала Свободным университетом Берлина. И, разумеется, оба университета считают Эйнштейна своим! В связи с нашим изложением интересен тот факт, что аффилиация Эйнштейна с одним или другим заведением меняет их место в рейтинге на сто позиций! Помимо того что данный показатель имеет чрезмерный вес, он ставит в целом вопрос: каким образом Нобелевская премия, врученная в 1922 году, может свидетельствовать о качестве университета 2000-х годов? Налицо неадекватность показателя… Однако это не помешало обоим заведениям, вместо того чтобы прийти к выводу о несостоятельности данного рейтинга, сцепиться друг с другом в мелочной драке за свои позиции в нем[158]. Ввиду такого непостоянства и произвольности выбранных показателей и их относительного веса можно лишь улыбнуться, услышав слова французского министра науки, которая, всерьез комментируя Шанхайский рейтинг за 2013 год, отмечает, что французские университеты «постепенно отвоевывают в нем места»[159].

Институции, излишне заостряющие внимание на своих позициях в рейтингах, склонны даже к подтасовке данных, точно так же как издатели академических журналов — как мы показали выше — пытаются манипулировать своим импакт-фактором для улучшения места в журнальных рейтингах. Это подводит нас к наиболее неприглядным последствиям системы оценки науки.

Одну из вопиющих форм интеллектуальной коррупции, порождаемой гонкой за местами в рейтингах, можно наблюдать в случаях, когда академические институции предлагают «высокоцитируемым исследователям»[160], работающим в других организациях, добавить свой адрес в публикации в обмен на вознаграждение. Эти искусственные аффилиации, за которыми не стоит никакой преподавательской или исследовательской нагрузки, охотно принимаемые некоторыми учеными, позволяют заведениям-аутсайдерам легко улучшить свои позиции в рейтинге университетов, не создавая при этом настоящих лабораторий. Исследователи, участвующие в подобных сделках, виновны в той же мере, что и институции. Нужно отметить, что библиометрию можно использовать и для идентификации этически сомнительного поведения со стороны исследователей и университетов.

С тех пор как журнал Science показал, что «саудовские университеты платят чистоганом за академический престиж», появилась возможность детальнее рассмотреть акторов, вовлеченных в эту игру[161]. Опубликованный агентством Thomson Reuters список высокоцитируемых исследователей (HCRs) и институций, к которым они принадлежат, предоставляет гораздо более интересные данные, чем просто информацию о том, кого чаще всего цитируют[162]. Этот список, в котором указаны дополнительные аффилиации исследователей, поневоле подтверждает наличие подтасовок с институциональными адресами, используемых институциями для поднятия своего места в мировых рейтингах университетов. В списке HCR 2014 года содержится 3215 исследователей. Среди них, как это следует из указанного ими в статьях институционального адреса, только у 707 (около 22 %) имеется более одной аффилиации (кафедра, аффилированная больница, исследовательский центр и т. п.). Если мы заглянем в Web of Science компании Thomson Reuters, то обнаружим, что среди авторов, указавших более одного адреса в «информации об авторе», большинство составляют исследователи в биомедицинских науках (около 18 %), тогда как в точных и технических науках таковых только 11 %, в общественных — 10 %, а в гуманитарных — 6 %. В случаях двойной аффилиации вполне логично предположить, что дополнительный адрес должен быть в той же самой стране, что и основной. Так оно и есть: только 2–4 % авторов с двойной аффилиацией имеют второй адрес в другой стране. Интересно, хотя и вполне ожидаемо, что среди высокоцитируемых авторов в силу международного научного признания, вырисовывается совсем иная картина. По данным HCR, среди 707 исследователей с одной аффилиацией и более у 296 (то есть у 42 %) второй адрес — в иностранном государстве; это в десять раз превышает показатель по всей совокупности авторов. Другой любопытный элемент в этих данных — это частое попадание определенных зарубежных институций в дополнительные адреса этих исследователей. Среди заведений, название которых встречается как минимум десять раз, наиболее «привлекательной» зарубежной институцией оказывается Университет им. короля Абдулазиза (KAU) в Саудовской Аравии — с ним аффилированы 130 авторов из другой страны. Поэтому неудивительно, что этот университет попал в центр внимания журнала Science в 2011 году, в рубрику News Focus, где говорилось о том, что он использует иностранных ученых для поднятия позиции в университетских рейтингах. Для сравнения, в том же списке высокоцитируемых исследователей к такому мощному исследовательскому пулу, как Гарвардский университет, привязаны вторым, иностранным адресом всего 26 ученых — то есть гораздо меньше, чем к саудовскому KAU. Если, абстрагируясь от институций, рассматривать страны, придем к тому же выводу: для высокоцитируемых исследователей самой привлекательной страной является Саудовская Аравия (134 аффилиации), за ней следуют Соединенные Штаты (только 32 аффилиации) и Великобритания (19). Совершенно очевидно, что сам факт, что эти исследователи указывают KAU в качестве рабочего адреса в своих статьях, вывело данную институцию в число лидеров по числу цитирований. Как показано в таблице 1, в списке HCR у Саудовской Аравии имеется всего 163 исследователя, причем 134 из них (то есть 82 %) указывают эту страну во втором адресе и только 29 — в адресе основного места работы. При этом абсолютное большинство, то есть более 90 % исследователей из развитых стран, таких как США, Великобритания, Германия, Франция или Канада, имеют свой основной адрес в родной стране, что вполне предсказуемо.

Таблица 1. Страны, указанные в основном и в дополнительном адресах «высокоцитируемыми исследователями» (HCR) в 2014 году

Из этих данных становится ясно, что некоторые институции открыли для себя простой способ обрести престиж, связанный с высоким местом в мировых университетских рейтингах. Но те же самые данные говорят и о том, что некоторые высокоцитируемые ученые нашли простой способ заработать денег в обмен на передачу частицы своего символического капитала не тому университету, в котором они работают на полной ставке. Это не проблема в тех случаях, когда институции предлагают этим ученым настоящую работу, позволяющую им напрямую участвовать в исследовательском и педагогическом процессе, идущем на пользу студентам. И с совсем иной ситуацией мы имеем дело, когда целью является попросту улучшить позицию институции в рейтинге за счет искусственного увеличения числа публикаций в соответствующих научных журналах.

Бизнес-школы, которые должны регулярно возобновлять свою «международную аккредитацию», также крайне озабочены своими местами в разнообразных рейтингах. Так, некоторые из них воспроизводят все тот же стратегический маневр: для поднятия престижа добавляют к списку своих сотрудников иностранных исследователей, предлагая им за это привлекательные премии, основанные на рейтинге журналов, в которых те публикуются. Многие институции в Европе составляют свои собственные рейтинговые списки из сотен журналов: каждому журналу присваивается значение от нуля до 20 000 евро, соответствующее размеру премии, выплачиваемой исследователю за статью. Подобные практики «оптимизации» влияют даже на само содержание академических исследований. Во Франции в газете L’Etudiant (Студент) появилась информация о том, что французская бизнес-школа IPAG смогла подняться в рейтингах за счет того, что стала стимулировать своих исследователей публиковаться в более или менее высоко котирующихся журналах по близким этим журналам тематикам. Поскольку оценка основывается на количестве звездочек, полученных за каждую публикацию, можно либо фокусироваться на топовых журналах и получать 5 звездочек за одну публикацию, либо публиковать 5 статей в однозвездочных журналах. Сумма будет одной и той же: 1 × 5 = 5 × 1! Один исследователь из IPAG со святой простотой объяснил эту схему: «Мы идентифицировали самые легкодоступные журналы. Мы стараемся писать статьи, соответствующие их ожиданиям». Он также добавил, что они не теряют времени на сбор первичных эмпирических данных, а скорее мобилизуют существующие источники, которые они покупают, чтобы ускорить подготовку новых публикаций. В ответ на упреки коллег из других институций, которые посчитали такое поведение сомнительным, другой представитель IPAG заявил, что это не они выдумали «правила игры», они лишь используют их для максимизации своей эффективности[163].

Поэтому не стоит удивляться, что профессора и администраторы школ бизнеса и менеджмента, компетентные в сфере коммерции, научились монетизировать свой символический капитал. Важность этих практик становится понятной, если учитывать центральную роль в их стратегиях системы аккредитаций. При этом интересно отметить, что критерии Европейской системы оптимизации качества (EQUIS), разработанной Европейским фондом развития менеджмента (EFMD), включают и такой параметр, как этика: «школа обязана иметь четкое представление о своей миссии глобальной гражданской ответственности и о своем вкладе в этику и устойчивое развитие»[164].

Можно задаться вопросом, не являются ли эти вопиющие манипуляции в целях повышения места в рейтингах своего рода интеллектуальным мошенничеством или по меньшей мере неэтичным поведением, несовместимым с миссией института высшего образования. Кроме того, институции, всерьез борющиеся за позицию в многочисленных рейтингах, имеющих хождение на академическом рынке, видимо, не всегда осознают порождаемые ими непредвиденные негативные эффекты. Так, например, некоторые из числа их собственных сотрудников, добавляя иностранные адреса в свои публикации, тем самым способствуют укреплению позиции «конкурентов» этих институций. Едва ли мы можем рассчитывать на моральные принципы университетских менеджеров, чтобы положить конец этически сомнительной игре. Однако мы можем быть уверены, что они примут решительные меры, как только поймут, что некоторые из исследователей, которым они платят по полной ставке для поднятия престижа собственной институции, оказывается, являются «двойными агентами», помогающими их конкурентам повысить позиции в рейтингах, причем за гораздо более скромное вознаграждение. Известно, сколько усилий приложили университетские менеджеры к тому, чтобы исследователи четко указывали в своих публикациях правильные институциональные адреса, так чтобы символическая прибыль шла в копилку их собственных институций. А теперь, по всей видимости, в связи со злоупотреблениями самой системой оценки науки тем же самым институциям придется отслеживать подтасовки с адресами, указываемыми в публикациях их сотрудниками.

Такого рода злоупотребления должны предостеречь университетских управленцев и специалистов по пиару от использования сомнительных рейтингов в целях саморекламы. Чем принимать рейтинги на веру (как будто внутри спрятан приятный подарок), гораздо разумнее было бы заглянуть внутрь этого «черного ящика».

Добросовестная реклама университетов, разумеется, возможна, если она подчеркивает сильные стороны, связанные с реализацией их базовых миссий (образование и исследования): к примеру, премии, полученные преподавателями и студентами в знак профессионального признания. Однако такая задача оказывается сложной, когда разработка пиара поручается людям, которых научили видеть в университетах и в студентах «продавцов» и «покупателей» «товаров и услуг» там, где раньше обычно видели любознательных и воодушевленных студентов, обсуждающих с преподавателями и другими студентами различные интересующие их программы с целью сделать осознанный выбор. Будущее университетов во многом зависит от того, как мы будем видеть то, что они делают.

Неожиданно большое значение, которое стали придавать рейтингам университетов, является в том числе следствием дискурса интернационализации университетского рынка и поиска платежеспособной иностранной клиентуры, за счет которой можно компенсировать падение государственного финансирования и снижение числа местных студентов. Многие руководители университетов, приезжающие с делегациями в Китай или Индию, кажется, видят в них потенциально платежеспособный рынок, который нельзя оставлять на откуп одним лишь американским, австралийским или британским университетам. Несмотря на всю пустопорожнюю риторику превосходства (excellence) и достижения высочайшего международного уровня, все тем же поиском иностранной клиентуры объясняется недавно принятое во Франции решение позволить университетам проводить занятия на английском языке. Поскольку все французские университеты напрямую подведомственны Министерству высшего образования, попасть на верхнюю строчку Шанхайского рейтинга не составило бы труда: достаточно применить метод Наполеона, создав один-единственный официальный университет, Университет Франции! Поскольку все публикации были бы отныне привязаны к этому названию, через пару лет (время, которое требуется для публикации новых статей) Франция точно попала бы на первое место Шанхайского рейтинга… Но разве это изменило бы что-либо для исследователей, студентов, аспирантов и их потенциальных работодателей? Означал бы этот резкий выход на первое место реальное повышение качества публикуемых работ? Ответ очевиден…

Наконец, рейтинги служат стратегическим целям тех, кто, стремясь реформировать университетскую систему в своей стране, при первом удобном случае использует их для оправдания уже принятых политических решений. И, кстати, вполне вероятно, что в случае, если бы французские университеты находились на хороших позициях в Шанхайском рейтинге, правительству Саркози было бы труднее оправдать насильно продвигаемые им реформы. Политическое руководство занимало бы более критическую позицию в отношении этого рейтинга, который, напротив, одобрялся бы теми, кто противостоит этим реформам…

Многочисленные дискуссии о состоятельности различных университетских рейтингов и показателей импакта научных исследований, которые вот уже целое десятилетие ведутся в академическом мире, наглядно демонстрируют, что их использование с той или иной целью всецело обусловлено политическими и стратегическими соображениями. Но если перечитать сказку Ганса Христиана Андерсена о новом платье короля, то невольно задумаешься: а не похоже ли положение многих университетских руководителей, по наивности или из цинизма всерьез воспринимающих эти рейтинги, на удел этого бедного короля, который «больше всего на свете любил новые наряды» и поверил обещаниям «двух обманщиков» о том, что они сошьют ему «самый красивый наряд, который только можно представить» и что только глупцы могут в этом усомниться, хотя на самом деле никакой ткани попросту не было? Сановник, которого попросили выразить свое мнение об элегантности нового платья короля, несмотря на свой скепсис (вполне обоснованный: ведь король был гол), стал воспевать красоту ткани (рейтинг!) из страха обидеть своего государя. Последний же, не видя ткани, подумал, что он просто глупец и что все подумают, что он не годится в короли, если он признается в своих тайных мыслях, то есть в том, что ничего не видит. Поэтому он предпочел сказать, что его новое платье прекрасно. И тогда его придворные посоветовали ему «в первый раз надеть эти прекрасные одежды по случаю предстоящей торжественной церемонии». Он важно расхаживал в своих новых одеждах перед народом, и «ни один человек не сознался, что их не видит, ведь никто не хотел признаться, что он глуп или сидит не на своем месте». Так бы все и продолжалось, если бы не «глас невинного младенца», маленького мальчика из толпы, воскликнувшего: «А король-то голый!» Король вздрогнул, поскольку народ был прав, но он сказал себе: «Все же я должен выстоять до конца церемонии». И шествие продолжалось, и камергеры шли за ним, поддерживая несуществующую мантию.

Если сравнить нынешних руководителей университетов с этим королем, долго ли еще они будут ежегодно облачаться в несуществующее платье, скроенное продавцами рейтингов, или же прислушаются к голосу разума?..

Однако необязательно оставлять этот вопрос на откуп академическим управленцам. Можно сознательно бороться с теми силами, которые стремятся навязать университетам иллюзорные рейтинги, несущие больше вреда, чем пользы, посредством их скрупулезной и систематической критики. И хотя, к сожалению, мы не можем утверждать, что истинная идея всегда пробьет себе дорогу, аргументированная критика ошибочного применения бенчмаркинга имеет больше смысла, чем бессильное признание его неизбежности…

Помощь библиометрии незаменима для картирования научных исследований в тот или иной момент времени в той или иной точке мира с целью преодолеть локальное и частное видение науки. Она также позволяет выявлять тренды на разных уровнях (регион, страна и мир), которые невозможно обнаружить иным способом.

Что еще важнее, благодаря библиометрии становится ясно, что публикационные, цитационные и коллаборативные практики различаются в разных дисциплинах и специальностях — социальных и гуманитарных, медико-биологических, технических, естественных… Любой показатель, разработанный для оценивания, обязательно должен учитывать эти различия. Однако при всей ее пользе пользоваться библиометрией следует с большой осторожностью и строгостью. Так, естественные науки предельно интернационализированы, чего нельзя сказать о гуманитарных и социальных науках, которые не случайно сохраняют более локальный характер, учитывающий разнообразие культур[165]. От любой серьезной научной политики требуется учитывать эти различия в практиках разных дисциплин и специальностей во избежание негативных и даже катастрофических последствий.

Использование неадекватных индикаторов только вредит серьезной оценке, необходимой для отлаженной работы любой организации. Критический анализ плохо продуманных показателей и рейтингов, для составления которых они используются, напоминает нам, что дьявол всегда в деталях и что благими намерениями вымощена дорога в ад. Поэтому нам не следует принимать на веру общие места, без конца воспроизводимые теми, кто твердит о неотвратимости рейтингов, не уточняя при этом, почему должно быть именно так. Нужно вскрывать эти «черные ящики», скрупулезно анализируя свойства и значение каждого показателя, используемого для обоснования той или иной оценки. Только рациональной и высокотехничной работой можно гарантировать, что принятые решения будут основаны на надежных данных. Ведь прежде чем утверждать, что некоторая лаборатория или университет входят «в число лучших в мире», нужно еще выяснить, что в точности означает «лучший» и как произведено измерение. Без предварительной работы по конструированию самого измерительного инструмента капитаны кораблей, ориентирующиеся по сломанным компасам и вышедшим из строя барометрам, рискуют потерпеть крушение при первом же препятствии или буре…

C середины 1990-х годов аналитики и акторы «научного поля» неоднократно высказывались о различных аспектах происходящей сегодня глубокой трансформации структурных условий научной практики: массификация науки, растущие требования к количеству публикаций, относительное снижение государственного финансирования исследований и проникновение в научную систему идеологии «менеджмента знаний» (knowledge management) с ее упором на оценку, основанную на количественном измерении продуктивности и «импакта» академических исследований[166]. К концу XX века техническая инфраструктура журнальных публикаций также начала радикально меняться вследствие появления интернета и электронных публикаций. Благодаря этим новым коммуникационным технологиям стало возможно упразднить материальный носитель научной статьи журнала и напрямую выпускать цифровые издания, которые могут гораздо быстрее и шире распространяться в сети. Это, в свою очередь, привело к изменению динамики научной работы. В итоге растущая концентрация научных журналов в руках ограниченного числа гигантских издательских фирм, подчиняющихся все более высоким требованиям к прибыльности на фондовой бирже, в середине 1990-х годов породила так называемый «кризис академических публикаций», выразившийся в растущей цене на журнальные подписки для академических библиотек[167]. Ответом на этот кризис стало появление движения за «свободный доступ» (open access)[168]. Сочетание интернет-технологий с доходностью академических журналов, которые теперь смогли выходить исключительно на цифровом носителе, привело к появлению все большего числа специализированных изданий, зачастую сомнительного качества. Эти журналы стремятся захватить часть генерируемых таким образом прибылей, отвечая на «предложение» растущего числа статей от исследователей, подчиняющихся требованию «публикуйся, или погибнешь» («publish or perish») со стороны своих институций. В конечном счете свободное распространение статей через интернет сделало научные результаты более доступными для новой аудитории неспециалистов, которая, в свою очередь, может теперь влиять на выбор исследовательских тематик и приоритетов.

Каждый из этих трех важнейших процессов (интернет-революция, экономическая трансформация производства научных журналов и изменения в способах оценки ученых) породил свои специфические эффекты. Наш тезис состоит в том, что именно их совокупное воздействие вызвало в своем роде «Идеальный шторм», приведший к радикальным изменениям в научном поле, следствием которых стал рост девиантного поведения среди ученых, журнальных издателей, а также менеджеров академических институций. Здесь будет уместно вспомнить о расплодившихся «хищнических журналах», поддельном рецензировании, манипулировании ссылками в целях увеличения импакт-факторов журналов и улучшения позиций в академических рейтингах, а также о росте числа «поправок» (erratum) и «отзывов» уже опубликованных научных статей[169].

В этой главе мы предлагаем глобальный макроструктурный анализ, призванный продемонстрировать, каким образом эти взаимосвязанные трансформации стали причиной превращения научной статьи из единицы знания в отчетную единицу, используемую для оценки исследователей и их организаций (кафедр, лабораторий и университетов). Теперь структура научного поля представляет собой результат сложных интеракций между разными каузальными цепочками, которые в совокупности привели к изменению социальных функций научной публикации, вписавшейся в идущие рука об руку идеологии «нового менеджмента знаний» (New Knowledge Management) и «общества аудита» (Audit Society)[170]. Чтобы лучше понять природу этих недавних трансформаций, мы должны сначала обрисовать фундаментальную социальную динамику научных исследований за более чем трехвековую историю. Мы ограничимся здесь научными исследованиями и публикациями, исключив исследования, нацеленные на получение прибыли или патентов, поскольку динамика последних хотя и, разумеется, все теснее связана с динамикой научного поля вследствие снижения государственных субсидий на «фундаментальную» науку, тем не менее подчиняется другой логике, а именно логике прибыли. Напротив, финальным продуктом деятельности ученых в научном поле является статья, которая должна содержать новые знания, откуда и термин «единица знания».

Классическая социология науки, разработанная Робертом Мёртоном и его школой, наглядно показала, что в основе динамики научных исследований лежит символическое признание (или кредит доверия)[171]. Ученый через публикацию сообщает научному сообществу об «открытии» (новом факте, инструменте, интерпретации теории) и взамен получает символическое признание своего оригинального вклада. Благодаря такому общественному признанию у него улучшаются шансы доступа к материальным и экономическим ресурсам, а также институциональным позициям для дальнейшего проведения исследований. Эта простая, но наглядная модель была затем развита Пьером Бурдье, который более явным образом учитывал связи и взаимные трансформации между признанием, отныне рассматриваемым как форма символического капитала, и другими видами капиталов (экономическим, культурным, социальным), циркулирующими в научном поле[172].

На схеме 1 показано, как работают эти циклы создания авторитета (credibility), если воспользоваться выражением Латура и Вулгара[173]. Для большей наглядности мы исключили из этого цикла случаи отказа в публикации статьи. На самом деле модель предсказывает, что если отказов слишком много (а значит, у него недостаточно признания со стороны сообщества), то ученый бросает исследования и ищет другого вида признания, зачастую в другом социальном поле. Этот цикл основан на фундаментальной, но неявной идее: научная публикация — это воплощение того, что можно назвать «единицей знания», то есть любой оригинальный вклад, воспринимаемый как легитимный членами определенного научного поля. Как правило, «единица знания» становится таковой лишь после рецензирования коллегами и публикации в том или ином журнале, поскольку ее ценность и легитимность не внутренне присущи предложенной к публикации статье, а являются порождением социального признания. В зависимости от ценности (широкой или узкой) этой единицы знания, которая в некоторых полях может сводиться к нескольким строчкам компьютерного кода, автор в большей или меньшей степени наращивает свой символический капитал, в частности за счет цитирования другими авторами. Таким образом, цитирование в научном поле работает как механизм наделения символическим признанием. Накопление же символического капитала, в свою очередь, облегчает доступ к новым ресурсам для исследований (грантам, научным ассистентам, стипендиям для постдоков и т. п.) и благоприятным институциональным позициям. Улучшение доступных ресурсов наделяет более качественными инструментами и повышает шансы произвести более качественные публикации и более крупные «единицы знания».

Схема 1. Классический цикл производства знания, оценивания и накопления авторитета

Очевидно, что в этой системе ключевым звеном является процедура рецензирования (peer-review), поскольку именно на этом этапе решается, будет ли существовать статья как социально признанная единица знания, циркулирующая в научном поле. Со времени институционализации в середине XVII века процедура рецензирования, разумеется, менялась в деталях (будучи анонимной или нет, внешней или осуществляемой силами самой редакции), но сохранила за собой базовую функцию поддержания барьеров (gate-keeping) на входе в научное поле[174]. Можно было бы ожидать, что растущее давление на научную систему с середины 1970-х годов приведет к усилению критики в адрес рецензирования[175]. К концу 1980-х механизм рецензирования даже стал предметом систематического и долговременного анализа, особенно в биомедицинских науках, в рамках ежегодного Конгресса по рецензированию (Congress of Peer Review)[176]. Однако несмотря на всю критику в адрес рецензирования, оно остается ведущим звеном базового цикла накопления научного кредита доверия. И по мере того, как научная статья превращается в простую отчетную единицу, используемую для оценивания исследователей и исследовательских институций, мы наблюдаем появление и распространение различных более-менее девиантных практик. В ответ на ужесточающиеся требования в отношении публикаций ученые пытаются манипулировать библиометрическими показателями или даже самим процессом рецензирования.

Библиометрия развивалась как особая исследовательская область в 1960–1970-е годы для изучения агрегированных характеристик публикаций и цитирования, предназначавшихся к использованию библиотекарями, историками и социологами науки. Но уже с 1990-х годов ее методы все чаще используются для упрощения процесса оценки исследователей[177]. Это новое явление идет в ногу с идеологией «бенчмаркинга» (benchmarking) и «менеджмента знаний», которая в 1980-х вторглась в публичный сектор, а в 1990-е добралась и до университетов[178]. Уже с середины 1970-х годов использование такого «качественного» метода, как рецензирование, при принятии решений о карьерном продвижении или приеме на работу стало все чаще критиковаться за «субъективность». Для измерения «продуктивности» ученых было предложено доверять количественным показателям, основанным на подсчете статей[179]. С тех пор на основе библиометрических методов были разработаны базовые метрики «импакта», который поборники «бенчмаркинга», «турнирных таблиц» и всяких «рейтингов» отныне мобилизуют для оценки как исследователей и журналов, так и университетов[180].

Традиционный цикл накопления авторитета не мог бы измениться вследствие одного только перехода к цифровым версиям журналов и статей, поскольку последний просто сделал статьи доступными через интернет для тех, кто принадлежит к институциям, подписанным на данные журналы. Тем не менее императив публикации «отчетных единиц» в целях оценки привел к серии значительных трансформаций (подытоженных на схеме 2), выведших на авансцену новых акторов и новые способы измерения. Первое важное изменение, малозаметное для самих ученых, — это само содержание библиометрических баз данных. Если в старейшем из них, Индексе научного цитирования (ныне переименованном в Web of Science), поначалу кодировалась только информация о первом авторе статьи (поскольку этого было достаточно, чтобы отыскать ее в информационной системе), то теперь библиометрические базы данных включают полный список авторов статей, ибо эти данные отныне используются для оценки, а не только для библиографического поиска. С 1980-х по 2000-е годы единственной прямой мерой «импакта» научных статей являлось число ссылок в других статьях, зарегистрированных в базе ИНЦ, которая обладала полной монополией, вплоть до создания в 2004 году издательской группой «Эльзевир» базы Scopus.

Второе следствие введения новой системы оценивания, очевидное для любого активно публикующегося исследователя, состоит в том, что у компаний появилась возможность создавать новые журналы, готовые принять к публикации все большее число статей. Последовал публикационный бум, вызванный ростом научной системы и обострившейся конкуренцией за редкие ресурсы. Разумеется, создание новых журналов всегда сопровождало рост и диверсификацию исследовательских специальностей еще со времен появления первых журналов в 1660-е годы[181]. Новизна же состоит в объединенном эффекте появления интернет-публикаций и журналов «открытого доступа», затраты на производство которых компенсируются уже не за счет библиотек-подписчиков, а за счет публикующихся у них авторов. В этом суть феномена «хищнических» журналов, как их стало принято сегодня называть. Не имея необходимости серьезно вкладываться в инфраструктуру (как это было прежде с печатными журналами), эти издания смогли предложить возможность быстрой публикации для ученых, которым нелегко найти место для публикации своих научных результатов[182]. Что касается журналов с устоявшейся репутацией, таких как Nature, они смогли максимизировать свою стоимость благодаря созданию дочерних журналов, используя свой основной бренд для привлечения внимания. Так, после более чем вековой истории мультидисциплинарного журнала Nature владеющая им компания поняла, что может извлечь еще большую прибыль из этого бренда за счет выпуска целого ряда ассоциированных с ним изданий. Начиная с 2000-х годов она создала более тридцати таких журналов: Nature Physics, Nature Chemistry и т. п., делая ставку на авторитет журнала-родоначальника для привлечения «лучших публикаций» от авторов, стремящихся к максимально широкому распространению своих научных результатов. Журнал Американской научной ассоциации (American Association of Science) Science также последовал этой стратегии, создав серию дочерних журналов, таких как Science Robotics или Science Immunology.

Подобно тому как число «ссылок» стало «объективной» мерой качества статей, число которых слишком увеличилось для того, чтобы их внимательно читали члены оценочных комиссий, импакт-фактор журналов стал мерой ценности самих журналов — слишком многочисленных для того, чтобы их знали ученые и их оценщики. Этот показатель был впервые опубликован в 1975 году для измерения заметности журналов в научном поле и предназначался библиотекарям в качестве инструмента для управления журнальными фондами. И неудивительно, что он стал предметом острой полемики в научном поле с середины 1990-х годов, когда его стали использовать механически для оценки уже не журналов, а исследователей. Ведь главный недостаток использования «ссылок» на публикации как количественного показателя их «качества» состоит в том, что они накапливаются постепенно, тогда как «оценка» нужна «своевременно». Но прежде чем процитировать статью, нужно сначала, чтобы ее прочитали (или по крайней мере увидели ссылку на нее), потом написали новую статью с ее упоминанием, которая затем должна пройти рецензирование и уже после этого, наконец, выйти в свет. Это означает, что ссылки на статьи, как правило, начинают появляться лишь по истечении нескольких лет. Через 5–7 лет (в зависимости от научной области) достигается пик цитирования, а затем наблюдается спад упоминаний, по мере того как знание становится общепринятым — то, что Мертон называет «забвением вследствие поглощения»[183]. Столкнувшись с этим проблематично долгим сроком, оценщики склонялись к тому, чтобы вместо цитирований использовать более быстродоступный импакт-фактор журналов. И хотя он характеризует журнал, а не статью, импакт-фактор может рассматриваться как «косвенный» показатель «качества» и «импакта», который устраняет потребность выжидать пару лет, прежде чем выяснить, имела ли та или иная статья научное влияние в данном поле. Став мерой «качества», импакт-фактор начал использоваться компаниями для продвижения своих журналов и привлечения новых авторов. Это на первый взгляд незначительное изменение сделало место журналов в системе оценивания еще более центральным, поскольку предметом измерения и оценки стало место публикации, а не содержание статьи или ее заметность (определяемая количеством полученных ссылок).

Так, власти и исследовательские институты некоторых стран (Пакистана, Китая, Южной Кореи и Японии) даже ввели премии на основе цифрового значения импакт-фактора того или иного журнала, несмотря на то что эти значения в различных дисциплинах несопоставимы между собой[184]. В результате давление на ученых еще более усилилось и некоторые из них дошли до того, что ради публикации своих статей стали манипулировать журнальной системой рецензирования. Когда махинации вскрывались, издателям журналов приходилось отзывать публикацию статей, прошедшие лжерецензирование, то есть отрецензированные самими их авторами[185]. Таким образом, эти новые метрики могут напрямую влиять на доступ к необходимым для проведения исследований ресурсам (схема 2).

Схема 2. Изменения в классическом цикле оценки (см. схему 1) вследствие превращения научной статьи в простую «единицу отчета» исследовательской деятельности, породившего целый ряд посредников и новых оценочных метрик

Ученые и специалисты по библиометрии неоднократно критиковали процедуры оценки, основанные на импактфакторе журналов. После десяти с лишним лет острой критики многие журналы, включая Nature и другие «элитные» издания, стали понемногу дистанцироваться от этого индикатора, который они долгое время использовали для своего брендирования, не желая более иметь ничего общего с примитивными методами оценки, грозящими запятнать их репутацию[186]. Поскольку считается, что журналы публикуют единицы знаний, они противятся превращению в простой измерительный инструмент. Похожая ситуация сложилась и с академическим книгоизданием в 1990-е годы. Когда в университетские издательства хлынул поток книг, необходимых их авторам для занятия профессорских должностей, они призвали университеты перестать увязывать карьерное продвижение с наличием такого рода публикаций[187].

В связи с тем, что количественные показатели продуктивности и импакта отныне заняли центральное место, был создан новый рынок для компаний, предлагающих свои услуги по «оценке» исследователей, лабораторий и университетов[188]. Поскольку статьи и журналы превратились в «единицы отчета», владеющие журналами компании получили возможность позиционировать себя на рынке как производителей новых оценочных индикаторов, основывающихся на их собственной подборке журналов. Параллельно они подталкивали институции к тому, чтобы те призывали своих исследователей публиковаться в их самопровозглашенных «высококачественных» журналах. Лучший пример такой стратегии — это созданный в 2014 году Nature Index, который котирует страны и институции на основе публикаций, издающихся всего лишь в 68 журналах, определяемых как «высококачественные научные журналы». При этом среди них 17 (25 %) относятся к группе Nature (принадлежавшей издательству «Мак-Миллан», недавно создавшему совместное предприятие со «Шпрингером»), которая является одним из крупнейших издателей научных журналов. Говорится, что этот новый рейтинг позволяет «составить картину высококачественных исследований на основе публикуемых статей» и «предоставляет институциям простой способ выявлять и выдвигать на первый план свои лучшие научные исследования».

Распространение интернета не только радикально изменило способ обращения научных статей, но и повлияло на то, какого рода метрики стали продвигаться для измерения «импакта» исследований (которому редко дается четкое определение). В интернете можно получить доступ к статье и быстро просмотреть ее фрагмент на экране, а можно скачать копию целой статьи. Эти действия оставляют следы и тем самым создают новые данные об «использовании» научных статей. В этой ситуации получила распространение так называемая «альтметрика», которую представляют как альтернативу анализу цитирования, хотя в действительности при ее помощи измеряют нечто другое[189]. Если цитирование — это часть внутринаучного процесса, измерение практик использования публикаций в интернете охватывает более широкий спектр пользователей с неизвестным профилем, являющихся частью более широкого социального пространства: ведь по «кликам» мы не можем определить, исходят ли они от обычного гражданина или от публикующегося исследователя. Расширяя арсенал библиометрии, метрики заметности публикаций в интернете по-своему способствуют измерительной лихорадке вокруг «импакта» академических исследований, хотя при этом по-прежнему остается неуловимой суть этого самого «импакта». Сторонники новых веб-метрик часто повторяют, что получение ссылок на статью занимает годы, тогда как «просмотры» и «скачивания» доступны в реальном времени, день за днем и даже час за часом. Добавляя блоги и твиты к арсеналу библиометрии, мы, конечно, получаем инструмент для отслеживания того, как научные результаты распространяются внутри разных сообществ, но это мало что говорит о качестве и даже о научности публикуемых результатов. Более того, эти новые виды метрик имеют совершенно иную темпоральность и охватывают другие типы аудиторий. Так, если временным горизонтом для культуры цитирования, характерной для научного поля, являются годы, то блоги и твиты оперируют в более широком социальном пространстве, появляясь, видоизменяясь и исчезая за считанные дни (блоги) или часы (твиты). Можно было бы ожидать от ученых более критического отношения к институциям, пытающимся использовать столь примитивные и неточные библиометрические методы для оценки «импакта» их исследований, будь то социальный, экономический, культурный или какой-либо иной. Однако под прессом необходимости постоянно доказывать полезность научных исследований лаборатории и университеты склонны пасовать, подчиняясь циничному использованию подобной библиометрии, если она отвечает их целям — подобно тому, как это происходит с так называемым «мировым рейтингом университетов», несмотря на его очевидные пороки[190].

Несмотря на то что научное поле на протяжении своей более чем трехвековой истории не прекращало стремительно расти, его базовая структура все это время оставалась относительно стабильной[191]. В последние же двадцать лет она подверглась целому ряду радикальных изменений. На данный момент крайне сложно оценить их долгосрочные последствия. Мы все еще не вышли из переходного периода, характеризующегося экспериментами с различными способами распространения научных результатов: публикация препринтов в «открытом доступе» в онлайн-архиве, практики открытого (неанонимного) рецензирования, комментарии к статье после ее опубликования, рецензирование по «ускоренной процедуре» и многое другое. Но как можно видеть на примере репозитория ArXiv, созданного в начале 1990-х годов для хранения электронных публикаций по физике, не все дисциплины могут следовать одной и той же модели. Фальсификация медицинских открытий, не прошедших процедуры рецензирования, будет иметь гораздо более опасные последствия для общества, чем, например, неожиданное заявление физиков о том, что они наблюдали случай, когда нейтрино двигался быстрее скорости света[192]. Осенью 2011 года эта впечатляющая, хоть и ошибочная новость несколько дней будоражила социальные сети и блогосферу, однако этот промах не мог иметь существенных последствий для жизни общества.

Ясно одно: настоятельное требование скорейших результатов — и более быстрой их оценки — не может не вызвать ответной реакции со стороны ученых. Так, возникло движение за «медленную науку»[193], манифест которого гласит, что «уже не одно столетие единственно возможной наукой была медленная наука». Сторонники движения подчеркивают, что «общество должно дать ученым необходимое им время, а главное, сами ученые должны свободно распоряжаться своим временем для размышлений, ‹…›, чтобы переваривать информацию ‹…›, чтобы преодолевать взаимное непонимание, особенно в деле восстановления потерянного диалога между гуманитарными и естественными науками». И только время покажет, смогут ли ученые, все лучше осознавая механизмы, приведшие к пагубным для их исследований изменениям, добиться того, чтобы методы оценки, превратившие их научный продукт в простую «единицу отчета», были заменены иными методами, более адекватными самой природе науки. Ведь наука, как это подчеркивается в манифесте, «развивается неравномерно, резкими скачками и непредсказуемыми прорывами, и в то же самое время она ползет по очень медленной временной шкале, что тоже имеет право на существование и чему следует отдавать должное».

Самым заметным изменением в устройстве мировой науки, по времени примерно совпавшим с разрушением советского блока, стало всеобщее и окончательное утверждение английского языка в качестве глобальной lingua franca научной коммуникации. Эта перемена отчасти отражает сдвиги в мировой политике и экономике, отчасти — собственную долговременную динамику производства науки и издания научных журналов. Исследованию тех напряжений, которые порождает тренд языковой унификации для крупных национальных научных систем — на примере России, а также размышлению о некоторых особенностях этого кейса и посвящено настоящее эссе.

Последние тридцать лет ознаменовались тем, что как отдельные академические институции, так и правительства стран стали ощущать нарастающий императив интернационализации. Причем это давление испытывают на себе не только развивающиеся, но и развитые в экономическом и научном отношении страны (такие, как Германия или Франция, Япония или Италия). Россия не является здесь исключением, хотя присоединилась к этому тренду позже многих других стран. К настоящему времени сформировался более или менее стандартный набор инструментов научной политики, направленных на интернационализацию национальной академической системы (наем иностранных профессоров и научных сотрудников, международное сотрудничество, стимулирование притока иностранных студентов, увеличение международной заметности научной продукции и т. д.). Несмотря на это, значение самого термина «интернационализация» до сих пор остается довольно смутным. Чаще всего этот термин ассоциируется с идеями мобильности, многонационального сотрудничества, а также с первоклассным уровнем исследований (excellence).

Хотя международная мобильность и сотрудничество, конечно, не новы, ранее не виданным в нынешней ситуации стало то, что в экспертно-управленческом дискурсе качество или уровень научных исследований той или иной страны или университета почти полностью совпали с уровнем его «интернационализации», объективированным в распределении мест в международных рейтингах. Ставкой в борьбе за ранг или место в рейтинге (к примеру, в Топ-100, волей правительства ставшем целью для пяти российских вузов), помимо символического престижа, являются средства национальных и международных фондов поддержки научных исследований, наконец доля на глобальном рынке высшего образования, который сегодня исчисляется десятками миллиардов долларов.

Одним из побочных эффектов этой жесткой конкуренции стала гонка за публикациями в «международных» научных журналах, учитываемых при определении места институции или страны в рейтингах. Наряду с такими нежелательными явлениями, как оппортунистическое поведение ученых, картели взаимного цитирования и другие практики искусственного наращивания импакт-фактора, появление хищнических журналов, готовых за плату опубликовать любую статью и т. д., можно наблюдать настоящую публикационную инфляцию, выражающуюся в непрерывном количественном росте печатной (или электронной) научной продукции. Увеличение видимой части этого айсберга подогревается деятельностью производителей баз научного цитирования (прежде всего Web of Science и ее европейского аналога — Scopus[195]), продвигающих свои весьма дорогостоящие продукты во все новых странах и участвующих в дискурсе интернационализации и excellence. Эти компании также продают разного рода информационные и аналитические продукты, создаваемые на основе хранящихся на их серверах метаданных о научных публикациях. Последние становятся все более востребованными в условиях публичной политики, нацеленной на интернационализацию науки. Иначе говоря, международные базы научного цитирования являются не просто орудиями, но и важнейшими игроками (и стейкхолдерами) в глобализации научной продукции. Прежде всего, именно они являются теми «сторожами», которые в конечном счете определяют, какое издание является «международным», а значит, качественным, а какое нет, принимая решение о включении того или иного журнала в свои базы данных (или об исключении из них). Журнальные рейтинги как таковые можно рассматривать в качестве производной от существования индексов цитирования, рассчитываемых владельцами баз данных научных публикаций.

Хотя коллаборативные проекты и исследования отличного качества могут проводиться исследователями с мировой периферии и быть опубликованы на их национальных языках, минимальное определение «международной» публикации предполагает английский язык. Именно журналы, выходящие на английском языке, имеют наибольший «импакт»[196], измеряемый ссылками в других научных журналах на опубликованные в них статьи. Безвозвратно ушло то время, когда американское правительство инвестировало средства в перевод научных публикаций на русском и других языках, предполагая, что в них могут содержаться значимые научные результаты, неизвестные в англоязычном мире. Сегодня любой важный, прорывной для своей научной области результат появляется сначала на английском языке в престижном журнале. Иначе говоря, американские или британские журналы автоматически считаются международными, хотя, строго говоря, они могут быть довольно локально ориентированными[197]. Несмотря на это, исследования, опубликованные на других языках и в других странах, по умолчанию рассматриваются как провинциальные и не имеющие всеобщего значения.

Но если английский язык является минимальным определением «международной» публикации, является ли он достаточным фактором, позволяющим улучшить международную «заметность» и признание статей, публикуемых исследователями из неанглоязычных стран? Как было показано на примере общественных наук, объекты которых по определению в большой степени привязаны к определенному месту и времени, а значит, менее интернациональны по своей природе, чем естественные науки, рост числа англоязычных публикаций исследователей из периферийных стран не сопровождается сходным увеличением их «импакта»[198]. Но увидим ли мы схожую ситуацию в естественных науках, объекты которых в меньшей степени связаны с местом производства этих исследований и в этом смысле являются универсальными или глобальными? Иными словами, является ли международный рынок научных публикаций нейтральным местом, нечувствительным к языковым и национальным различиям?

У лингвистической унификации есть немало пламенных сторонников, как и критиков (хотя последних, кажется, со временем все меньше). Однако целью этого эссе не является сопоставление аргументов «за» и «против» или нахождение ответов на вызовы, которые ставит глобализация научной коммуникации. Я постараюсь показать, во-первых, некоторые тренды в развитии международного рынка научной периодики и в политике баз данных научного цитирования и, во-вторых, эффекты этих изменений в том, что касается международной заметности или влияния российской науки. Какое место занимает Россия в новой глобальной игре научного превосходства? Каковы структурные и политические причины ее нынешнего маргинального положения? Наконец, какие стратегии являются наиболее успешными с точки зрения улучшения международной заметности российской науки?

К началу девяностых годов для большинства стран в целом завершился «переход» от национальной к транснациональной научной модели, в которой используется единый язык научного общения (английский) и доминируют американские и британские коммерческие научные издательства. Одним из основных индикаторов этого перехода является ослабление связи между авторами, издателями и национальным языком в публикации научных результатов той или иной страны[199]. «Национальная» модель в чистом виде, соответственно, характеризовалась бы совпадением всех трех: ученые и профессора, работающие в стране X, публикуют статьи и книги на своем родном языке в научных издательствах, функционирующих в той же самой стране. Транснационализация научной системы, напротив, предполагает географическую диверсификацию авторов и издательств при переходе всей научной коммуникации на английский язык.

В наибольшей степени к идеальному типу транснациональной научной системы приблизился случай Нидерландов, почти полностью отказавшихся от голландского языка как языка научного общения еще в начале 1980-х. Ранняя транснациональная политика голландских научных издателей имела очевидные выигрыши, обеспечив этой стране третье место на рынке международных научных издательств после США и Великобритании (именно в Голландии расположены головные офисы крупных издательских компаний Elsevier, IOS, Brill и др.). К транснациональной модели также приближаются скандинавские и небольшие по размеру европейские страны, и в наибольшей степени среди постсоветских — прибалтийские страны (в особенности Литва).

Советский Союз до самого конца оставался в стороне от этих общих трендов лингвистической унификации и снятия границ. В период после Второй мировой войны советские научные публикации выходили почти исключительно на русском языке (и частично на языках советских республик). Публикации советских ученых в зарубежных журналах были редки, а первый полностью англоязычный журнал (Biomedical science) стал издаваться только в самом конце советского периода. Не последним следствием этой осознанной языковой политики было то, что в 1970-е и 1980-е годы русский язык стабильно оставался вторым по распространенности языком научной коммуникации в мире[200]. Юджин Гарфилд, легендарный создатель первой и самой известной в мире базы научного цитирования Web of Science, задавался на момент окончания советской эпохи вопросом: «Откроет ли перестройка двери советской науки английскому языку?»[201]

Двадцать пять лет спустя Россия остается почти идеал-типическим примером страны с сильной национально ориентированной издательской традицией, частично унаследованной от Советского Союза, частично созданной уже в постсоветский период. Как и в советское время, подавляющее число научных публикаций продолжают выходить на русском языке в российских журналах, большинство из которых не существуют вне собственных национальных и языковых границ. Международных (по составу редакции и авторов) журналов, издаваемых в России, все еще очень мало, но еще меньше журналов, создающихся (edited) в России, но издаваемых (published) в коммерческих научных издательствах за пределами страны.

Поток англоязычных публикаций из России все еще ничтожен относительно размеров научно-академической системы и, как мы увидим дальше, имеет довольно специфическую структуру, которая является результатом отчасти особенностей российской научной модели и отчасти политики баз данных научного цитирования, по которым принято определять международную заметность научных результатов той или иной страны.

На сегодняшний день среди российских[202] публикаций в Web of Science очевидно преобладают статьи на английском языке. В начале семидесятых годов ситуация была обратной, но постепенно доля русскоязычных публикаций сокращалась. К началу девяностых в Web of Science индексировалось уже равное число русскоязычных и англоязычных статей российских авторов — пятьдесят на пятьдесят. А в последние годы число публикаций на русском языке стало ничтожно малым (ожидаемым образом они в основном представлены гуманитарными областями, филологией и историей)[203].

Инверсия лингвистического тренда в начале девяностых была связана вовсе не с тем, что постсоветские ученые внезапно перестали писать статьи на русском языке. Она является скорее артефактом самой базы данных: с конца восьмидесятых русскоязычные журналы стали активно из нее изыматься. Для сравнения, также в базе сокращалось присутствие немецкого и французского языков, хотя и не столь быстрыми темпами. Доля статей на этих языках в общем объеме научной продукции франко- и немецкоговорящих стран в девяностые годы оставалась примерно на уровне одной пятой. Стоит отметить, что при этом в тот же период заметно увеличивалось присутствие научных журналов из быстроразвивающихся («эмерджентных») стран, таких как Бразилия и Китай, но также Турция и Иран, в том числе выходящих на их национальных языках. Такая переориентация журнальной базы данных очевидно отражает важнейшие геополитические сдвиги последних десятилетий, корреспондирующие с (временным?) упадком науки в странах социалистического блока и ростом влияния развивающихся стран, а также заинтересованностью производителей базы данных в клиентах из этих стран с целью расширения собственного влияния.

Ил. 1. Языковой тренд советских и российских публикаций в Web of Science, 1973–2015 гг.

Между тем параллельно с изъятием русскоязычных журналов из Web of Science в базу данных добавлялись переводные англоязычные версии тех же самых журналов. Наличие категории переводных журналов, которые после 2006 года преобладают среди российских англоязычных публикаций, является, возможно, наиболее оригинальной чертой кейса нашей страны.

Наличие переводных версий журналов отражает специфическую стратегию интернационализации, связанную с недавним прошлым нашей страны. Переводные журналы представляли собой полные копии ведущих советских журналов или сборники избранных статей по предмету (типичный пример — Russian studies in philosophy). И их существование было связано с контекстом холодной войны. Обширная программа по переводу советской научной периодики была запущена в 1956 году по инициативе американского правительства под впечатлением от запуска первого спутника. В будущем ни одно значимое достижение советской науки не должно было пройти незамеченным для американских ученых[204]. Начиная с этого времени десятки переводных версий советских журналов стали заполнять библиотеки западных университетов. По замечанию самого Гарфилда, одним из важных последствий этой политики было то, что советские руководители не испытывали потребности переходить на английский язык в тот момент, когда все остальные ведущие западные страны занялись сознательной интернационализацией своих академий. Ирония состоит в том, что на деле задачу международного продвижения советской науки частично взяло на себя американское правительство.

Уже в 1972 году Юджин Гарфилд критиковал эту политику как «неверное решение» для «ложной проблемы», аргументируя свою позицию тем, что эта «затратная» и даже «расточительная» практика не окупала себя с точки зрения реального использования этих журналов[205]. В действительности их почти никто не читал. Более того, включение этих журналов в Web of Science создавало технические проблемы, связанные с дублированием публикаций, подсчетом ссылок и проч. Именно поэтому в то время Гарфилд отдал предпочтение при включении в базу русскоязычным оригиналам советских журналов. Любопытно, что двумя десятилетиями позже он же настаивал на противоположном решении, состоявшем в интегральном переводе всех советских научных изданий на английский язык или хотя бы одновременной публикации их оригинальных и переводных версий[206]. Этот призыв и был фактически реализован в 1990-е годы, во всяком случае в том, что касается значительной части научной периодики, в русле более общего тренда языковой унификации.

По сегодняшний день большая часть переводных версий российских журналов издается издательством MAIK Nauka/Interperiodica, созданным после распада СССР Российской академией наук и американским издательским домом Pleiades. Более 200 наименований по естественным наукам распространяются такими международными издательскими гигантами, как Springer-Science, Elsevier, и некоторыми другими зарубежными и совместными компаниями. Как и в советские времена, некоторые из этих переводных периодических изданий содержат избранные статьи из журналов, главы книг или другие виды научных медиа. Таким образом, специфическая ситуация холодной войны имела более продолжительные эффекты в том, что касается предпочтительных стратегий интернационализации уже в постсоветский период. Примерно половина всех англоязычных, то есть «международных» статей российских авторов в Web of Science все еще представлена этими переводными журналами.

Ниже я рассмотрю, почему такая исторически сложившаяся структура является проигрышной в новой транснациональной системе научной коммуникации, задающей в глобальном масштабе стандарты и правила игры.

Краткий обзор контекста и динамики советских и российских научных публикаций в Web of Science проливает свет на пазл, состоящий в аномально низких показателях цитируемости советских и российских публикаций, при помощи которых обычно измеряется «импакт» или влияние научных исследований. Чем чаще цитируются статьи авторов из той или иной страны или институции, тем, как считается, выше их международное признание, значимость и, в конечном счете, качество их работ, и наоборот. Кейс советской и постсоветской науки в этом смысле являет собой очевидную аномалию или исключение из данного правила: среднее значение импакт-фактора для статей по всем областям науки, включая наиболее передовые (физика, математика, химия), остается на протяжении всего периода существования базы данных неизменно ниже уровня цитируемости научных статей всех развитых и даже развивающихся, догоняющих стран в Web of Science. Спонтанные реакции на эту ситуацию обычно относятся к одному из полюсов: «Наша наука неконкурентоспособна (всё совсем плохо)» либо «Нас, русских, за границей не любят (замалчивают наши успехи)». И то и другое в равной мере далеко от реальности. Стратегии распространения результатов научных исследований, и в частности стратегии интернационализации, играют в этом, как мы увидим ниже, определяющую роль.

Таблица 1. Структура советских и российских публикаций в Web of Science, 1973–2015 гг.

Заметность и престиж публикаций неизменно отражают место в транснациональной системе научной коммуникации, координаты которого (этого места) задаются не в последнюю очередь при помощи таких показателей, как язык и страна издания. Протестировать данный тезис применительно к кейсу российской науки оказывается возможным в силу существования различных комбинаций страны и языка публикаций российских ученых: (1) русскоязычные журналы, (2) англоязычные журналы, издаваемые в России, и (3) за ее пределами, (4) наконец полные («от корки до корки») переводы русскоязычных журналов на английский язык (см. табл. 1). Это делает возможным нечто вроде «естественного» библиометрического эксперимента, позволяющего определить влияние языка и страны издания на «импакт» российской печатной продукции разной научной специализации. Конечно, страна и язык не единственные факторы, влияющие на уровень признания издания, и, к примеру, американские журналы на английском языке различаются между собой по значению импакт-фактора довольно значительным образом. Тем не менее оценить самостоятельное влияние страны и языка издания оказывается возможным на агрегированном уровне: так, систематические различия между странами и языками находят отражение в рейтингах журналов по разным специальностям, где неизменно доминируют англоязычные американские и британские издания.

Ил. 2. Динамика числа российских статей по разным типам журналов, индексируемых в Web of Science, в 1993–2015 гг.

Ил. 3. Динамика «импакта» российских статей по разным типам журналов, индексируемых в Web of Science, в 1993–2015 гг.

На ил. 3 можно увидеть, как изменялось число российских статей по разным категориям журналов, индексируемых в Web of Science. За общим ростом числа статей на английском языке скрывается тот факт, что их значительная доля в действительности публикуется в переводных изданиях. Лишь в последние несколько лет — вероятно, как следствие новой научной политики, стимулирующей (в том числе финансово) публикацию статей в «международных рецензируемых журналах», — число российских статей в зарубежных изданиях впервые превысило число статей в переводных журналах.

Если посмотреть в динамике, как изменялись показатели цитируемости для советских и российских статей в Web of Science, очевидно, что наименьшим «влиянием» или «заметностью» в международной базе научного цитирования обладают статьи на русском языке (ил. 3). Причем не имеет значения, опубликованы ли они в советских/российских журналах или в других странах. Иначе говоря, мы здесь имеем дело с чистым эффектом языка публикации. Поэтому изъятие русскоязычных изданий из журнальной базы после распада СССР и их частичная замена англоязычными версиями хотя и ухудшили охват российской научной литературы в базе данных, но механически улучшили «импакт» отечественных публикаций.

Исторического минимума «импакт» достиг к концу советского периода, в то время как число индексируемых в Web of Science советских статей было на пике, что отчасти являлось артефактом самой базы данных. В сравнительных исследованиях для разных стран было многократно показано механическое уменьшение показателей цитируемости при росте числа индексируемых статей. Дело в том, что страны, имеющие более или менее обширный внутренний рынок научных изданий, недосчитываются своих «домашних» статей и ссылок в международном индексе цитирования, если применять строгие критерии отбора (включать в индекс цитирования журналы только с самым высоким импакт-фактором). Однако добавление большего числа национальных журналов еще сильнее ухудшает статистические показатели цитируемости для данной страны, потому что большинство статей цитируются очень мало или вовсе не получают ссылок. Этот эффект имеет серьезные последствия, например, для оценки места неанглоязычных стран, даже таких мировых научных лидеров, как Германия или Франция, в различных рейтингах. В силу того, что невозможно адекватно представить научную продукцию страны (общее число индексируемых статей) без одновременного ухудшения ее импакта, место крупных неанглоязычных стран в рейтингах, учитывающих как число, так и цитируемость публикаций, чисто механически оказывается заниженным[207].

Итак, среднее значение «импакта» российских статей постепенно росло на протяжении девяностых и двухтысячных годов и в конечном счете удвоилось в сравнении с максимальным значением этого показателя для советских статей в Web of Science. Если «импакт» русскоязычных публикаций со временем продолжал только уменьшаться, то значение данного показателя для обеих категорий издаваемых в России англоязычных журналов (публикуемых изначально на английском языке и переводных) понемногу рос, хотя и до сих пор остается намного ниже среднемирового взвешенного значения, равного 1. Здесь проявляется самостоятельный эффект страны издания научных публикаций на их заметность.

Этот факт очевидным образом сигнализирует о том, что исторически укоренившаяся практика интернационализации наиболее престижных российских институций, состоящая в переводе национальных научных журналов на английский язык, не является выигрышной в смысле существенного увеличения международной заметности исследований. Как оказалось, издание и распространение переводных версий ведущих научных журналов не служат повышению заметности, но, напротив, позволяют комфортно существовать в рамках национальной модели науки (не предпринимая усилий по переходу к транснациональной модели). Этот результат также ставит под сомнение глубоко укоренившееся мнение, согласно которому переход на английский язык как таковой улучшает «влиятельность» исследований из периферийных неанглоязычных стран. Иными словами, английский язык является необходимым, но недостаточным условием для достижения «мирового уровня» по показателю цитируемости публикаций и, соответственно, для улучшения места в международных рейтингах университетов и стран.

Хотя издаваемые в России англоязычные журналы с «международными амбициями» имеют определенный потенциал для улучшения своих позиций[208], как видно на ил. 3, только одна категория публикаций российских ученых демонстрирует уверенный рост импакта — статьи, поданные в зарубежные (в основном североамериканские и западноевропейские) англоязычные журналы. В последние десять лет российские статьи в данной категории журналов цитируются в среднем так же часто, как и любые другие статьи в Web of Science, то есть на среднемировом уровне.

Таким образом, на ученых из России не лежит проклятья или стигмы, а аномально низкий уровень цитируемости советских и российских статей (постепенно повышавшийся на протяжении последних двадцати пяти лет) связан с эффектами языка и страны издания. Не что иное, как специфическая структура российских «международных» публикаций (в которой сначала преобладали русскоязычные, а затем переводные журналы) в Web of Science, объясняет их аномально низкие показатели цитируемости.

Рассмотренные в этом разделе эффекты (языка и места), конечно, хорошо известны владельцам баз данных научного цитирования, равно как и создателям международных рейтингов университетов. С целью смягчить эти эффекты, отражающие изначальное неравенство в положении университетов по всему миру, до настоящего момента по рекомендации специалистов из Thomson Reuters при составлении сверхвлиятельного глобального рейтинга университетов Times Higher Education (THE) использовалась нормализация данных о цитировании по странам или регионам. Но начиная с этого года новые партнеры из компании Elsevier рекомендовали отказаться от этой практики[209]. Тем самым, несмотря на риторику «инклюзии» и стремления к справедливости, только усиливается тренд на сохранение статус-кво в глобальном распределении научного престижа, точным отражением которого и являются рейтинг THE и аналогичные ему рейтинги.

Дискурс научной интернационализации является глубоко нормативным. Принято считать, что помимо языкового барьера авторы из периферийных стран, публикующиеся в локальных журналах, закрыты для внешнего мира и т. д.; они малопродуктивны, и их исследования не находятся на «мировом уровне». Возможно, это в определенной степени соответствует действительности. Однако как показано выше, данный дискурс затушевывает структурные эффекты изначально неравного положения ученых из разных стран по отношению к международной иерархии престижа, неравные шансы быть замеченными и оказать влияние. Анализ географического распределения ссылок и цитирований позволяет выявить наличие устойчивых паттернов, отражающих особенности практик цитирования (referencing & citation behavior) у ученых из разных стран, занимающих различные позиции в мировой системе научной коммуникации, и тем самым более детально рассмотреть интернационализацию науки как сложный геополитический процесс.

Если исходить из гипотезы о разной степени включенности российских ученых в международное поле научной коммуникации, правомерно ожидать, что паттерны цитирования, наблюдаемые в их статьях, будут значительно варьировать в зависимости от языка и страны издания. Но если мы посмотрим подробнее на распределение ссылок по странам (таблица 2), то обнаружим в разных категориях журналов очень схожие распределения. Пожалуй, единственное заметное отличие русскоязычных и переводных журналов состоит в том, что в них содержится больше ссылок на российские и советские публикации, чем в оригинальных англоязычных журналах. Так, около 21 % всех ссылок в российских русскоязычных и переводных изданиях приходится на другие советские и русские публикации, но их доля падает до 13 % и до 10 % в зарубежных и российских англоязычных журналах. Хотя это не отражено в таблице, единственная группа стран, которая «теряет» ссылки, когда ученые из России публикуются за рубежом, это бывшие советские республики.

На удивление стабильной для всех категорий журналов является доля ссылок на американские статьи, колеблясь между 26 и 29 %, что примерно соответствует среднемировому уровню. Настолько же стабильными являются и распределения ссылок на статьи авторов из других стран. Данный результат является важным и до определенной степени контринтуитивным, идущим вразрез с нормативным мнением, согласно которому авторы из не англоговорящих стран, публикующиеся в «локальных» журналах, будут, как правило, хуже знакомы с актуальными исследованиями, ведущимися в других странах, и, соответственно, демонстрировать меньшую «международную открытость». На поверку различия в практиках цитирования оказываются незначительными. Как мы увидим дальше, различия между четырьмя категориями журналов намного более выражены в том, что касается международного «импакта» опубликованных в них статей (то есть числа ссылок, которые они получают «в ответ»).

Таблица 2. Распределение ссылок в российских статьях по типу издания и национальной принадлежности авторов процитированных публикаций, индексированных в Web of Science, 1993–2015 гг.

Если теперь посмотреть на географическое распределение авторов, цитирующих российские статьи (таблица 3), то можно ясно увидеть, что последние получают наибольшее число международных ссылок, если опубликованы в зарубежных англоязычных журналах, и минимальное — если в русскоязычных журналах. В последних почти две трети ссылок приходятся на других российских авторов научных статей. Интересно, что ученые из других стран ссылаются на российские англоязычные статьи почти с одинаковой частотой, будь они опубликованы в переводных изданиях или сразу на английском языке (и в обоих случаях намного реже, чем если бы они были опубликованы в англо-американских журналах). В этом проявляется самостоятельное влияние на международную заметность не только языка, но и страны издания.

Таблица 3. Распределение ссылок на российские публикации по типу издания и национальной принадлежности цитирующих авторов, индексированных в Web of Science, 1993–2015 гг.

Наконец, можно заметить существенные пересечения списков как наиболее часто цитируемых, так и наиболее часто цитирующих российские публикации, стран. Это совсем не случайно: ведь эти страны, среди которых США, Германия, Франция, Англия, Япония и Италия, одновременно являются основными научными партнерами России, с которыми публикуется и наибольшее число совместных статей. Эти коллаборации имеют решающее значение для международной заметности российских исследований: более половины статей российских авторов в зарубежных «международных» журналах являются результатом международного сотрудничества. Для сравнения, значение этого показателя опускается до 27 % в случае англоязычных статей, опубликованных в российских журналах, и до 9 % и 5 % для переводных и русскоязычных статей соответственно. Как было многократно показано на примере самых разных стран, международное соавторство остается для авторов с «мировой периферии» наиболее эффективной стратегией интернационализации, позволяющей резко расширить не только присутствие, но и «импакт» своих исследований[210]. Так, 76 % всех ссылок, полученных российскими авторами статей в Web of Science, были написаны в соавторстве с зарубежными партнерами[211]. Данные настоящего исследования подтверждают этот тренд: во всех категориях журналов, за исключением русскоязычных, международное соавторство увеличивает научный «импакт» статей. Значит, решающее значение имеет, как можно было бы предположить, не только или не столько факт международного сотрудничества (потенциально увеличивающий круг цитирующих), сколько язык и страна публикации, во многом определяющие престиж того или иного журнала.

Наиболее существенное отличие списка цитирующих российские публикации и цитируемых в них стран состоит в том, что в первом присутствуют авторы из бывших советских республик, для многих из которых Россия остается важным или даже важнейшим научным партнером. (Хотя постепенно происходит размывание российского влияния на постсоветскую науку: так, например, Азербайджан очевидно сегодня тяготеет к Турции как региональному центру науки, близкому ему по языку и религии, а прибалтийские страны интегрируются в североевропейский региональный кластер.) Так на разных (глобальном, региональном) уровнях воспроизводится «имперская» логика отношений метрополии и периферии. Очевидно, что ученые из развитых стран, занимающие центральное положение в научных сетях, обращают намного меньше (или даже вовсе не обращают) внимания на научные журналы, издаваемые в странах, являющихся для них «периферийными». Данный эффект проявляется особенно ярко в глобальном масштабе в том, что касается социальных и гуманитарных наук[212]. Такой по преимуществу односторонний поток цитирований самым наглядным образом иллюстрирует асимметричный характер глобализации научной коммуникации.

Пространство международной научной коммуникации, существующее в основном в форме рецензируемых периодических изданий, не является нейтральным по отношению к языку и к месту публикации. Иначе говоря, несмотря на кажущуюся однородность, к нему неприменима модель рыночного обмена или «разговора», в котором все потенциальные участники имеют примерно равные шансы участвовать и быть услышанными. На деле в доступе к нему и в шансах получить признание существует огромное неравенство. Международное пространство научной коммуникации можно сравнить с пирамидой, где обитатели верхних этажей не знают о существовании нижних, или с комнатой, перегороженной при помощи стекла, пропускающего свет лишь в одну сторону. Международные рейтинги журналов, в формировании и нормализации которых немаловажную роль играют производители баз данных научного цитирования (Thomson Reuters или Elsevier), отражают в первую очередь существующую социальную иерархию академических институций, в которой доминируют несколько сверхкрупных акторов. Все периферийные акторы, желающие принимать участие в этой системе, вынуждены принять язык и правила этой коммуникации, что, впрочем, совсем не гарантирует им успеха. В этом эссе я попыталась рассмотреть вопрос о том, какое место в этой системе занимают ученые и издатели из России, а также возможные стратегии их участия в новой международной гонке за научными публикациями и признанием.

Четверть века спустя после распада Советского Союза российские ученые продолжают публиковать результаты своих исследований в основном в русскоязычных изданиях, как правило имеющих очень низкий или нулевой импакт-фактор. В силу рассмотренных выше параметров глобальной экономики внимания, распространение переводных версий некоторых из этих журналов практически не улучшило международную заметность и «импакт» работ российских ученых. Немного чаще других категорий журналов, издаваемых в России, зарубежными коллегами цитируются англоязычные журналы, метящие в категорию «международных». В этом смысле производство оригинальных англоязычных журналов, пытающихся диверсифицировать национальный состав своих редколлегий и авторов, может в перспективе быть более успешной стратегией академической интернационализации для России, чем перевод «локальных» журналов. Но в первую очередь увеличение международной заметности и «импакта» российской науки начиная с 1993 года, безусловно, связано с увеличением доли статей, опубликованных по-английски в западных журналах и особенно в соавторстве с зарубежными партнерами.

Таким образом, аномально низкие показатели для российской науки в коммерческих индексах цитирования объясняются структурной спецификой научной коммуникации в России. Наиболее существенным отличием российского кейса от положения многих других неанглоязычных стран является то, что в России существует собственный достаточно обширный внутренний рынок авторов и читателей научной периодики на русском языке. Однако эта относительная автаркия может быть не только ее слабостью, но и силой. Так, привычка писать на родном языке среди образованного населения и, пусть искусственно законсервированный при советском режиме, статус русского языка как языка культуры и науки, как можно предположить, в определенной степени объясняют тот факт, что русский язык является на сегодняшний день вторым по распространенности языком интернета[213]. В этом смысле проблема языка в условиях общего перехода к транснациональной модели научной коммуникации отнюдь не является «ложной». Если согласиться с тем, что научная литература — это важнейшая часть национальной культуры и фактор развития национального языка как такового, то опция полного перехода на английский в качестве языка научной коммуникации для России не может всерьез рассматриваться.