Алиев Джомарт Фазылович
А.Ю.Щербаков
С.А.Бородулина
В последние полгода, в связи с известными обстоятельствами перевода гибридной войны против нас в активную фазу, и обусловленными этим санкциями, проблема отечественной наукометрии вошла в дискуссионное поле. В этом нет ничего удивительного: в последние годы она у нас целиком и полностью базировалась на международных (англосаксонских) метриках с доминированием триумвирата «Scopus/WoS/Hirsch». Наши гибридные противники с весны 2022 уже многократно выстрелили себе в самые разные части тела. Проявив явные признаки «культуры отмены», они фактически исключили отечественную науку из своих наукометрических баз и прекратили, тем самым, нашу от них зависимость. Поэтому, строго говоря, наша наукометрия не «вошла», а скорее «вернулась» в дискуссионное поле.
С момента нашего прошлого касательства этой темы пролетело пять месяцев - ровно половина ожидавшегося для новаций срока («Современная наукометрия: вызовы и возможности», Платформа РГСУ, 23.03.22). К сожалению, изменений в рамке семи предложенных весной шагов так мало или они настолько незаметны, что и мы вынуждены, в определённом смысле, «вернуться» в дискуссию. На этот раз - сугубо в практическом смысле.
Проблема количественного оценивания научных качеств всегда стояла на повестке дня, усугубившись с ростом тренда на научную глобализацию и развитием технологических возможностей обмена научными знаниями. Это задача не имеет сегодня универсального консенсусного решения и, скорее всего, не будет иметь его никогда. Она связана с фундаментальной сущностью наукометрии; а это, всё же, отражение «субъект-субъектных» отношений. В них нет универсальной линейки, да и быть не может. Продольная тень цилиндра - всегда прямоугольник; а осевая - всегда круг. Цилиндр при этом останется цилиндром, хотим мы этого или нет.
А количество публикаций, к примеру, в верхнем квартиле Scopus’а - это лишь количество акцептов научных публикаций, совершённых редакторами, мотивы поведения которых нам зачастую не известны и нами в точности не осознаются. Отталкиваясь от тех требований, которые в последние годы иногда предъявлялись некоторыми рецензентами западных журналов к некоторым нашим гуманитарным исследователям (вроде «поместите в статью критику режима Путина»), можно предположить, что мотивы эти могут иметь к оценке научных качеств исследований самое отдалённое отношение.
Убеждены, что никто из нас и не стремится к такой наукометрии, которая сводит нас в конкуренции с всемирно известными «британскими учёными». Их творческим продуктом является, например, важнейшее научное знание о том, что несмотря на существенный прогресс в глобальном распространении гендерных свобод в странах «золотого миллиарда», для рождения ребёнка по-прежнему нужен, как правило, тесный контакт между теми гендерами, которых в не до конца развитых странах продолжают называть «мужчина» и «женщина» (c). Думается, что изучение/измерение «британскими учёными» эмоций кораллов на Большом барьерном рифе (c) нас тоже вряд ли к чему-то простимулирует. А ведь они тоже публикуются в зелёных квартилях и Scopus’а, и WoS’а. Более того, они и правила такой библиометрии устанавливают…
И всё же «publish or perish». «Публикуйся или погибни». Благодаря автору этого афоризма, американскому генетику Кимблу Атвуду III, нам всем более-менее понятен вектор психологии исследователя, стремящегося к публикации своих работ. Он по сути своей не меняется уже почти 75 лет. Любая научная деятельность вообще исключительно репутационна. Под другим углом зрения - ещё и тщеславна; у большинства - в позитивной коннотации. А в постиндустриальную пору в панели мотивации стали доминировать деньги. Дополним эту смесь интересами созидания и идеалами чистого познания (if any) и психологический профиль вчерне готов.
Совсем другое дело - психология редакционного специалиста, согласовывающего публикацию или отказывающего в ней. Это, порою, просто адская смесь мотивов и коллизий, далеко не научных, в которой разобраться дано не каждому. Но вот какой вопрос тут возникает, прагматичный, даже на гране цинизма - а надо ли?
Давайте посмотрим от печки. Могут ли штабные офицеры оценивать качества полевых командиров? Конечно могут. Более того - должны! В этом одна из их важнейших основных ролей. Но!.. Свои штабные офицеры и своих полевых командиров. Ведь никому даже в голову не придёт давать оценку качеству и эффективности выполнения поставленной в СВО боевой задачи, к примеру n-ского подразделения Народной милиции ЛНР, отталкиваясь от позиции большого генерала Кристофера Каволи (новый командующий войсками США в Европе). Несмотря на всю его репутацию военного-интеллектуала - такая логика просто немыслима.
Тогда почему мы с упорством новообращённых бьёмся за позиции в чужих рейтингах и перцентилях? Это разве наш штаб? Почему нам вообще сколько-то важна позиция г-жи Кумзал Баязит и/или г-на Джерри Стеда (генеральные директора Эльзивера и Кларивейта), выраженная через аппараты и механизмы Scopus/WoS соответственно? Где тут логика? И где наши собственные оценки и суждения? Ведь мы не Свазиленд, нашей наукометрии не меньше лет, чем WoS, а её охват и качество до развала великой страны не вызывали никаких содержательных вопросов.
Дальше - больше. А науке вообще-то нужен штаб? Возможна ли вообще эффективная реквизитная модель управления научной деятельностью и исследованиями? Для ответа на этот вопрос достаточно просто сравнить 2 последних «спокойных» в науке года - 2008 и 2019. 2008-й был последним годом, когда мировая экономика «пёрла» (первые полгода); а 2019-й - был последним годом перед КОВИДом.
По общедоступным данным ОЭСР, приведённым к паритету и эквиваленту, цифры НИОКРов для России выросли с 30 млрд.$ до 48 млрд.$, или на 60%. Позитивщики говорят «во как!», намекая, что у японцев рост составил менее 17%, а у израильтян объём не достиг 20 млрд.$. Оппоненты тоже делятся надвое: одни говорят «даже у чехов рост составил 157%»; вторые отмечают, что «у американцев объём 720 млрд.$». О чём эти цифры? Да ни о чём!.. Если они все такие умные, то где их гиперзвук? вакцины? композиты? лазеры? нанотрубки, наконец… Куда же тут без штаба?
Ещё важнее государственная политика в области развития науки. Давайте посмотрим долю госрасходов на НИОКР к ВВП в 2019-м; у нас она составила 0,7%; а у них? Япония - 0,5%; Израиль - 0,5%; Китай - 0,5%; Чехия - 0,7%; США - 0,7%. Да, есть Германия с 0,9% и Корея с 1,1%, но у этих двух стран свои стратегии научного развития. В целом всё у нас с финансированием отнюдь неплохо. И здесь просто нельзя не вспомнить одну из легенд из жизни великого П.Л.Капицы: «за удар - 1 фунт; 999 - за знание куда ударить». В этом залоге, наличие качественной предиктивной штабной наукометрии начинает приобретать сверхзначение.
Однако так неплохо мы выглядим только если говорим про государства. А всё, что не государства, выглядит по-другому. Общие расходы на НИОКР к ВВП: Япония - 3,2%; Израиль - 5,1%; Китай - 2,2%; Чехия - 1,9%; США - 3,2%; Германия - 3,2%; Корея - 4,6%. Даже знаменитый мировой мем «британские учёные» - и то тянут на 1,7%. А мы - лишь 1,04%. А ведь то, что мы читаем в отчётах как НИОКР - это их GERD (gross expenditures on R&D) или как раз то, что мы в совокупности зовём нашей научной деятельностью (см.врезку).
[врезка: Исследования и экспериментальные разработки (НИОКР) включают в себя творческую работу, проводимую на систематической основе с целью увеличения объема человеческих знаний и разработки новых приложений на их основе. Термин НИОКР охватывает три вида деятельности: фундаментальные исследования, прикладные исследования и экспериментальные разработки.
Фундаментальные исследования - это экспериментальная или теоретическая работа, проводимая в первую очередь для получения новых знаний об основах явлений и наблюдаемых фактов без какого-либо конкретного применения или использования.
Прикладные исследования также являются оригинальным исследованием, проводимым с целью приобретения новых знаний. Однако он направлен в первую очередь на конкретную практическую цель или задачу.
Экспериментальные разработки - это систематическая работа, основанная на существующих знаниях, полученных в результате исследований и/или практического опыта, которые направлены на производство новых материалов, продуктов или устройств, на установку новых процессов, систем и услуг или на существенное улучшение уже произведенных или установленных.]
Применившись к разговору о научных штабах и реквизитном управлении, позволим себе вопрос: «так где наша НЕгосударственная наука»? Корпоративная, в первую очередь. Отнесясь к этим цифрах как к подсказке, нежели к базе для критики, предположим: если наша наукометрия будет больше понятна корпоратам, мы, очевидно, будем вправе рассчитывать на много бОльшее и в смысле финансирования, и в смысле отдачи, и в смысле успехов.
Таким образом, ответ на вопрос о научном штабе однозначен - безоговорочно «да». Похоже прав был сенатор Арнольд Тулохонов, требовавший вернуть стране ГКНТ. Сущностно разделяя идею возрождения ГКНТ, причём целиком и полностью, не можем не признать, что по своему характеру это, скорее, политическая тема. Ни разу не управленческая и, тем более, не научная. Соответственно - это не наша поляна и рассуждения на эту тему мы продолжать не станем.
Но возвращаясь к содержанию штабной наукометрии, мы обязаны отметить очень серьёзное и значимое влияние целеполагания на её существо. В первую очередь - вопроса «для чего?». От ответа на этот вопрос будут критически зависеть и ответы на младшие вопросы «что мерить?», «как конкретно?» и «кто арбитры?».
Для чего штабы (наши штабы!) проводят оценку полевого командира и вверенного ему подразделения? Для определения новых боевых задач, которые можно (нужно) ему поставить? Для решения о новых званиях и/или наградах для особо отличившихся бойцов и командиров? Для анализа и распространения передового опыта по подразделениям со схожими задачами? Для интендантского обслуживания? Для отдыха и пополнения? Для перегруппировки и укрупнения? И т.д., и т.п.
Так же и в наукометрии - а для чего нужны запрашиваемые метрики? Для выбора финансируемых коллективов? Для присуждения наград? Для расстановки акцентов на исследовательском поле? Вот только ответив на эти и подобные им вопросы, можно задаться амбицией ответа на вопросы группы «кто, что и как» должен мерить.
Тема администратора и учёного в науке, их ролей и взаимоотношений - это вечная загадка и постоянная «зона развития». И разгадать её просто и гениально, как это удалось братьям Стругацким в своём выдающемся «Понедельнике», в реальности не выйдет. С двуликостью в жизни никаких проблем; и может даже контрамоция где-то существует; вот только Янус Полуэктович Невструев определённо вымышленный персонаж. И рассчитывать на то, в какой-то точке пространства и времени учёный и администратор сольются в одно целое - это и вправду из области научной фантастики. Тогда как же нам быть и что же с этим делать?
В нашей стратегии высказаны определённые доводы в пользу вдумчивого анализа и практического применения лучших бизнес-практик для настройки менеджмента научно-образовательного пространства. Продолжая применять этот подход, мы попробуем сегодня предложить вариант относительно недорогой, но содержательной квалиметрической компоненты введением в нашу наукометрическую практику широко известных и хорошо себя показавших управленческих концептов «360» и «СРО».
Формула проекта «Сешат»: создание современной квалиметрической платформы наукометрического оценивания на принципах саморегулируемой организации с пилотом в Российском государственном социальном университете и с потенциалом масштабирования и тиражирования в российском научном сообществе.
Базовая гипотеза «Сешат»: лучше самих учёных и исследователей никто не оценит качественные характеристики научных работ; надо лишь создать для такого оценивания надлежащие условия и возможности.
Однако, на пути прикладного применения этой гипотезы имеется ряд сложностей, которые субъективны по своей природе, но проявляются объективно и повсеместно. Фундаментом этой группы сложностей является органически присущий научной среде феномен fraud&plunder. По русски это звучит жестковато: «мошенничество и ограбление». Мы ещё и поэтому прибегли к языку оригинала, стилистически отталкиваясь от одного из самых знаменитых произведений о науке одного из самых знаменитых американских писателей. Это «Мартин Эрроусмит» Синклера Льюиса. Пулитцеровская премия 1925г. для книги и Нобелевская премия 1930г. для автора. Возможно, это не самая уклюжая попытка избежать негативной коннотации в звучании определения. Хотя чего уж тут избегать - явление это социальное и присуще, к сожалению, не только американским учёным. Оно достаточно широко встречается в любой научной и исследовательской среде. Про то, как это у нас, лучше всех рассказала великолепная и парадоксальная Е.С.Вентцель (И.Грекова) в замечательной повести «Кафедра».
Раньше «фрод’эн’пландер» - это было стыдно; и в открытой форме он осуждался. Теперь, с тиражом васпизма на нашу ценностную панель, отношение к нему явно смягчилось и даже толерантный термин появился - «перехватить повестку». Тут же где-то рядом и формы нездоровой конкуренции обретаются, и «хождение по головам», и пресловутый «self-made»… Но по-человечески по-прежнему противно.
Этимология этого феномена совпадает, по сути, с подоплёкой родственных ему явлений плагиата и заимствования, но сам феномен F&P (FnP) намного жёстче, поскольку мотивирован деньгами, карьерными и имущественными выгодами. В этом смысле научные работы и исследовательские отчёты, отдельные содержащиеся в них идеи, а в некоторых случаях даже сами их тематики и/или названия становятся своего рода фрод-активами; при использовании же административного ресурса или других практик преимущества они меняют окраску и становятся пландер-активами.
Мы потому уделили этому феномену странное, на первый взгляд, внимание, что, будучи проявленным риском, он способен целиком разрушить замысел платформы «Сешат» и сделать ситуацию хуже, а не лучше. Но это если он не будет купирован! В качестве эффективной меры митигации мы видим простую анонимизацию участников платформы вкупе с рандомным механизмом выбора. Поясним, что имеется в виду.
Платформа «Сешат» регистрирует всех и любых пожелавших к ней присоединиться специалистов в качестве экспертов. Любой учёный с научной степенью сможет зарегистрироваться на платформе в индивидуальном порядке, а начинающий учёный - по представлению какого-либо корпоративного участника платформы (института, университета, издания, компании, проектного офиса и т.п.).
Естественно, регистрация экспертов будет проходить по научным профилям, по их уровням, по режимам доступа к информации, с правом множественных выборов предметных областей, на основе простых, понятных и публичных норм и правил. После первичной регистрации все эксперты платформы получат свои уникальные ID, не изменяемые в дальнейшем. На этом работа с мастер-данными как бы закрывается. Но, поскольку экспертный ранг (см.ниже) является на платформе динамической метрикой, то вернее сказать, что не закрывается, но инкапсулируется.
При каждом приглашении эксперта к участию в процедуре оценивания он, во-первых, выбирается из применимой активной панели случайным образом; а во-вторых - для отработки любого оценивания он получает каждый раз новый разовый ID2, который по завершении оценивания прекращается с возвратом и фиксацией в системе лишь бальных метрик: собственно оценка (-и) и калькулируемая динамика ранга.
Помимо общего механизма анонимизации экспертов, в системе также будет применяться редакционный инструмент анонимизации - в оцениваемых материалах будет отсутствовать информация об авторах и представляемых ими организациях. Этот инструмент, очевидно, не даст полного избегания субъективности в оценивании, но вкупе с анонимностью экспертов и случайностью их выбора, он рассматривается нами как обязательный третий компонент объективизации оценивания.
Безусловно, в ходе практической работы по созданию, документированию и развёртыванию платформы предстоит решить множество открытых вопросов - от структур секций/подсекций платформы и библиотек стандартных запросов/отчётов до ролей администрирования запросов и моделей финансирования/монетизации. Очень важны также вопросы с доверием к анонимности платформы, реферированием оцениваемых материалов, их депонированием, датами приоритетов, подготовкой статистических материалов и аналитических обзоров. И это только первый список.
Стартовые посылки платформы, работа над проработкой и «упаковкой» которых и будет основной рамкой проекта, на старте видятся следующими:
Структура секций платформы. На старте это 24 научные отрасли (правый столбец Приказа №118 Минобрнауки от 24.02.21). В дальнейшем эксперты платформы высокого ранга самостоятельно добавят структуре объёмность, установив список подсекций («Сешат» будет поддерживать подобные «голосовалки»).
Типовые запросы оценивания на платформе (множественный выбор).
Административные роли платформы. В подсекциях, секциях и на платформе в целом будут лишь технические акторы - администраторы, модераторы, референты и лигалы. Их функции будут соответствовать сложившимся обычаям делового оборота (в детерминантах платформы), а статусы будут определяться уровнями платформы (специалисты - в подсекциях, старшие - в секциях, главные - на платформе в целом).
Динамический ранг экспертов платформы. Любой специалист, регистрируясь экспертом платформы, получает на входе от 1 до 10 баллов стартового ранга, в зависимости от его научных заслуг и статуса (правила будут разработаны и опубликованы). Для его получения эксперт должен просто заполнить анкету мастер-данных (с подтверждениями; можно через ЕПГУ и ряд других профессиональных порталов), сформировать запрос на выбранные для участия секции/подсекции, ознакомиться с правилами платформы и принять их. «Сешат» в разумные сроки обработает запрос (порядки и нормативы будут опубликованы) и вернёт участнику сертификат эксперта с ID и текущим рангом (либо мотивированный отказ). Значения стартового ранга (как и отказ) однократно оспариваемы в Апелляции платформы, решение которой окончательно.
Далее динамика ранга поддерживается автоматически: каждое оценивание может принести эксперту от «плюс 1» до «минус 1» балла к его рангу. Максимальный плюс эксперт получает в случае, если его оценка совпадает с медианой (величина среднеквадратичного отклонения во всех случаях - расчётная величина от предмета, характера и уровня оценивания; также будут опубликованы). Максимальный минус - если его оценка является выпадающей, выходя за доверительный интервал. Для калькуляции изменения ранга внутри границ интервала (от 0 до +1) используется простая дисперсия. Изменения ранга возвращаются эксперту по завершении каждого оценивания, к которому он был приглашён платформой. В случае мультиоценки (множественный запрос) платформа проводит взвешивание и возвращает эксперту среднюю динамику ранга.
Саморегулирование сообщества на платформе. Экспертный ранг является не только метрикой для определения (установления) уровня оценивания. Ранг эксперта является единственной метрикой его авторитета на платформе и открывающим маркером полномочий. Максимальное значение ранга на платформе составляет 100.
На старте продуктива предлагаемая панель полномочий в сообществе такова (далее она может быть переустановлена экспертами самостоятельно):
Ранг до 10. Участие в процедурах оцениваниях.
10+ до 20. Переписка с подсекцией «Сешат». Чаты подсекции.
20+ до 30. Переписка с секцией «Сешат». Чаты секции.
30+ до 40. Возможность сопровождать оценки краткими текстами.
40+ до 50. Переписка с платформой «Сешат». Чаты платформы.
50+ до 60. Предложение новаций 1-й категории. Форматы и процедуры
60+ до 70. Предложение новаций 2-й категории. «Голосовалки» секции.
70+ до 80. Предложение новаций 3-й категории. «Голосовалки» платформы.
80+ до 90. Любые экспертные активности в секции «Сешат». Краудфандинг.
Ранг 90+. Любые экспертные активности на платформе «Сешат». Аппеляция.
MVP платформы «Сешат». Или рамки её минимальной жизнеспособности. Сегодня мы видим их в составе 18 элементов. Вероятность их коррекции на инвестиционной фазе проекта нами оценивается как низкая, но не нулевая. А продуктивная, и, тем более, тиражная рамки платформы будут, конечно же, будут шире минимальных. Свод элементов MVP, как они видятся сегодня, прилагается.
Техническое решение платформы. В качестве целевой технологии исполнения «Сешат» мы предлагаем блокчейн. Отталкиваясь от аналитик крупных IT-агентств (Gartner и Forrester) и на собственном опыте, можем утверждать, что в большинстве случаев, услышав «блокчейн», люди простраивают для себя ассоциативный мостик к «биткоину» и дальше по маршруту «криптовалюта», «ICO», «МММ» выходят на мошенничество, хакеров и цифровые кражи. Углеводородов в огонь добавляет и внутренняя природа блокчейна, сложная для понимания и требующая для своего внедрения серьёзного реинжиниринга ролей и взаимодействия бизнес-акторов. Говоря оценочно, в переходе от централизованных систем к распределению реестров вполне работает правило Парето. В данном случае оно звучит так: 20% технологий и 80% изменений бизнес-процессов. Кто из серьёзных пользователей с выстроенными работоспособными технологиями на это пойдёт? Ответ кажется очевидным.
Среди главных «предъявлений» к блокчейну также числятся потеря контроля, скорость тразакций, дефицит специалистов, отсутствие стандартов, проблемы безопасности, «право на забвение» и вопросы доверия. Все эти претензии, и это необходимо признать, не лишены определённых оснований. Но на них уже есть содержательные ответы и конкретные решения.
Контроль не теряется, а организовывается по-новому (изменением механизма консенсуса), скорость транзакций увеличивается архитектурными решениями (использованием алгоритмов «Proof of History»), специалистов просто надо готовить (почему университет Кипра это делает, а мы нет?), стандарты разрабатываются ISO’шниками в 307-м техническом комитете (а мы там есть?), проблемы безопасности - чаще вопрос качества смарт-контрактов (с безопасностью шифрования и консенсуса проблем нет), анонимность обеспечивает решение zero knowledge proof (хотя европейский, к примеру, регламент GDPR - General Data Protection Regulation и сама идеология блокчейн конфликты между собой в принципе), а доверие в данном случае - категория сугубо наживная.
На практике блокчейн уже имеет достаточный портфель т.н. use-кейсов помимо криптовалют и всяких же коинов. Райффайзен вовсю использует блокчейны для организации своих платёжных процессов. В Бразилии блокчейн применяется для управления сделками с недвижимостью. В целом ряде госпиталей он используется для ведения больничных карт пациентов. Pixsy защищает с его помощью права на фото- и другой визуальный контент. В Никосии перешли на блокчейн-дипломы о высшем образовании. Шведы переводят на блокчейн свой земельный кадастр. А почтовая служба США ведёт проект по блокчейну для проведения голосований.
Хотя из-за истории прошлых выборов в США знак последнего примера сомнителен, можно с уверенностью утверждать, что точка состоятельности технологий блокчейн уже пройдена и они стали реальностью, которую необходимо признать. Все эти факты компроментации блокчейна являются проявлениями фазы роста технологии. Платформы 4-го поколения, такие как Solana, Insolar, MetaMUI и Aergo их не имеют. IT-аналитики прогнозируют до 2026 года иррациональную фазу инвестирования в блокчейн (технология есть, инфраструктуры нет), после чего и начнётся фаза генерации добавленной стоимости блокчейн. Почему бы нам не быть среди первых?
И в качестве заключительного топика описательной части перед переходом к резолютивной, считаем важным затронуть вопрос о перспективном раскрытии предлагаемой функциональности платформы. Рано или поздно (график проекта), так или иначе (рамки проекта), квалиметрия на ней будет организована. Верим в то, что качественно и стремимся к этому. Что дальше?
Несмотря на то, что для нас проект создания платформы «Сешат» инвестиционный, никакой exit-стратегии мы не предлагаем. Зачем, если платформа даёт отличный задел для содержательной работы с научными материалами. Дальше остаётся лишь один шаг до интеграции с аналогом функционала ВИНИТИ на новой технологической основе. Конкретно - того функционала, что уже 70 лет выделяет ВИНИТИ среди всех родственных ему системных решений в реферировании научных знаний.
Синергетический эффект такой интеграции может превысить любые, даже самые смелые ожидания. Особенно, если проводить её в прямой корреспонденции с задачами новации нашей системы интеллектуального права, обеспечивая, к примеру, процедурную инициацию РИД-активностей по неисключительным безвозмездным лицензиям для госзаказов («Время деколонизации», Платформа РГСУ, 27.06.22).
Задачи организации такой интеграции очевидно не входят в рамки предлагаемого к запуску проекта, однако при структурировании мастер-данных, выборе экспертов, организации поточности на платформе, формировании очередей/запросов, разработке системных тикетов и управлении смарт-контрактами их (задачи интеграции), безусловно следует иметь в виду. В обязательном порядке.
[резолютивная часть доклада не публикуется]
Проект «Сешат»
квалиметрия в наукометрии — рамки платформы (август 2022)
