Агрегация для аккредитации

Средневзвешенная позиция

Разработчики предлагают новый подход к построению глобального и национального агрегированных рейтингов как сетевой модели оценивания, основанной на интуитивно понятном и обоснованном математическом аппарате – методе анализа лиг («МетАЛиг»). Агрегированный рейтинг, уверены его разработчики, поможет снизить субъективизм в оценке вуза и определить его «средневзвешенную позицию» в глобальном и национальном масштабах.

Сегодня существует множество рейтингов, и зачастую в одном из них вуз может занимать хорошее место, во втором, напротив, – далеко не самую лучшую позицию, а в третий – может вообще не попасть. Конечно, позиционируя себя, представители вуза будут ссылаться только на «правильные» рейтинги. Однако у въедливого и внимательного потребителя неизбежно возникнет вопрос о том, каким данным доверять и на какие рейтинговые результаты ориентироваться? Или – как отметил ведущий семинара, научный руководитель центра психометрики и измерений в образовании, член ученого совета НИУ ВШЭ Виктор Болотов – рейтинги стали популярным инструментом для сравнения вузов. Но насколько этот инструмент объективен, чтобы не было разговоров о том, «правильный» он или нет? Новая методика построения агрегированных рейтингов как раз позволяет объективно определить реальную позицию высшего учебного заведения среди прочих.

Быть может, абитуриентам и их родителям агрегированный рейтинг будет не очень интересен, а вот органы управления образованием и даже правительство могут почерпнуть из него немало полезной информации. Например, для принятия административных решений. Так, по словам В. Наводнова, новая программа стратегического академического лидерства (ПСАЛ), старт которой анонсировало Министерство науки и высшего образования РФ, будет использовать до 25% информации о вузах из рейтинговых систем. (И это серь­езный повод для вузов, претендующих на участие в программе, задуматься о своих позициях в рейтингах.)

Да, рейтингов – удовлетворяющих потребность широкой общественности в легко интерпретируемой информации о вузах, помогающих абитуриентам сделать выбор между различными учебными заведениями, программами, дисциплинами – много. Вопрос в том, какими именно будет пользоваться министерство? Какие можно рекомендовать как действительно объективные и взвешенные?

С разных ракурсов

Существующие рейтинги строятся на традиционной модели свертки с весовыми коэффициентами, но Нацаккредцентр предлагает совершенно новый подход – как пояснил В. Наводнов участникам семинара. Идея состоит в том, что из нескольких имеющихся рейтингов нужно построить один, который смог бы стать единой шкалой оценивания. Для этого в Нацаккредцентре разработали методику, которая получила название «МетАЛиг» – метод анализа лиг. В основе четыре составляющих.

Во-первых, рейтинги преобразуются в таблицы лиг: метод известный, но по отношению к рейтингам этот инструмент до сих пор активно не применялся.

Во-вторых, в новом рейтинге используется векторный подход МакКинзи/Д. Абеля, когда деятельность образовательной организации описывается как вектор оценок. В качестве ноу-хау разработчиками вводятся так называемые новые «слабые» свертки. При этом для свертывания в единую таблицу лиг используется не традиционная линейная свертка с весовыми коэффициентами, а математический аппарат теории голосования в малых группах: свертка Борда, плюралитарная свертка и прочее. Таким образом, рейтинги преобразуются в таблицы лиг: первая квартиль охватывает 25% лучших участников, вторая – 50% лучших и далее. Такой подход позволяет абстрагироваться от существа рейтинга и оценивать только позиции в нем, то есть попытаться взглянуть на систему с разных ракурсов, но с единой точкой зрения. Вуз получает векторную оценку по каждой из составляющих.

В-третьих, применяется и так называемая слабая свертка по аналогии со спортом, когда из нескольких попыток в зачет идет результат самых удачных. Этот принцип и называется слабой сверткой. Такой подход позволяет ликвидировать недостатки различных систем оценивания, с одной стороны, и с другой – засчитать именно лучшие результаты. Векторы оценок «сворачиваются» в одну с помощью аппарата теории голосования в малых группах. Свертка Борда позволяет определить для вуза подходящую лигу, исходя из суммы занятых им мест.

Мировой «топ-10»

Из многообразия современных рейтингов для агрегации разработчики выбрали только те, которые имеют непосредственное отношение к образованию. Набралось достаточно большое количество – 11 рейтингов (THE, QS, ARWU, «Три миссии», USNews, RUR, CWUR, NTU, CWTS, SCIMACO, DEQAR), в которые входят 2273 университета из 110 стран. Далее решили учитывать для агрегации университеты, попавшие в не менее чем два рейтинга. И даже несмотря на это ограничение, охват получился достаточно серьезный, ведь хотя бы в двух глобальных рейтингах своими вузами представлено абсолютное большинство стран мира.

По данным ресурса Webometrics.info, в мире насчитывается около 25 тыс. вузов. Выделенный из их числа 1% лучших университетов мира можно условно назвать топ-1. Топ-2 – это 2% лучших университетов: 500 вузов. Топ-3, соответственно, – 750 вузов, а топ-4 – 1 тыс. Вхождение в лучшую тысячу – уже большое достижение! Топ-5 – 1,25 тыс. вузов и так далее. Соответственно, топ-10 – 2,5 тыс. лучших университетов мира. Вузы, попавшие в Глобальный агрегированный рейтинг (ГАР), фактически находятся в топе-10. Согласитесь, войти в 10% лучших университетов мира – неплохо.

Поскольку вузов много, применено разбиение не на квартили, а на лиги. Первая сотня учебных заведений попадает в область A, область B включает лучших 250 вузов, C – 500, D – 750, E – до 1 тыс. Свыше тысячи – область F. Если вуз в рейтинг не входит, он попадает в категорию G, которая баллами не оценивается, – это аутсайдеры. Максимальная оценка, которую можно получить, переводя ее на баллы, будет эквивалентна 6. Далее из 11 оценок вуза выбираются шесть лучших. Каждый вуз получает какую-то свою оценку и, в зависимости от нее, попадает в соответствующий «топ».

– Российских вузов в построенном нами топ-10 оказалось немало – 82, – одновременно удивляется и радуется В. Наводнов. – Ожидаемо первое место в Глобальном агрегированном рейтинге заняли США с 348 вузами. На втором – Китай, практически догоняющий США со своими 253 вузами в рейтинге. Дальше идут Япония, Франция, Великобритания и Россия. Мы обгоняем Индию, Германию, Италию и некоторые другие страны.
Вызывает интерес вопрос: какой процент вузов отдельно взятой страны попадает в Глобальный агрегированный рейтинг? Показатель получился следующий: из 2117 американских вузов в ГАР попали 348 вузов, и это немало – 16%. Россия отстает, но ненамного: наших вузов в том же рейтинге 11,4% от общего числа. В Китае 718 вузов, и процент их вхождения в ГАР значительно выше – 23,9. То есть почти каждый четвертый китайский вуз представлен в глобальном рейтинге. А у Великобритании этот показатель – 41,5%. На это играет и то, что в агрегации участвуют два английских рейтинга.

Если рассматривать 15 стран нашего ближнего зарубежья, то в ГАР вошли университеты десяти из них. Напомним, что Россия – лидер, у которого из 718 вузов в рейтинг попали 82 – 11,4%. На втором месте Казахстан с 11 университетами из 110 – 10%. У Украины в глобальном рейтинге оказалось всего 2,5% вузов. Неплохие результаты при агрегации показали прибалтийские страны. Скажем, в Эстонии всего 10 университетов, и 4 из них вошли в Глобальный агрегированный рейтинг (40%).  Литвы этот показатель на уровне 27,7%.

– Проблема в том, что большая часть российских вузов сосредоточена в конце, – признался В. Наводнов. – То есть они входят в топ-10, но в топ-1 попал только один отечественный вуз, в топ‑2 – 10 вузов. Конечно, среди стран бывшего СССР у России явное лидерство: и по общему количеству вузов, и по количеству вошедших в рейтинг. Но по процентному отношению впереди, например, оказались Эстония и Литва. Возможно, потому что вузов у них немного и сил для наведения в них порядка также требуется меньше. Узбекистан, Молдавия, Киргизия и Таджикистан, к сожалению, вообще не представлены в Глобальном агрегированном рейтинге.

Из российских вузов, которые вошли в ГАР, первое место занимает Московский государственный университет им. М.В. Ломоносова. За ним в топ-2 следуют МФТИ, НИУ ВШЭ, МИФИ, Новосибирский и Санкт-Петербургский госуниверситеты, два томских вуза – политех и госуниверситет, КФУ, МИСиС и Санкт-Петербургский политех. В топ-10 вошел также один негосударственный вуз – Российский новый университет.

НАР дает ответы…

Напомним, что 30 июня на онлайн-заседании Национального аккредитационного совета разработчики также представили Национальный агрегированный рейтинг (НАР) за 2020 год. По сравнению с глобальным рейтингом его построение было непростым, и сложность связана с выбором отечественных рейтингов для агрегации: проблема в том, что большинство из них существует всего один-два года и прекращает свою деятельность по завершении финансирования.

В итоге для отбора рейтингов Нацаккредцентр ввел несколько критериев: они должны существовать не менее трех лет и публиковаться хотя бы один раз в год, быть публичными – все данные и результаты выложить в открытом доступе и оценивать не менее 100 вузов. Такой критериальный отбор прошли всего девять систем оценивания – это не только рейтинги, но и базы данных, среди которых принадлежащая РИНЦ и мониторинга эффективности Минобрнауки РФ, рейтинги Интерфакса, РИА «Новости», «Первая миссия», «Международное при­знание», «Профессионально- общественная ак­кре­ди­тация», RAEX, Рейтинг качества обучения и Рей­тинг востребованности.

Подробно о методике составления Национального агрегированного рейтинга мы рассказывали в №120 за 2020 год. Если повторить вкратце, то, согласно методике «МетАЛиг», в каждом из рассматриваемых рейтингов университет получает оценку, и из девяти для НАР выбираются шесть оценок. Далее применяется свертка Борда. Таким образом получается деление по лигам. Лидерская премьер-лига состоит из 26 ведущих университетов, у которых все шесть оценок А. То есть минимум в шести рейтингах эти вузы занимают лидерские позиции. Можно говорить, что премьер-лига – это топ-25 лучших вузов страны. Лиги распределены по трем зонам – зеленой, желтой и красной.

Каковы плюсы примененной методики? Так, она позволяет отказаться от монопольного оценивания в пользу сетевого, что может повысить объективность оценки. Далее. Тот факт, что НАР основан на девяти независимых системах оценивания, является мощным подспорьем и для самих вузов, чтобы они могли продемонстрировать свои позиции перед государственными органами. Наконец, при конструировании агрегированных рейтингов применяется мягкий математический аппарат, позволяющий минимизировать недостатки отдельных систем оценивания и учитывать самые значительные достижения университетов.

В целом, по мнению разработчиков Нацио­нального агрегированного рейтинга, он может стать основой независимого мониторинга высшего образования. Его применение позволит сделать оценку вуза максимально прозрачной и избежать субъективности при проведении контрольно-надзорных мероприятий. Кроме того, такой рейтинг, как считают в Нацаккредцентре, может быть использован и абитуриентами – при выборе вуза, и администрацией вузов – для самодиагностики и стратегического планирования.

В контексте президентской задачи

Предваряя дискуссию, В. Наводнов отметил и некоторые недостатки методики. Один из них заключается в том, что немногие существующие российские рейтинги и системы оценивания являются массовыми: лишь некоторые из них оценивают большинство вузов. Хотя, чем в большем количестве рейтингов вуз принимает участие, тем выше вероятность его попадания в агрегированный рейтинг. Второй недостаток – индикаторы, которые можно получить только из открытых источников, могут не охватывать все аспекты многогранной деятельности университета. Поэтому попадание в красную зону для вуза – свидетельство не низкого качества образования, а того, что он находится вне поля зрения процедур независимого оценивания.

Завершая выступление, директор Нацаккред­центра напомнил, что нынешним летом президент Владимир Путин поставил задачу, сказав, что России нужны собственные национальные рейтинги вузов, поскольку международные являются инструментом конкурентной борьбы на рынке образования. Поэтому построение Глобального и Национального агрегированных рейтингов является шагом в этом направлении. И хотя российские рейтинги по популярности и значимости сегодня уступают международным, НАР, объединяющий сильные стороны разрозненных российских процедур оценивания, может стать реальной альтернативой для позиционирования и конкуренции на рынке образования.

Исполнительный директор Национального фонда подготовки кадров Ирина Аржанова, выступая в качестве дискуссанта и говоря о поставленной президентом страны задаче, заметила, что агрегированный рейтинг, действительно, вполне может стать ее решением. Напомнила она и о берлинских принципах, которые отражают многомерность понятия качества в сфере высшего образования. Так, согласно этим принципам, важными являются четкая ориентация на определенную целевую группу пользователей, ясная постановка целей, отражение разно­образия высших учебных заведений, прозрачность методологии для измерения результатов их деятельности, предоставление потребителям полной информации о составлении и результатах, а также применение принципов контроля качества. С этой точки зрения у агрегированного рейтинга есть небольшие «вылеты», но вся базовая часть ответственности за соответствие берлинским принципам фактически переложена на разработчиков исходных рейтингов, большинство из которых подтвердило свою легитимность и методологическое соответствие существующим требованиям.

Для глубокого анализа

Отметив потенциальный интерес к Нацио­нальному агрегированному рейтингу со стороны исследователей и самих вузов, И. Аржанова засомневалась в том, что он будет пользоваться спросом у родителей и абитуриентов. Им достаточно изначальных рейтингов, и для них НАР ничего не добавит к ценности того или иного вуза. Для управленцев системой образования он может стать аналогом мониторинга эффективности по выявлению аутсайдеров.

– У меня есть вопрос к обоснованности объединения международных и российских рейтингов в одну как бы палитру, в том числе из-за присутствия качественной оценки в некоторых международных рейтингах, – высказалась глава НФПК. – А еще фактически складывается нескладываемое – методологии рейтингования, ранжирования и мониторинга. Если говорить о соответствии берлинским принципам, тема мониторинга, например, выпадет, потому что он не является легитимным рейтингом, отве­чающим всем предъявляемым требованиям. И есть ли целесообразность во вторичном анализе данных? Рейтинг рейтингов – как некая ДНК, которая собрана из сложных позиций и сложных рейтингов, составленных, в свою очередь, из большого количества индикаторов и показателей. Поэтому для глубокого анализа нужно будет уходить в каждый конкретный рейтинг. Высокая степень агрегации – плохая вещь для глубокого анализа. Но, мне кажется, сама картина по странам и университетам, особенно если смотреть динамику, – это отличный материал для исследователей и аналитиков.

Рейтинг как игра

Проректор по экономике и стратегическому развитию УрФУ им. первого Президента России Б. Ельцина Даниил Сандлер, оценивая представленный рейтинг, высказался с позиции одного из руководителей университета:
– Я хотел бы напасть, не побоюсь этого слова, на необходимость данного рейтинга для управленческих задач. Дело в том, что классические рейтинги достаточно понятны или пытаются быть понятными по методике. Они рассылают соответствующие отчеты, по которым мы можем понять, как наши действия привели к тому или иному движению в рейтинге. В существующих рейтингах уже наработана такая обратная связь. Может быть, и в этой методике она возможна. Но вузовским управленцам на коротком временном «плече» – год-два-три – будет трудно предпринять какие-то конкретные действия, чтобы подняться по позициям. Рейтинг – все-таки игра. И это, возможно, немаловажный его аспект. Играя в рейтинг, мы смотрим его методику и предпринимаем действия, а через год-два позиция вуза может измениться. Есть ощущение, что агрегированная методика снимает этот игровой момент. Это, на мой взгляд, возможный минус, потому что игра – тоже важный аспект деятельности, в том числе и руководства университетов. Но, возможно, данный рейтинг имеет особую важность для рассмотрения региональных сетей образования, когда оценивается не отдельный университет, а вся система.

Также Д. Сандлер высказал сомнение по поводу того, как отнесутся к использованию данных составители изначальных рейтингов.

Поблагодарив коллег за обозначенные недостатки, В. Наводнов пообещал рассмотреть все замечания с командой разработчиков.
– Мне показалась очень интересной идея сделать проекцию на региональные системы образования, – отметил директор Нацаккредцентра. – При агрегации есть возможность проецировать глобальный рейтинг на какую-то его определенную часть. Что касается разрешения от составителей других рейтингов, мы сразу оговорились, что рассматриваем публичные данные. Если составители какого-то рейтинга откажутся от участия в агрегации, мы его исключим. Но на их месте я бы поступил наоборот: если их рейтинг не будет учитываться в агрегации, он не будет вносить свою лепту в глобальную оценку и захиреет.

Подводя итоги семинара, В. Болотов обозначил:
– Рейтинги в мире используются для двух целей. Первая – выделение университетской элиты с лучшими практиками, а вторая – выявить вузы, находящиеся в зоне риска, в красной зоне. Но это не основание для дисквалификации, а повод для размышления. Картина же, которую дает агрегированный рейтинг, будет особенно полезна, если, например, вузам, занявшим высокие позиции, автоматически продлевать аккредитацию.

Бесспорно, методика составления агрегированного рейтинга, разработанная Нацаккредцентром, позволяет получить объективную картину о лидерах и аутсайдерах в высшей школе. Что с ними будет делать государство – «казнить или миловать» – отдельный вопрос. В любом случае, такая система в национальном масштабе может стать, как ее назвала И. Аржанова, рейтингом рейтингов – ведь ее сложно упрекнуть в ангажированности при оценке университетов. В глобальном же плане нашим вузам не придется вечно равняться на зарубежных коллег, которым по традиции гораздо проще соответствовать требованиям западных рейтинговых систем. Глобальный агрегированный рейтинг, по мнению его разработчиков, предоставит российской высшей школе непредвзятую картину.

Алексей БАТАНОВ.