Методика внутреннего аудита

Применение корреляционного анализа для оценки удовлетворенности студентов качеством образовательных услуг

И.М. АСАНОВА, ректор Санкт-Петербургского института гостеприимства, кандидат педагогических наук

А.Н. СЫРЦЕВ, проректор по качеству и стратегическому развитию Санкт-Петербургского института гостеприимства, кандидат технических наук

Процедура исследования

В условиях современной рыночной экономики конкурентоспособность образовательных учреждений в значительной степени определяется неценовыми факторами и, прежде всего, качеством предоставляемых образовательных услуг. Более всего заинтересованы в повышении качества образовательных услуг в конечном счете студенты вуза. Именно их удовлетворенность обеспечивает стабильность набора и конкурентоспособность любого учебного заведения в стратегической перспективе. Мониторинг мнения студентов о качестве деятельности вуза обеспечивает обратную связь, и поэтому должен быть обязательным элементом процедуры внутреннего аудита работы учреждения ВПО.

Первый опыт анкетирования студентов о качестве преподавания в институте гостеприимства был получен более десяти лет назад. Методика анкетирования и обработки результатов не отличалась от стандартных приемов проведения социологических опросов. Результаты анкетирования позволяли получать информацию о средней оценке студентами качества преподавания отдельных дисциплин и качества работы преподавателей, а также выявлять мнение студентов об общей организации учебного процесса.

При всей простоте применяемая ранее методика обработки результатов анкетирования имела существенные недостатки:

• оценки качества преподавания не были привязаны к особенностям группового поведения студентов;
• не учитывались текущая успеваемость, посещаемость, степень исходной мотивации к учебе, ряд других факторов, что могло существенно повлиять на результаты исследования и, как следствие, привести к неверным выводам;
• не учитывалась взаимосвязь между внутренними (например, квалификация преподавателей) и внешними (в частности, начальная мотивация студентов) факторами, влияющими на итоговую оценку удовлетворенности качеством образовательных услуг.

Эти недостатки снижали достоверность результатов исследования и требовали совершенствования его методики. Рассмотрим основные положения усовершенствованной методики проведения анкетирования и анализ его результатов.

Основные данные исследования

Методика исследования.

1 этап. Анкетирование студентов и первичная обработка его результатов:

• выявление удовлетворенности деятельностью вуза;
• выявление удовлетворенности качеством преподавания отдельных дисциплин по показателям (актуальность дисциплины, качество учебно-методических материалов, методическое мастерство преподавателя).

2 этап. Сбор и обобщение данных о текущей успеваемости студентов.

Примечания:

1) Сi = ТНi – min(ТНi), где ТНi – % текущей неявки на экзамен по i-й дисциплине; min(ТНi) – минимальное значение по столбцу «% неявок».
2) Показатель характеризует потенциальный % повторной сдачи экзамена.
3) Показатель косвенно характеризует «требовательность» преподавателя.
4) Показатель косвенно характеризует «справедливость» преподавателя.
5) Показатель характеризует степень несоответствия между представлением студента о предмете и качеством его преподавания.
3 этап. Корреляционный анализ удовлетворенности и успеваемости студентов.

В рамках данного этапа вычисляются следующие матрицы.

• Матрицы к «успеваемость – удовлетворенность» по каждой группе респондентов.

kij – коэффициент корреляции между i-м и j-м столбцом таблицы 1.

• Знаковые матрицы Z «успеваемость – удовлетворенность» по каждой группе респондентов.

zij – знак коэффициента корреляции kij (1 если kij > 0, 0 если kij = 0, – 1 если kij < 0).

• Интегральная матрица S «успеваемость – удовлетворенность» по всем группам респондентов.

sij – среднее значение коэффициентов корреляции между i-м и j-м столбцом по всем группам респондентов.

• Интегральная знаковая матрица SZ «успеваемость – удовлетворенность» по всем группам респондентов.

• Матрица Σ среднеквадратических отклонений (СКО) групповых оценок.

σij – СКО коэффициентов корреляции kij по всем группам респондентов (СКО по соответствующим ячейкам всех таблиц 4).

• Межгрупповая корреляционная матрица KM.

kmij – коэффициент корреляции между i-й и j-й группами респондентов.

• Межгрупповая матрица общности преподавателей T.

tij – доля общих преподавателей между i-й и j-й группами респондентов.

• Межгрупповая матрица общности дисциплин D.

dij – доля общих дисциплин между i-й и j-й группами респондентов.

• Межгрупповая матрица общности дисциплин и преподавателей DT.

dt ij – доля общих дисциплин, которые читают одни и те же преподаватели, между i-й и j-й группами респондентов.

Анализ величины и тренда оценок удовлетворенности (показатели 9, 10, 11, 12 и 13) показывает степень удовлетворенности студентов качеством преподавания и дисбаланс между их ожиданиями и реальностью.

Основные результаты исследования

Корреляционный анализ удовлетворенности и успеваемости студентов позволяет определить пары факторов, между которыми существует или не существует взаимосвязь, а также степень связи.

Некоторые выводы из корреляционного анализа тривиальны, но ряд выводов представляет практический интерес.

1. Студент полностью связывает качество подачи материала и качество УММ с личностью преподавателя.
2. Представления студента о нужности предмета в значительной степени формируются преподавателем, однако некоторое влияние собственной точки зрения на данный показатель существует.
3. Более строгий преподаватель дифференцированно подходит к оценке знаний студентов, то есть он справедливее.
4. Страх студентов порождается скорее строгостью, а не справедливостью преподавателя: чем ниже средний балл, тем чаще студенты из боязни не приходят на экзамен, рассчитывая решить вопрос в индивидуальном порядке.
5. Процент «5», «4», «3» и «2», а также средний балл (степень требовательности преподавателя) практически не влияют на представление студентов о нужности предмета и оценку качества преподавания.
6. Анализ межгрупповой матрицы общности дисциплин и преподавателей свидетельствует о том, что оценка качества преподавания определяется в основном личностными качествами и квалификацией преподавательского состава, а не особенностями групповой  психологии студентов.
7. Анализ трендов оценок удовлетворенности студентов качеством преподавания показывает:

• в целом по СПИГ качество преподавания соответствует потребностям студентов (общий тренд нейтральный);
• тренд оценок удовлетворенности существенно неоднороден по группам и по курсам: причиной может являться как изменение групповых предпочтений по мере увеличения срока обучения, так и конкретные особенности групп.

Выводы

1. Исследование показало возможность и необходимость проведения мониторинга удовлетворенности студентов качеством образовательных услуг СПИГ, а также позволило отработать некоторые ключевые элементы организации.

2. Разработана оригинальная методика анализа результатов анкетирования и выявлены направления ее совершенствования.

3. Основные направления совершенствования процедуры мониторинга мнения заинтересованных сторон как элемента внутренней системы качества СПИГ.

• работа должна быть организована на регулярной основе, рекомендуемый период – один раз в год;
• необходимо отладить систему сбора исходных данных для управленческого анализа, номенклатура данных и период их обновления должны соответствовать потребностям менеджмента, но не реже одного раза за семестр;
• следует проводить мониторинг мнения других заинтересованных сторон (студентов заочной формы обучения, ППС, административно-технического персонала, партнеров и родителей студентов);
• в процедуру корреляционного анализа необходимо включить данные о посещаемости занятий, повторных сдачах экзаменов, других формах контроля, а также об отчислениях и восстановлениях студентов;
• существует необходимость анализировать информацию в динамике, прослеживая изменения показателей по времени, по группам, курсам и формам обучения, что позволит получать более достоверные результаты и делать более обоснованные выводы.

4. Управленческий цикл должен быть замкнутым. Для этого необходимо регулярно предоставлять информацию руководству, реагировать на возникающие несоответствия и сравнивать результаты деятельности с плановыми и прогнозными показателями, которые основаны на результатах мониторинга мнения заинтересованных сторон.