Из теории. Показатели результативности и эффективности необходимо разрабатывать для всех процессов, в том числе и образовательного процесса. Это необходимое условие построения полноценной системы управления, как руководителей учреждения, так и руководителей СП и детских объединений, результативной и эффективной.
Часто можно видеть, как слово «эффективность» используется не по назначению. В обыденных речах то и дело говорят «повысилась эффективность работы…». А что именно повысилось? Важно четко понимать смысл понятия «эффективность» и отличать его от понятия «результативность», с которым его часто путают.
В этом вопросе имеет смысл обратиться к стандартам ISO серии 9000:2000, в которых результативность определяется как степень реализации запланированной деятельности и достижения запланированных результатов. То есть, чем точнее достигается поставленная цель, тем выше результативность. Чтобы измерять результативность, нужно иметь четко определенные цели и планы. Без этого у нас не будет точки отсчета для оценки результативности.
В экономике для измерения эффективности какого-либо процесса нужно уметь определять затраты на выполнение этого процесса. Если это удается сделать, то руководство предприятия всегда может определить, чего мы конкретно достигли в том или ином направлении работы, и какой ценой получены эти результаты. В образовании понятие эффективности определяется несколько иначе.
Для разрешения возникающего противоречия между эффективностью и результативностью важно сделать следующий шаг и определить эффективность таким математическим понятием как вектор, позволяющий определить направление развития производства, что представляется наиболее верным. Производство эффективно, если движется в правильном, верном направлении. Переводя эти слова на язык образования, можно сказать, что направление развития будет верным в том случае, когда есть динамика роста достижений, выраженных при этом не только в грамотах и дипломах.
О том, что вопросы эффективности и результативности освоения образовательных программ становятся основными в оценке образовательной деятельности учреждений дополнительного образования детей становятся основными, свидетельствует и то обстоятельство, что в августе 2013 нам предложили заполнить таблицы по мониторингу деятельности учреждений дополнительного образования. В таблицы нужно было внести информацию не только о количестве детей по направленностям деятельности возрастных категорий от 1 до 5 лет, 6, 7 и т. д., но и педагогов с характеристиками образования, квалификационной категории и личными достижениями. В таблицы необходимо было занести названия образовательных программ, сроки их реализации, количество обучающихся, имеющих достижения не ниже муниципального уровня. Подчеркиваю, не количество достижений, а количество обучающихся, имеющих достижения. Следующий, я думаю, логический шаг, это увязать в мониторинге названия образовательных программ с количеством обучающихся, занимающихся по ним и при этом имеющих достижения. То есть другими словами, отразить в мониторинге результативность/эффективность реализации образовательных программ.
Таким образом, вопрос результативности и эффективности образовательных программ становится не только вопросом качества деятельности детского коллектива, но и пробивается на теоретический уровень, а именно: напрашивается раздел в образовательной программе, когда педагог предусматривает не только результативность освоения образовательной программы, но и ее эффективность. Понятие эффективности деятельности сложное по своему содержанию и структуре. Чтобы его включить в требования к образовательной программе, необходимо хотя бы на уровне нашего учреждения, разработать, в чем оно для нас заключается. Но, без сомнения, оно не может игнорировать сопоставление, сколько детей занимается в той или иной группе детского объединения, а сколько имеют результат, прописанный в образовательной программе (ОП), какими достижениями он подтверждается. А если продолжить рассуждение на поднимаемую проблему, нужно сказать, что в образовательной программе учреждения, наверное, должен появиться такой раздел, который поясняет контрольно-оценочную позицию педагогического коллектива его деятельности.
Главная проблема всей педагогики, как считают исследователи, включая и рождающуюся педагогику дополнительного образования детей — отсутствие ясности, что именно отслеживать в образовательном процессе как его результат: сохранность состава групп детских объединений, достижения обучающихся, динамику их достижений или еще что-либо. А как быть с детскими объединениями, в деятельности которых не предусмотрено участие обучающихся в мероприятиях, имеющих внешнюю экспертную оценку? Какими должны быть в таких образовательных программах критерии результативности и эффективности?
Для программ, где педагоги заложили участие детских коллективов в соревновательной, конкурсной и выставочной деятельности, в структуре анализа работы начальников структурных подразделений (СП) предусмотрена таблица, в которой отмечаются количество детей в детском объединении, количество призеров из них, процент призеров от общего числа обучающихся, количество обучающихся, ставших призерами впервые. Такую информацию начальники СП предоставили в анализе деятельности их образовательной программе. Но нет в анализе ни руководителя, ни педагога места информации о динамике роста достижений – надо продумать, в каком виде подавать эту информацию: нужна таблица, отмечающая рост достижений ребенка в процессе обучения, если образовательная программа рассчитана на 2-4 года освоения. Отсутствие раздела, отображающего динамику роста, может быть чревато не видимыми сегодня последствиями, хотя бы исходя из аксиомы: все, что не развивается, деградирует, загнивает. И есть в нашей практике примеры. Даже поддерживание достигнутого уровня можно характеризовать, как недостаточную попытку удержаться на плаву. Почему? Отсутствие видения и понимания назревающей тенденции не дает своевременно сконцентрироваться для оптимального решения возникшей проблемы.
Почему речь идет именно о внешней экспертной оценке (ВЭО)? Потому что другими характеристиками учебной деятельности детских объединений мы на сегодня не располагаем. Выглядят ли доказательно наши диагностики без контрольно-измерительных материалов?
По итогам 2012-2013 учебного года получилась следующая картина, характеризующая результативность участия детских объединений в соревновательной, конкурсной и выставочной деятельности:
— СП «Друза»: из 300 обучающихся 21 человек имели ВЭО 35 раз (7,0%); три коллектива (под руководством Роцкого Н. Н., Скуратовой В. Н., Табакаева В. П.) из четырёх получили ВЭО 7 раз (75% состава СП). Из 13 ОП при освоении трёх обучающиеся не получили ВЭО;
— СП «Иволга»: из 372обучающихся 25 (6,7 %) получили личные ВЭО; из командных победителей отличился коллектив под руководством Лайпековой С. Г. – 12 призовых мест; коллектив под руководством Маякова К. Г. получил четыре раза ВЭО, под руководством Ранды Е. В. – два раза получили ВЭО, три коллектива из восьми получили ВЭО 18 раз (37,5%). Из 25 ОП освоение пяти ОП не дало результатов;
— СП «Воробышек»: 14 (5,2%) обучающихся из 267, получили ВЭО 26раз;
— СП «Мастер-I»: из 711 обучающихся СП 27 обучающихся получили ВЭО 39 раз, что составляет 3,8%; из 11 коллективов 4 получили 23 командных ВЭО (36%) (под руководством Васильевой Е. В., Жуковой Н. В., Кошелевой Т. Ю, Сафаровой О. М). Из 19 ОП по двум не получены результаты, т. к. один педагог болел, обучающиеся ОП «Шахматы» тоже не имели ВЭО;
— СП «Спектр»: из 578 обучающихся 18 человек (все из детского патриотического объединения «Ратибор») получили 16 экспертных оценок (3,1%) от состава обучающихся СП; два коллектива (под руководством Фарафонова А. В.и Голуб В. Ф.) получили ВЭО восемь раз (20% СП). Из 14 ОП обучавшиеся по трём ОП с предусмотренной ВЭО не получили ее;
— СП «Мастер-II»: из 598 обучающихся 18 детей получили ВЭО 77 раз (3,0%); из них под руководством Подоляка А. Л. – 10 обучающихся получили ВЭО 52 раза и под руководством Рожковой – 8 обучающихся получили ВЭО 15 раз; три команды (под руководством Подоляка А. Л., Рожковой Е. М. и Незнамовой Т. Я.) заработали ВЭО 32 (33,3% состава СП). Из 17 ОП в десяти предусмотрена ВЭО, но имеют ее только обучающиеся, занимавшиеся по пяти ОП;
— СП «Мечта»: 16 обучающихся из 578 (2,8%) получили ВЭО; два коллектива из трёх получили ВЭО 14 раз, в т. ч. 12раз – СТС «Лидер» (66,7% состава СП). Из 11 ОП ВЭО предусмотрена в семи ОП, есть оценка ВЭО за освоение шести ОП;
— СП «Горница»: 13 обучающихся (2,6%) из 492 обучающихся получили 14 дипломов и грамот; один коллектив из пяти получил ВЭО пять раз (20%); из девяти ОП в семи ОП предусмотрена ВЭО;
— СП «Калейдоскоп»: нет обучающихся, которые получили ВЭО; из четырёх ОП должны иметь ВЭО три ОП, нет обучающихся – призеров.
Таким образом, 152 обучающихся (3,4%) получили ВЭО в Доме творчества в 2012-2013 учебном году.
|
Название СП |
Количество ОП |
Предполагается ВЭО в ОП |
Получили ВЭО при реализации ОП |
Не получили ВЭО при реализации ОП |
| СП «Горница» |
9 |
7 |
4 |
3 |
|
СП «Друза» |
13 |
10 |
7 |
3 |
|
СП «Иволга» |
25 |
22 |
11 |
11 |
|
СП «Калейдоскоп» |
4 |
3 |
0 |
3 |
|
СП «Мастер-I» |
19 |
15 |
13 |
2 |
|
СП «Мастер-II» |
17 |
10 |
5 |
5 |
|
СП «Мечта» |
11 |
7 |
6 |
1 |
|
СП «Воробышек» |
4 |
1 |
1 |
0 |
|
СП «Спектр» |
14 |
8 |
4 |
4 |
|
Всего: |
116 |
83 |
51 |
32 |
Уязвимые места в этой информации:
1. Рейтинг составлен с недостаточным учетом количества образовательных программ, в которых предусмотрена ВЭО.
2. Информация неполная, даже противоречивая.
3. Недостаточен учет обучающихся, занявших призовые места в командном зачете.
4. В статистических данных присутствуют дети, которые повторяются в списочном составе.
Можно ли считать, что использованная информация отражает действительную результативность освоения образовательных программ? С большой натяжкой.
Можно ли говорить об эффективности образовательных программ, когда нет позволяющей отследить динамику роста достижений обучающихся?
Можно ли говорить о результативности и эффективности образовательной программы Дома творчества, когда контрольно-измерительные материалы разработаны только для нескольких образовательных программ («Живая старина», «Развитие речи», «А+Б (обучение грамоте и математике)» и свои нормативы есть у спортсменов.
Можно ли говорить, что контрольно-оценочная деятельность педагогов в Доме творчества достаточно объективна, если она недостаточно соответствует современным требованиям к результатам образовательной деятельности?
Вывод: надо работать над полноценностью информации, информация может быть полноценной, если она сугубо конкретная.
Посмотрим, согласно последней полученной информации, сколько образовательных программ предусматривают ВЭО:
|
Направленность деятельности |
Количество образовательных программ |
Наличие внешней экспертной оценки в образовательной программе |
|
|
да |
нет |
||
|
культурология |
4 |
0 |
4 |
|
социально-педагогическая |
8 |
0 |
8 |
|
туристско-краеведческая |
10 |
5 |
5 |
|
физкультурно-спортивная |
9 |
9 |
0 |
| художественно-эстетическая, в т.ч.
ДПИ ИЗО Музыка Литература и театр Хореография |
78 32 8 8 9 21 |
56 23 7 2 8 16 |
22 9 1 6 1 5 |
|
Всего: |
109 |
70 (64,2%) |
39 (35,8%) |
В более чем в трети образовательных программах их освоение в настоящих условиях отслеживается «на глазок» («на глазок» и я прикидывала, какие ОП могут иметь ВЭО, какие нет, потому что точной информации мы не имеем, а ту, что получили от начальников структурных подразделений, можно назвать противоречивой). 22 ОП художественно-эстетической направленности вряд ли можно отнести к этой направленности, если обучающимся не предоставляется возможность участвовать в конкурсной деятельности; это возможно только для групп 1-го года обучения. Может, все эти программы отнести к социально-педагогической деятельности? Главной их целью тогда должно стать создание условий для социальной адаптации обучающихся, выраженной в сформированности определенных компетенций, выстроенных в приоритетном порядке. Компетенции выражаются в определенных УУД, уровень сформированности которых проверяется контрольно-измерительными материалами.
Самыми универсальными и официально принятыми в образовательной практике являются до недавнего времени следующие отдельные блоки объектов оценки, и они кардинально не поменялись, у них расширилось содержание:
1. Обучающиеся: знания, умения, навыки (чаще всего только по соответствию их стандартам); результаты личностного развития и воспитания (иногда дифференцированно по направлениям). Т. е. чем в большей мере большее количество обучающихся продемонстрировали владение предметной компетентностью, тем выше результативность освоения ими образовательной программы. В критериях личностного развития заложены уровни сформированности ключевых компетенций. Об эффективности освоения ОП речи нет.
2. Педагоги: профессионализм, компетентность, отношение к работе.
3. Образовательное учреждение: соответствие разнообразным нормативам, организация и обеспечение деятельности (в позитивном и отрицательном ее воздействии на детей), престиж в социуме (его рост или падение).
Для каждого блока предназначается или должен быть свой комплект критериев, показателей, методик, форм их проведения и т. д. При этом по каждому из перечисленных блоков получатся разные, замкнутые, не соотнесенные друг с другом результаты. Однако именно они являются аргументами для выводов об уровне качества образования (высокое, среднее, низкое). Встает вопрос: в каком документе учреждения контрольно-оценочная система должна быть отражена? Может быть, в Положении о качестве образования, образовательного процесса?
Авторы книги «Управление качеством образования» определяя качество как соотношение цели и результата (меру выполнения цели), предлагают рассматривать результат образования как один из основных компонентов (наряду с операционально заданными и спрогнозированными на будущее целями), с помощью которого определяется качество образования и пути управления этим качеством. Итак, выделяются три группы, они лежат в основе определения эффективности освоения образовательных программ:
1. Результаты образования, определяемые количественно в абсолютных значениях и обязательно в измеряемых параметрах (в дополнительном образовании это выполнение учебно-тематического плана по количеству часов, активность участия обучающихся в различных мероприятиях соревновательной деятельности, результаты участия, динамика роста результатов);
2. Результаты, которые определяются только квалиметрически (качественно), описательно в корректной, подробной форме или в виде бальной шкалы, где каждому уровню соответствует определенный уровень проявления качества (для нас, мы считаем, это диагностика образовательных результатов, выраженных в уровне сформированных предметной и ключевых компетентностях — через УУД, и какими критериями определяется каждый уровень);
3. Неявные результаты, относящиеся к внутренним, глубинным переживаниям личности ребенка. Оценка проводится экспертным путем на основе интуиции, наблюдения, через создание условий для их возникновения на фиксируемом уровне (подобная кропотливая работа обычно не отслеживается в силу условий организации образовательного процесса).
Нам близка позиция, которая выражена авторами «Управления качеством образования»: где невозможно четко зафиксировать результат, там и само управление не может быть четким, оно носит, если можно так выразиться, предположительный, ориентировочный характер, а значит и результат не может быть гарантированным даже при, казалось бы, правильных управленческих действиях.
Образовательный результат — это, прежде всего, результат ребенка:
— итог его работы в образовательном процессе;
— следствие собственных усилий и собственной деятельности в образовании себя;
— итоги его освоения предложенного содержания образования;
— выражение степени его успешности и личностного роста.
Показателями результативности деятельности образовательного учреждения официально утверждены: достижения обучающихся в их количественном выражении (награды, победы, места и пр.), полученные ими за определенный период времени; суммарное разнообразие видов деятельности, направлений образовательных программ, их обеспеченность; способность учреждения выполнять в полном объеме, в срок и качественно социальный заказ.
Отсутствие осознанного определения своего результата и собственных методик его определения в дополнительном образовании детей ведет к:
— снижению уровня работы, манипулированию ее показателями;
— утрате ответственности за свою деятельность перед детьми, их родителями:
— пассивности в исполнении всех внешних требований со стороны выше стоящих административных органов власти, учредителей и др.;
— использованию формальных способов оценки, аттестации, инспекторской проверки, не учитывающих специфику дополнительного образования детей, а значит, разрушающих эту среду самообразования детей.
Объективность анализа результатов должна базироваться на оценке эффективности реализации образовательных программ.
Таким образом, нам сегодня трудно говорить об эффективности реализации образовательных программ. Мы можем говорить только об их результативности, т. е. о том, насколько мы добиваемся результата, заложенного в разделе «Результативность» в образовательной программе. В отчетных документах результативность может быть выражена в количественных показателях по уровням результатов. Эффективность же – это стабильность результатов, это обеспеченность результатов, их положительная динамика, которые могут быть обеспечены только качественной образовательной программой и высоким профессионализмом педагога. Т. е. для определения эффективности образовательной программы необходима разработка критериев, которых пока в нашей практике нет. А это означает, что пока мы так организовываем образовательный процесс, что в той или иной мере обеспечиваем его результативность, которая может быть выше или ниже, т. е. результативность носит временный характер. Наибольшие трудности вызывает определение показателей результативности и эффективности процессов. Эти показатели для каждого процесса устанавливаются исходя из определения и цели процесса. Только обеспечение динамики роста результатов образовательного процесса обеспечит его эффективность и позволит обозначить наши образовательные программы как эффективные.
Джумагалиева Наталья Владимировна,
зав. учебным отделом
19.09.2013г.