Книга посвящена объяснению, способам применения и интерпретирования технологии оценивания деятельности как образовательных институтов (региональных и муниципальных органов управления образованием), так и участников образовательного процесса (в первую очередь учителей и учеников) методом измерения добавленной стоимости. Авторы этой инновации применили данный термин из экономической теории к задачам школьного образования, связанным с многогранной проблемой оценивания результатов. Добавленная стоимость в этой книге – разница между начальной успеваемостью ученика (результатами тестов прошлого года) и его текущей успеваемостью (результатами тестов этого года). речь идет не о разовом контроле разницы в результатах за определенный промежуток времени, а о создании системы статистического учета данных, их накопления, обработки специальными статистическими методами и обеспечения их транспарентности с целью постоянного анализа и принятия конкретных решений в отношении всех субъектов школьной образовательной деятельности.
Значимость этой книги для российского читателя в том, что она ярко и зримо демонстрирует признаки высокой образовательной культуры во всех ее аспектах – организационных, этических, межличностных, гуманистических и т. д. Несомненно, книга станет настольной у тех, для кого школа – профессия и смысл жизни.
V 1.0 by prussol
How to Use
Value-Added Analysis
to Improve Student Learning
KATE KENNEDY
MARY PETERS
MIKE THOMAS
Translation from English language edition:
Перевод публикуется с разрешения правообладателя.
Copyright © 2012 by Corwin All rights reserved.
© Перевод на русский язык, оформление. Издательский дом Высшей школы экономики, 2017
В странах Запада с 60-х годов XX в. стала быстро набирать силу тенденция изменений в школьном образовании, довольно быстро превращаясь в поток реформ и инноваций. Корни этого процесса лежали в социально-экономических изменениях ближайшего послевоенного периода: модель работника фордовского конвейера ушла в прошлое, силу набирали новые технологии, ЭВМ, сверхзвуковые скорости, освоение космоса, интеллектуальные отрасли сферы услуг. Работник, владевший одной конвейерной операцией и социально послушный в силу своей обществознанческой примитивности, стал ненужным. Доля классических «синих воротничков», абсолютно доминировавшая в рабочей силе начала XX в. наряду с массовым крестьянством, «стиснулась» до 30 % и 7–8% (в США даже до 25 % и почти до 1 % соответственно!).
Нужен был новый работник. Везде: в промышленности, в строительстве, на транспорте, в управлении, в сельском хозяйстве. В науке востребованным оказался массовый ученый; в университеты двинулись массовые когорты молодежи. Все это радикально меняло требования к школе. Ее выпускник мыслился как тот, кто готов был во взрослой жизни встретить новые вызовы. «Изменение образования» стало мантрой в речах политиков, лекциях профессоров, деятелей науки. «Чему учить», «как учить», «что есть знание» и особенно «что есть познание» – вот повестка дня научного и образовательного сообществ, возникшая в ту эпоху и сохранившая свою актуальность поныне. В рамках этой повестки возникло и понятие «school improvement» (школьный импрувмент). это не любой из многочисленных частных случаев отдельных улучшений в процессах и результатах школы, но состоявшийся и принятый консенсусом (в соответствии с известной концепцией Юргена Хабермаса об истине) термин, относящийся к одному из ключевых терминов в мировой науке об образовании.
Этот термин, как правило, включает два значения/ смысла. Первый – «общие усилия сделать школы лучшим местом для научения школьников». Второе (и более профессиональное) – это «четкий подход к изменению в образовании, которое улучшает результаты ученика, а также усиливает способности школы управлять изменением». Школьный импрувмент нацелен на рост успеваемости школьников через сосредоточение политики школы, муниципии, региона на процессе обучения/научения и тех условиях, которые его поддерживают.
Но школьный импрувмент понимается как явление, требующее соблюдения ряда предпосылок.
• Школы должны обладать способностью изменять себя, если (!) у них есть соответствующие условия. И эти условия – факторы экзогенного происхождения, они обеспечиваются школам извне.
• Когда у всего сообщества научающихся (community of learners) созрели потребность и цель, когда соответствующие условия обеспечены, когда взрослые и школьники равно научаются, чтобы внести свой вклад в научение другого, – тогда возникает континуум школьного импрувмента.
• Главными потребностями школы, нуждающимися в постепенном улучшении, являются ее культура, качество межличностных отношений, а также природа и качество научающего профессионального опыта.
• Школьный импрувмент – это усилие обозначить (определить) и обеспечить внешние и внутренние условия, при которых взрослые и юные промотируют и поддерживают научение среди самих себя.
Теперь придется объяснить читателю глубокие смыслы слова «learning», которое стали давно переводить у нас как «научение», слова «learner» – «научающийся» (?); слова «to learn» – «научить». Что же в действительности представляет собою термин «learning» и каково его значение для мировой науки об образовании и для науки в целом? Автором этого термина является Джон Локк (вспомним его знаменитое «tabula rasa», которое заполняется как раз через learning). Возродили его спустя 400 лет выдающиеся физиологи (И.П. Павлов первый из них, но затем также Б.Ф. Скиннер и др.); на основе их трудов возник бихевиоризм. Но уже много десятилетий им владеет теория познания и когнитивная психология.
Learning – это постоянное изменение самого себя вследствие переживаемого личного опыта прочитанного, услышанного, увиденного, содеянного и т. д., т. е. изменение себя вследствие устойчивой ежеминутной рефлексии как самонаучения через переживание как единицы психического развития. Теперь читателю, надеюсь, ясно, что без этого определения прочитанное им слово «научение» вряд ли позволило бы ему понять его подлинный смысл/значение.
В зарубежных научных трудах уже много лет строго различают термины «teaching» (обучение) и «learning» (научение). Первое имеет узкопрофессиональную и традиционную коннотацию, второе – уже почти общенаучную, даже философскую. В 2014 г. вышла крупная монография нобелевского лауреата Джозефа Стиглица «Creating a Learning Society» – «Создание learning (самонаучающегося?!) общества». Термин, таким образом, вышел (!) далеко за пределы образовательной отрасли. В контексте термина «изменение образования», как и в контексте термина, обозначающего «образование» как науку, слово «learning» является ключевым, а школьное сообщество рассматривается как «сообщество научающихся (learners)», «включающее учеников, учителей, родителей, чиновников и других стейкхолдеров».
Повторимся: в этой книге learning переводится как «научение», но теперь читатель знаком с его реальным значением.
Данная книга посвящена объяснению, способам применения и интерпретирования новой технологии оценивания деятельности как образовательных институтов (региональный и муниципальный органы управления образованием), так и «участников образовательного процесса» – в первую очередь учителей и учеников. Вызывает сожаление, что наше образовательное сообщество вообще незнакомо с зарубежными технологиями важнейшего для управления школой явления – оценивания. Точно так же, как и то, что в нашей профессиональной лексике нет понятий и слов, адекватных learning или school improvement, у нас «оценивание» – это нечто «бытовое» от 2 до 5, а не система, оснащенная своей концепцией, набором понятий, статистическими методами учета и анализа.
В зарубежной науке об образовании имеется по крайней мере два слова/понятия об оценивании: 1) assessment – процесс оценивания (измерения) успешности learner (учеников-научающихся); 2) evaluation – процесс оценивания (измерения) эффективности образовательных программ, учебного плана, мероприятия и (!) учителя. Подчеркнем, что оба понятия – это процессы, а не «от 2 до 5», как у нас. И эти процессы имеют свои формы и правила.
Assessment включает много форм. Основные из них:
• Формирующее оценивание (formative assessment). Это форма оценивания, обеспечивающая ученику постоянную обратную связь с результатами его обучения/научения. Она формирует (через обратную связь) у ученика включенность в жесткий ритм рабочих усилий (work efforts) процесса обучения/научения. Чем чаще проводится формирующее оценивание, тем прочнее ученик держится в ритме необходимого для эффективного обучения рабочего усилия. Формирующее оценивание – это особый вид оценивания результатов не между началом и концом прохождения модуля, триместра, части предметной программы. То есть это не просто промежуточное оценивание, а регулярное, «за каждый урок», «за каждый параграф». Только в этом случае возникает постоянная обратная связь, постоянное соблюдение учеником своей «трудогольной» и ответственной формы обучающегося субъекта. Это как пульс – сокращение сердечной мышцы. Остановился пульс – нет обучения/научения. Формирующее оценивание – это еще и инструмент воспитания характера (трудолюбивого, рационального, ответственного). Что еще чрезвычайно важно: формирующее оценивание не допускает мошенничества (cheating) – списывания, скачивания, шпаргаления. Там, где есть формирующее оценивание, мошенничество – редкость, а где его нет – норма.
• Итоговое оценивание (summative assessment) – «артефакт (созданный человеком продукт), которым проверяются знания ученика в конце программы, которой его научают, чтобы обеспечить ретроспективное видение того, чему он был научен» (цит. по:
• Диагностическое оценивание – с целью определить то, что ученику (learner!) уже известно, и то, чему его нужно научить.
• Оценивание с выбором одного верного ответа (supply response assessment) – когда получивший тест ученик должен выбрать из нескольких представленных ему вариантов тот, который является единственно верным. Эта форма нам хорошо известна.
• Существует еще много форм оценивания, среди которых есть часто применяемые (критериальное оценивание, оценивание одноклассниками, самооценивание, оценивание родителями и др.).
Система оценивания, постепенно созданная в зарубежных странах в ходе реформ/изменений в школьном образовании, – это хорошо продуманный и эффективный, состоящий из многих элементов механизм управления качеством образования – текущего (ежедневного) и регулярного. В тех нескольких десятках российских школ, где есть программы международного бакалавриата, этот механизм во многом известен. Ценность его в том, что он дает точные сигналы для принятия мер по всем факторам, творящим качество, – от профессионального уровня и способности к развитию учителей, от социально-экономического контекста школьного района, который поставляет школе учеников, до состояния дисциплины у отдельных школьников, до места жительства и семейной среды ребенка.
Эта система требует того, чтобы ей не только специально обучали (учителей, завучей, директоров, руководителей органов управления образованием), но и регулярно переучивали из-за ее постоянного совершенствования. она требует постоянного внутри– и межшкольного дискурса, диалога, порождающих инновации в оценивании.
Данная книга знакомит читателя с появившейся более 20 лет назад инновационной технологией оценивания деятельности ученика, учителя, класса, школы, регионального органа управления школьным образованием – измерением добавленной стоимости. Авторы этой инновации взяли данный термин из экономической теории, а точнее, из статистики национальных счетов. «Добавленная стоимость» (value-added) – «стоимость продукции фирмы минус стоимость ресурсов, приобретенных у других фирм; по сути дела, это сумма факторных доходов (factor incomes) фирмы – заработной платы и прибылей» (Словарь современной экономической теории. М., 1997. С. 515).
В нашей стране это был в какой-то мере многострадальный термин. Наше национальное (советское) счетоводство считало национальным продуктом валовую сумму всего, что производилось цехами и предприятиями (так называемый фабрично-заводской счет). Получавшаяся сумма содержала тем самым огромный повторный счет, в котором многократно учитывались одни и те же расходные статьи. Зато сумма выглядела впечатляюще. Больших политических и личных издержек стоило выдающемуся советскому премьер-министру А.Н. Косыгину ввести термин, аналогичный добавленной стоимости, – «условно-чистая продукция». С тем чтобы, наконец, получать четкую информацию о том, что реально произведено в стране в данном году «в чистом виде» без промежуточных затрат при переходе продукта из цеха в цех, с завода на завод, из отрасли в отрасль вплоть до конечного продукта.
Вот этот термин и оказался примененным к задачам школьного образования, связанным с многогранной проблемой оценивания результатов. Добавленная стоимость (в этой книге) – «это разница между начальной успеваемостью ученика (результатами тестов прошлого года) и его текущей успеваемостью (результатами тестов этого года)». вводя это понятие, его авторы подчеркивали, что речь не идет о разовом контроле разницы в результатах между временем t0 и t1. Речь идет о создании системы статистического учета данных, их накопления, обработки специальными статистическими методами и обеспечения их транспарентности с целью постоянного анализа и принятия конкретных решений в отношении всех субъектов школьной образовательной деятельности.
Фактически авторы исходили из того, что для эффективных решений по проблемам качества недостаточно дискретной картины успеваемости, – нужна непрерывная многолетняя картина прогресса (регресса) результатов, т. е. картина процесса (измеряемая статистически). Но не просто процесса обучения школьников, а процесса деятельности образовательной системы в целом, включая, например, процесс профессионального развития учителя, процесс поступления в школу ресурсов и т. д. Согласимся, что для нас это необычный подход, резко меняющий градус ответственности всех субъектов данного процесса. Ведь понятие добавленной стоимости относится ко всем этим субъектам, так как «отвечает» за результат не только ученик, но и (даже в большей мере) учитель, директор, орган управления, ответственный за обеспечение школы ресурсами, и т. д.
Применение технологии измерения добавленной стоимости позволяет выявить сильные стороны деятельности субъектов и вызовы, с которыми они сталкиваются. Авторы не используют привычный нам термин «слабые стороны», а акцентируют термин «вызов» (challenge). При этом имеются в виду постоянные ситуативные и иные изменения образовательной среды: смена значительной части состава класса (это вызов), уход одного учителя и приход другого (это вызов) и т. д. Считается, что слабых сторон не должно быть по определению, так как их ничем нельзя было бы оправдать, особенно в школе со стажем. Зато вызов – явление нормальное и регулярное, как следствие постоянных изменений, и его постоянно ждут, поскольку он мотивирует быструю мобилизацию реакции. Школа тем самым держит себя «в форме», является learner.
Читатель, намеревающийся всерьез освоить эту технологию, разберется во всех ее непростых деталях без подсказки редактора перевода. Но хотелось бы особо подчеркнуть большую значимость этой книги для российского читателя по той причине, что она ярко и зримо прямо-таки преподносит многочисленные признаки высокой образовательной культуры во всех ее аспектах – организационных, этических, межличностных, гуманистических и т. д. Читатель обнаружит, что нельзя (!) просто спустить сверху вниз школе эту технологию, как это делается у нас.
Сначала нужно научить ею пользоваться (не на двухчасовом семинаре), проверить – научились ли, и только затем ожидать, что школа начнет ее применять. Но и сразу после этого нужно мониторить корректность этого применения, сопровождать новичков, помогать им.
Читатель обнаружит, что результаты анализа данных о добавленной стоимости – важный инструмент дифференциации оплаты труда учителя: не за нагрузочные часы, а за результат. Что первый неуспех учителя – не повод пересматривать оплату его труда, а повод для анализа вызовов, с которыми он столкнулся, вероятно даже для предоставления ему возможности повысить квалификацию. Тема «профессионального развития учителя» – все время в центре внимания этой книги, особенно в формах профессиональных диалогов, групповой работы – НАУЧЕНИЯ (learning) друг друга. В этой книге «научение» – эндемическое свойство «правильной школы», и этим свойством отличаются все ее субъекты, а мерой прогресса «научения» является добавленная стоимость.
Читатель увидит, что школа должна уметь собирать, организовывать и анализировать информацию о себе. Без этого завуч – организатор мероприятий (зачастую бессмысленных), а не учебного и воспитательного процессов, не организатор результатов, а распределитель нагрузки, диспетчер и т. д.
Читатель обнаружит, что управление в школе – это не «руковождение», а контроль/рефлексия/подстройка на основе точных и прозрачных данных и измеряемых событий. Что школа – это автономная институция с достаточно широкими правами, но и с серьезной ответственностью. Что с органами управления ее связывает профессиональное взаимодействие и даже партнерство, а не «право на молчание и нагнутость» перед начальством. Что школьный импрувмент, регистрируемый добавленной стоимостью, начинается не с учителя и директора, а с создания в школе условий (достойная зарплата, оборудование, ремонт, социальная безопасность и т. д.) для «производства» искомой добавочной стоимости.
Читатель узнает из этой книги, что в любой школе есть учителя (доля их колеблется от школы к школе), которые не должны были бы стать учителями просто потому, что им это не по способностям. Но выявить таких учителей помогла именно технология добавленной стоимости.
Семиэтапный процесс оценивания школьного импрувмента, который заодно с технологией добавленной стоимости показан в этой книге, – мощный механизм социальной деатомизации учителя. То, что наше общество социально чрезвычайно атомизировано, – прописная истина. Но особо атомизирован учитель: «нагибаемый» всеми (родителями, начальниками, учениками – среди всех этих категорий есть немало любителей поглумиться над учителем), он живет как бы в стеклянном шарике. Добавленная стоимость способна вывести его «к людям», в пространство доброжелательного профессионального диалога, общения, взаимодействия, содружества. Потому что эта технология измерения процесса (и прогресса) наделяет его смыслом производства результата, прозрачной причастности к нему каждого, желанием каждого не быть от него отчужденным, а разделить радость «успехов» и готовность встретить вызовы.
Одна из главных идей этой книги состоит в том, что совершенствование и прогресс в школьном образовании происходят только в коммюнотарном (Н.А. Бердяев) пространстве, где все и во всем связаны друг с другом разделяемыми радостями и тяготами, взаимным, но саморазвитием, взаимным, но самообучением, присвоением друг другу той самой добавленной стоимости, которую каждый создает по-своему, а вместе у них получается капитал – человеческий и социальный. Вместе у них получается школьный импрувмент, так как технология измерения добавленной стоимости напрямую влияет на его главные (и постоянные) инструменты:
• изменение учебного плана (и ООП в целом) и практики обучения;
• организационное развитие;
• профессиональное развитие учителя;
• децентрализацию принятия решений.
Технология добавленной стоимости, как это следует из книги, применяется пока не во всех штатах. И это тоже говорит о культуре. В данном случае о культуре внедрения инноваций и технологий: не приказом сверху вниз для всех и каждого, и с такого-то дня, а через обучение, опробование, коррекцию, поддержку, диалог участников, информирование родителей.
Думается, что эта книга должна стать настольной у каждого, для кого школа – профессия и смысл жизни.
Москва
Рис. В.1. Цикл импрувмента на основании анализа данных о добавленной стоимости
Рис. 1.1. Успеваемость и социально-экономический статус
Рис. 1.2. Элли и Янира: успеваемость за 5-й класс
Рис. 1.3. Прогресс и социально-экономический статус
Рис. 1.4. «Двойная сила»
Рис. 1.5. Элли и Янира: динамика изменений
Рис. 1.6. Матрица прогресса и успеваемости
Рис. 1.7. Цикл сбалансированного оценивания
Рис. 1.8. Влияние преподавателя на успехи учеников
Рис. 1.9. «Двойная сила»: форма для заполнения
Рис. 2.1. Ускорение прогресса учащихся, улучшение результатов и ожиданий (ASPIRE)
Рис. 3.1. Фокус на системе
Рис. 4.1. Фокус на системе
Рис. 4.2. Матрица «Фокус на моем округе»
Рис. 4.3. Диагностические отчеты округа N за 2010 г. (математика, классы с 4-го по 8-й)
Рис. 4.4. Диагностические отчеты округа N за 2010 г. (4-й класс)
Рис. 4.5. Шаблон матрицы «Фокус на моем округе»
Рис. 5.1. Фокус на системе
Рис. 5.2. Сравнительный отчет по добавленной стоимости, В исконсин
Рис. 5.3. Матрица «Фокус на моей школе»
Рис. 5.4. Диагностические отчеты школы (литература и математика)
Рис. 5.5. Шаблон матрицы «Фокус на моей школе»
Рис. 6.1. Отчет по добавленной стоимости на уровне учителя
Рис. 6.2. Учительский отчет по г. Нью-Йорк
Рис. 6.3. Учительский отчет по г. Нью-Йорк: подгруппы
Рис. 6.4. Матрица «Фокус на моей школе»
Рис. 6.5. Диагностические отчеты школы (5-й класс)
Рис. 7.1. Диаграмма И сикавы («рыбий скелет»)
Рис. 7.2. Диаграмма И сикавы: для позитивных показателей
Рис. 7.3. Диаграмма И сикавы: для негативных показателей
Рис. 7.4. SMART-цели
Рис. 7.5. SMART-цели: план действий
Рис. 7.6. Диагностические отчеты школы: группа учителей 5-го класса
Рис. 7.7. Диаграмма И сикавы: для позитивных показателей группы учителей 5-го класса
Рис. 7.8. Завершенная диаграмма И сикавы: для позитивных показателей
Рис. 7.9. Диаграмма И сикавы: для негативных показателей на уровне класса
Рис. 7.10. Завершенная диаграмма И сикавы: для негативных показателей
Рис. 7.11. Системная диаграмма И сикавы: для позитивных показателей
Рис. 7.12. Системная диаграмма И сикавы: для негативных показателей
Рис. 7.13. Диаграмма И сикавы (уровень школы): для позитивных показателей
Рис. 7.14. Диаграмма И сикавы (уровень школы): для негативных показателей
Рис. 7.15. SMART-цели: пример измерения результата
Рис. 8.1. Цикл сбалансированного оценивания
Табл. 4.1. Окружной отчет по добавленной стоимости (математика)
Табл. 5.1. Школьный отчет по добавленной стоимости (математика)
Эта актуальная книга выходит в свет в самый подходящий момент: именно сейчас она окажет большую пользу преподавателям и заведующим учебным процессом. Несмотря на то что анализ данных о добавленной стоимости применяется уже более 20 лет, его повсеместное использование начинается только теперь. При этом существует множество форм анализа, к которым можно применить понятие добавленной стоимости, и эти формы значительно отличаются друг от друга с точки зрения используемых оценок, аналитических инструментов и путей их применения (или неприменения) в сфере образования – для оценки преподавателей и тех, кто управляет учебным процессом.
Даже самая лучшая система оценки окажется бесполезной, если учителя и школьные руководители не используют ее для совершенствования методов работы. И именно практическое применение анализа данных о добавленной стоимости легло в основу этой книги.
Чтобы разработать надежные и достоверные методы оценивания учеников, от разработчиков тестов и психометристов требуется изрядная доля энтузиазма. Проведение анализа данных о добавленной стоимости может включать чрезвычайно сложные математические расчеты, например матрицы вариаций-ковариаций. Но преподавателям и завучам, чтобы успешно применять в своих классах результаты анализа добавленной стоимости, необязательно становиться психометристами или экспертами по статистическим методам. Нам не нужно разрабатывать и собирать компьютеры, чтобы ежедневно пользоваться ими для решения наших профессиональных задач, и точно так же от нас не требуется заниматься аналитическими расчетами, чтобы применять их результаты в нашей работе.
Уже широко известно, что анализ данных о добавленной стоимости показывает глубинное влияние качества преподавания на результаты учебы. Однако часто при его обсуждении образуется замкнутый круг: чтобы получать более высокие баллы, нужно быть лучшим учителем, а чтобы быть лучшим учителем, необходимо получать более высокие баллы. Причем при рассмотрении добавленной стоимости практически не существует инструментов, позволяющих выявить, какие именно особенности работы отличают лучших преподавателей от всех остальных. Когда исследование опирается на процентильный анализ, в верхний квинтиль по определению попадает ровно 20 % всей выборки, т. е. лишь одна пятая учителей может оказаться в числе лучших. И при этом, естественно, 49,9 % всех учителей оказываются неудачниками – их показатели находятся ниже среднего уровня. К сожалению, такой анализ, будучи, бесспорно, интересным с исследовательской точки зрения, вряд ли вызовет энтузиазм среди педагогов и школьных администраторов. Вот почему эта работа Кеннеди, Питерс и Томаса имеет такое большое значение. Если не ограничиваться лишь изучением данных об успеваемости, а рассматривать также и ведущие к успехам в учебе профессиональные практики, то фокус дискуссии сместится от банального наказания за неудовлетворительную работу к возможности анализировать и выбирать наиболее эффективные методы преподавания, а с точки зрения учителя – от оборонительной тактики к осмысленному профессиональному развитию. Многочисленные свидетельства педагогов и школьных администраторов доказывают, что анализ данных о добавленной стоимости может применяться так, чтобы не подрывать уважение к учителям и не провоцировать поток жалоб и судебных исков. Правильное использование этого анализа лишь улучшает педагогическую практику и укрепляет авторитет руководителей. важно отметить, что процесс анализа задействует все элементы системы, в том числе различные факторы на уровне класса, школы и округа, влияющие на добавленную стоимость, получаемую учащимися. Качество преподавания чрезвычайно важно, но некоторые характеристики и факторы системы могут препятствовать эффективному преподаванию, и именно поэтому данная книга охватывает рассмотрение системы в целом и описывает ее влияние на преподавание и обучение.
Ценность глав 7 и 8 – в глубоких исследованиях и рефлексии. Важнейшие идеи, содержащиеся в этой книге, могут лечь в основу целенаправленного процесса исследования причин научения и природы эффективного преподавания. Это не система инструкций, в которой приглашенный специалист говорит вам: «Примите две таблетки и позвоните мне утром». Приведенные в книге инструменты и последовательности действий послужат педагогам руководством для проведения исследований и совершения открытий. Кого-то из читателей такой подход может разочаровать: «Просто укажите нам, что делать!» – раздраженно скажут они. Но на таком пути уже были разбазарены миллиарды долларов и упущены тысячи возможностей: политики и методисты постоянно предлагали педагогам различные рецепты, не давая им времени на то, чтобы понять, что они делают, и осознать причины и следствия своих действий. Вот почему «приживаемость» даже самых многообещающих оперативных мер в образовании оказывается очень низкой, а срок жизни большинства педагогических инноваций обычно не превышает нескольких лет. многолетняя гонка за новшествами превратилась в аналог популярного игрового автомата «Убей крота», когда методисты и политики сферы образования бросаются устранять постоянно возникающие тут и там проблемы, не преуспевая в их решении и не видя им конца и края. Как пишут Кеннеди, Питерс и Томас: «К сожалению, результатом стремления улучшить все и вся оказывается отсутствие значимых улучшений в чем бы то ни было» (см. с. 111). Концентрация всякий раз на конкретной задаче вместо попытки решить сразу все проблемы позволяет учителям сфокусироваться на потребностях конкретных учеников и на определенных педагогических практиках, следить за результатами и принимать при необходимости оперативные меры.
Первое – поскольку работа Кеннеди, Питерс и Томаса очень хороша, со своей стороны не могу не высказать те же самые соображения, что были со всей беспристрастностью обозначены авторами. А именно, хочется сформулировать пять предостережений для руководителей сферы образования, а также для определяющих образовательную политику экспертов и чиновников, собирающихся внедрять анализ данных о добавленной стоимости. Первое – без специализированного обучения эта система может оказаться не просто бесполезной, а вредоносной. Технология добавленной стоимости в образовании много раз была скомпрометирована неправильным использованием. Когда педагоги и администраторы оказываются погребены под грудой данных, которых они не понимают, они не могут использовать их для принятия правильных решений. Если учителя не понимают информации об оценивании их работы и не доверяют ей, преподавательский состав охватывает чувство бессилия и отчаяния, на преодоление которого могут уйти годы. Велик соблазн обеспечить государственное финансирование систем оценки добавленной стоимости в школах и штатах, испытывающих финансовые затруднения, и при этом не предоставить учителям времени и ресурсов для того, чтобы научиться грамотно использовать эти системы. Затем, когда финансовые потоки неизбежно иссякнут, критики скажут: «Мы же говорили, что тратить на образование еще больше денег – бессмысленно». Купить космический корабль, не обучив космонавтов обращаться с ним, – сомнительная стратегия. И следует учесть, что обучение – это продолжительный процесс: одного вводного семинара недостаточно. Анализ данных о добавленной стоимости должен стать «образом жизни» – привычкой, а не просто еще одной новой инициативой.
Второе – прозрачность и контролируемость может быть средством научения или инструментом грубой силы – но не тем и другим одновременно. Кеннеди, Питерс и Томас предлагают обратить внимание на глубинные причины отчетных результатов и на качество преподавания. Политики часто прибегают к такому лозунгу-угрозе: «Мы заставим учителей отвечать за получаемые ими результаты!». Я бы предложил сменить этот лозунг на другой: «мы заставим учителей, администраторов, методистов и чиновников сферы образования отвечать за то, как они реагируют на свои отчетные данные». Я работал с педагогами и администраторами по всему миру, и никогда не встречал тех, кто хотел бы быть неуспешным в своей работе, но постоянно встречал тех, кто не знает, как добиться успеха. И им никогда не приобрести необходимых для успеха знаний в условиях постоянных угроз.
Третье – результаты самого качественного анализа данных о добавленной стоимости окажутся бесполезными, если тесты не соответствуют задаче. Например, подавляющее большинство тестирований внутри штата имеют в своем составе только задания, связанные со стандартами для данного уровня обучения, в то время как суть анализа данных о добавленной стоимости состоит в том, что он помогает учителям увидеть прогресс учеников, находящихся как на уровне стандартов, так и выше или ниже. Поэтому, чтобы более полно использовать потенциал анализа данных о добавленной стоимости, необходимо проводить тестирование чаще и включать в него большее количество составляющих, чем сегодня. И до тех пор, пока штаты и округа не решат эту серьезнейшую проблему, этим школам и округам придется прибегать к другим методам измерения успехов учеников – особенно тех из них, кто опережает своих сверстников, – чтобы избежать парадоксальной ситуации, при которой учитель, все 100 % учеников которого отвечают стандартам штата и демонстрируют хорошие результаты тестов, попадает в низшие квинтили и считается неэффективным, потому что на шкале измерений просто больше нет места.
Четвертое – суть анализа данных о добавленной стоимости состоит в сравнении результатов одного и того же ученика. Это утверждение гораздо более актуально для стабильных пригородных сообществ, чем для городских школ с высокой текучестью. Переменчивость состава учащихся характерна и для школ с высоким уровнем бедности – ведь семьи часто переезжают под влиянием множества факторов, в том числе из-за стоимости аренды жилья, разводов и безработицы. Ужасным непредвиденным следствием применения анализа отчетов по добавленной стоимости может стать появление у учителей экономического стимула для того, чтобы постоянным ученикам уделять больше внимания, чем переходящим из школы в школу. Некоторые из систем анализа данных о добавленной стоимости справляются с этой проблемой, возмещая обоснованными оценками пробелы тестирования, но в целом нестабильность состава учеников значительно затрудняет педагогам анализ глубинных причин получаемых результатов.
И наконец, пятое – руководители должны следить за тем, чтобы анализ данных о добавленной стоимости не подменял здравый смысл. Центром эффективного преподавания остается ежедневная последовательная работа по обучению и оцениванию учеников. этот каждодневный труд – планирование и проведение уроков, стремление удовлетворять учебные потребности учеников, создание условий для их роста и, при необходимости, исправление ошибок – должен быть объектом пристального внимания руководителей сферы образования на всех уровнях. Как утверждают авторы, анализ данных о добавленной стоимости может предоставить мощную информационную поддержку в ежедневной работе педагога. Но даже самый сложный анализ никогда не заменит необходимости внедрения и контроля эффективных педагогических методик.
Д-р Ривз – основатель Центра лидерства и научения (www. LeadandLearn.com), автор более 30 книг по лидерству и эффективности организаций.
США находятся в состоянии активного болезненного перехода от индустриальной экономики к экономике, основанной на знаниях. Большинству из нас хорошо известно, что новая экономика требует от людей совершенно иных навыков, знаний и особенностей характера, чем требовала индустриальная эпоха. Но, похоже, не все из нас действительно готовы к переменам. Мы видим, что институт образования находится прямо в эпицентре этой, так сказать, штормующей проблемы. Людям необходимо перевооружаться, но те, кто в ответе за это перевооружение – педагоги, – пока сами пытаются понять, как им перевооружить самих себя. И сегодня самыми острыми для работников сферы образования становятся вопросы «С чего начать?», «Как сконцентрировать внимание на улучшениях?» и «Как мы должны изменить лицо образовательной системы, чтобы изменить лицо экономики?». Это трудные вопросы, требующие продуманных, применимых на практике ответов.
Один из возможных ответов содержится в сравнительно недавней инновации в сфере образования: анализе данных о добавленной стоимости. Проведя тщательный статистический анализ результатов тестирования за продолжительное время, можно с большой степенью надежности оценить вклад округа, школы и даже конкретного учителя в академические достижения учащихся. Впервые у педагогов появилась достаточно надежная мера продуктивности. Такое достижение кажется незначительным, но это вовсе не так. Поскольку мера продуктивности связывает процессы образования с их результатами, она принципиально важна для любого обдуманного системного импрувмента. Вот почему анализ данных о добавленной стоимости – один из сильнейших рычагов, способный помочь педагогам сдвинуться с мертвой точки. Но что такое анализ данных о добавленной стоимости? Как его можно использовать для совершенствования сферы образования? Как он поможет педагогам усиливать свои преимущества и решать проблемы? Как анализ данных о добавленной стоимости поможет большему количеству учителей помогать большему количеству учеников?
Эта книга была написана для того, чтобы ответить на эти и другие важные вопросы относительно добавленной стоимости. Она не о тестировании и не о статистическом моделировании. И не о том, как использовать анализ данных о добавленной стоимости для оценки учителей и распределения заработной платы в соответствии с этой оценкой. Книга эта о том, как улучшить научение учеников. она написана для педагогов и других работников сферы образования, стремящихся повысить уровень образования, которое ученикам необходимо и которого они заслуживают.
Мы написали эту книгу, потому что подобной литературы для педагогов до сих пор не было. сегодня доступны материалы о потенциальных последствиях анализа данных о добавленной стоимости, о связанных с ним методологиях или об использовании его в целях оценки работы учителей. До сих пор в стороне оставался вопрос об особой значимости полной информации о добавленной стоимости для информационного подкрепления и дизайна образовательного импрувмента. мы верим в педагогов и в их способность к изменению самих себя. мы также верим, что информация о добавленной стоимости – это именно тот инструмент, который поможет начать критически важное обсуждение, чтобы такая трансформация произошла.
Эта книга дает нам возможность устранить пропасть между обладанием информацией о добавленной стоимости и ее использованием [McCaffrey, Hamilton, 2007]. Возможно, внеся ясность в само понятие анализа данных о добавленной стоимости, а затем предложив конкретные, основанные на опыте других педагогов инструкции по его использованию, мы сможем сократить пробел между «знать» и «делать». Мы используем примеры из жизни – истории успеха – потому что реальные примеры всегда были одним из мощнейших инструментов образования [Rossiter, 2002].
Кроме того, мы собираемся помочь педагогам поразмышлять над тем, что они могут предпринять для улучшения качества всех научающих процессов, проходящих в их школе. Работая с учителями из разных уголков страны, мы на опыте убедились, что анализ данных о добавленной стоимости может быть использован для улучшения научения детей – для развития этого процесса как вширь, так и вглубь. Мы своими глазами видели, как учителя перестраивают свою работу, получив доступ к данным о добавленной стоимости, а также получив возможность изучать эти данные и предпринимать на их основе конкретные действия. Мы видели, как, сформировав правильную культуру образовательного процесса и создав необходимые для изучения и использования данных организационные структуры, руководители школ добивались совершенно недосягаемых ранее успехов. Мы видели, как школьные округа повышали свои результаты до беспрецедентного уровня, внедрив в процесс школьного импрувмента информацию о добавленной стоимости. Во многих случаях повышалась вовлеченность учеников, сокращалось число обращений к начальству, а личная эффективность учителей взлетала до небес. Эти примеры дают так необходимый нам сегодня стимул к тому, чтобы испытать что-то новое и отличающееся от привычных методов работы. В этой книге вы познакомитесь с Кейти и Хизер – учителями, использовавшими информацию о добавленной стоимости для того, чтобы обогатить процесс научения всех своих учеников. Вы узнаете историю Кими – руководителя, чья школа значительно улучшила свои результаты, тщательно анализируя информацию о добавленной стоимости и реагируя на нее. Вы также прочтете о Тине и Бобби – директорах, которые осуществили в своих школах импрувмент высочайшего уровня.
И наконец, еще одна, может быть главная, причина, по которой мы взялись за написание этой книги, состоит в том, чтобы дать читателю возможность по-новому взглянуть на образовательный импрувмент. Импрувмент не должен быть лишь уделом тех, чьи показатели далеки от желаемых. Он также не должен проводиться внешними экспертами. Импрувмент должен стать повседневной работой, определяющей профессию педагога. Хорошая новость в том, что постоянно улучшать процессы преподавания не сложнее, чем улучшать любую другую сферу жизни. Все дело в простых и понятных процедурах, постоянных обсуждениях и экспериментах. Все дело в приобретении знаний и в том, чтобы делиться этими знаниями и распространять опыт успешных школ. Ценность данных, и особенно данных о добавленной стоимости, состоит в том, что они могут помочь вам найти неоткрытые до сего дня острова совершенства.
Независимо от того, является ли анализ данных о добавленной стоимости новой для вас темой, или вы стремитесь найти лучшее применение имеющейся у вас информации о добавленной стоимости, эта книга поможет вам понять, какие улучшения вам нужны, и как их осуществить.
Чтобы задать читателю ясное направление, мы построили повествование на практическом пятиэтапном цикле импрувмента, представленном на рис. В.1. Руководствуясь своим многолетним опытом работы с учителями и директорами школ, мы разработали этот цикл достаточно простым, чтобы оказывать смысловую поддержку, но достаточно сложным, чтобы отразить реальные составляющие процесса импрувмента в рамках класса, школы и округа. Изображенный ниже цикличный процесс непохож на другие циклы улучшений, многие годы применявшиеся в сферах образования и бизнеса. Мы выработали нашу схему на базе классического непрерывного цикла улучшения У. Эдвардса Деминга «Планируй – Выполняй – Изучай – Действуй», получившего распространение в 1950-х годах. Цикл улучшений на основании добавленной стоимости состоит из следующих этапов.
Шаг I: Погружение в анализ данных о добавленной стоимости.
Шаг II: Оценка результатов для выявления сильных сторон и вызовов.
Шаг III: Выявление глубинных причин.
Шаг IV: Разработка плана по импрувменту.
Шаг V: Действие, контроль, подстройка.
Рис. В.1. Цикл импрувмента на основании анализа данных о добавленной стоимости
Первый этап цикла – погружение в анализ данных о добавленной стоимости – описан в первых трех главах книги, нет ничего магического в том, чтобы начать этот анализ, нужно лишь полностью погрузиться в него, целенаправленно и с энтузиазмом.
Главу 1 мы начнем с определения анализа данных о добавленной стоимости, разберемся, в чем его отличие от данных по успеваемости. это различие принципиально важно для понимания того, как толковать результаты анализа данных о добавленной стоимости. Кроме того, важно понимать роль, которую анализ данных о добавленной стоимости играет в системе сбалансированного оценивания. В этой главе также затрагивается ряд вопросов применения анализа данных о добавленной стоимости и приводятся результаты некоторых исследований, проведенных на базе этого показателя.
Глава 2 посвящена тому, как создавать условия для успешного внедрения и применения анализа данных о добавленной стоимости, в том числе тому, как формировать образовательную культуру, основой которой являются эти данные; как обеспечивать профессиональное развитие и как получить доступ к отчетам по добавленной стоимости. Из этой главы вы также узнаете, как некоторые из наших клиентов-партнеров смогли «погрузиться» в свои отчеты по добавленной стоимости.
Эта глава содержит практические инструменты, которые помогут вам и вашим коллегам начать процесс внедрения анализа данных о добавленной стоимости в свою практическую деятельность.
В главе 3 основное внимание сфокусировано на системном импрувменте в образовании и на том, почему анализ данных о добавленной стоимости является важным отправным пунктом для начала процесса импрувмента в округе, школе и классе. Мы познакомим вас со структурой импрувмента в образовании, которую мы назвали BFK·Фокусом. эту структуру можно представить как последовательное продвижение через три воронки анализа, соответствующие трем уровням структуры школьного образования, что позволяет педагогам ставить цели, опирающиеся на отчетные данные (см. рис. 3.1). На протяжении всей книги вы будете систематически проходить через все три воронки, соответствующие каждому из уровней вашей организации.
Главы 4, 5 и 6 посвящены второму этапу цикла – оценке результатов для выявления сильных сторон и вызовов. В этих главах вы научитесь читать отчеты по добавленной стоимости на уровне округа, школы и класса, составлять матрицу для оценки результатов этих отчетов и анализировать дезагрегированные данные, чтобы выявлять сильные стороны и вызовы для вашего округа, школы или класса.
Третий и четвертый этапы цикла импрувмента на основе анализа данных о добавленной стоимости – выявление глубинных причин отчетных результатов и разработка плана по импрувменту – описаны в главе 7. Основная задача этой главы – описать процесс поиска глубинных причин, лежащих в основе достигнутого успеха и выявленного вызова. Мы собираемся последовательно обучить вас анализу глубинных причин, результатом которого станет появление практичного плана импрувмента.
Глава 8 завершает полный цикл импрувмента школьного образования на основе отчетных данных о добавленной стоимости. На этом этапе – действие, контроль, подстройка – вы узнаете, как приступить к реализации вашего плана импрувмента, действуя на основании информации о добавленной стоимости. Также вы научитесь контролировать реализацию этого плана и при необходимости менять его, оценивать успешность вашего плана импрувмента, а затем начинать все заново, опираясь на новые данные. В этой главе мы поделимся с вами историями учителей, школ и округов, которые совершили переход от получения данных к их анализу, планированию и действию. Эти истории доказывают, что импрувмент – результат вдумчивого руководства, последовательных действий и постоянного совершенствования.
эта книга предлагает вашему вниманию уникальную пятиэтапную систему применения анализа данных о добавленной стоимости, результатом которой станет практический ясный план, основанный на выяснении глубинных причин ваших конкретных позитивных и негативных результатов. Здесь же представлено руководство по составлению плана импрувмента и по его последующим реализации, контролю и подстройке, которые со временем становятся необходимыми. Каждая из глав рассказывает, как осуществлять шаги цикла в контексте школьного импрувмента.
Чтобы поддержать вас в реализации этого пятиэтапного процесса, каждую главу мы дополнили полезными деталями: конкретными примерами из практики, практическими заданиями в конце каждой главы и вопросами для обсуждения. Задания и вопросы призваны помочь педагогам путем коллегиального обсуждения внедрить в свою работу успешные практики, основанные на анализе данных о добавленной стоимости. Инструментарий, предлагаемый в конце большинства глав, включает шаблоны, протоколы и другие инструменты, помогающие в осуществлении практических шагов по использованию анализа данных о добавленной стоимости. Каждый из этих инструментов занимает не больше страницы и может быть размножен для использования на собраниях учителей и руководителей.
Многие благие начинания канули в пропасть, лежащую между знанием и действием. возможно, причина этого в том, что мы исторически проводим больше времени за изучением теории, чем за ее освоением на практике. Освоение практики проходит успешнее, когда можно учиться у других и вместе с другими. Дети не могут выучить язык без посторонней помощи – кто-то должен поощрять их говорить и помогать им облекать мысли в слова. Аналогично, если мы хотим избавиться от лишнего веса, лучше делать это в группе единомышленников, следуя программе, помогающей освоить новые привычки и ставящей перед нами измеримые цели. Поэтому мы призываем вас читать и обсуждать эту книгу в сообществе профессионалов из сферы образования. Вместе члены вашего сообщества могут не просто узнать больше о добавленной стоимости, производимой вашей организацией, но и составить планы по превращению ваших новых знаний в действия. Мы предлагаем ежемесячно знакомить каждого из членов вашей группы с одной из глав. После прочтения группа может собраться вместе для работы над практическими заданиями и обсуждения поставленных в конце главы вопросов.
Сейчас вы, скорее всего, задумались – где взять информацию для анализа данных о добавленной стоимости, и доступна ли она вам. Анализ отчетов по добавленной стоимости проводится во многих точках Соединенных Штатов, но округа, которые применяют его для того, чтобы связать прогресс ученика с работой учителя, все еще редкость.
На момент публикации книги информация о добавленной стоимости доступна в шести штатах, а благодаря соревнованию «Гонка за первенство» (Race to the Top – RttT) в открываемых этой информацией возможностях заинтересованы и многие другие штаты. В таких штатах, как Северная Каролина, Огайо, Теннесси и Пенсильвания, отчеты по добавленной стоимости получили широкое распространение. Школы 14 штатов и Вашингтона, округ Колумбия, подключены к модели школьной реформы под названием «Система прогресса учителя и ученика» (System for Teacher and Student Advancement Program – TAP), которая использует анализ данных о добавленной стоимости для поддержки своей деятельности по школьному импрувменту, такой как помощь в карьерном росте, постоянное профессиональное развитие, усилия по обеспечению прозрачности преподавательских практик и инициативы по внедрению дифференцированной системы оплаты труда по результатам работы.
Отчеты по добавленной стоимости формируются и в нескольких крупных городах. Объединенный школьный округ Сан-Диего, штат Калифорния, и школы округа Игл, штат Колорадо, ежегодно измеряют прогресс учеников. Департамент образования Нью-Йорка выпускает учительские отчеты, демонстрирующие учителям уровень их эффективности по сравнению с другими учителями штата со схожими характеристиками. Недавно показатели о влиянии учителей в виде добавленной стоимости начал формировать Объединенный школьный округ Лос-Анджелеса. Школьные округа Техаса – в том числе Независимые школьные округа Хьюстона и Форт-Уэрта и Лонгвью – начали применять анализ данных о добавленной стоимости, чтобы выявлять учителей, заслуживающих дополнительной компенсации. Также некоторые из получателей грантов фонда Teacher Incentive Fund (TIF) полагаются на информацию о добавленной стоимости.
В 2009 г. на Национальной конференции законодательных собраний штатов бывший президент Microsoft Corporation Билл Гейтс рассказал о том, что в круг интересов его фонда входит выявление высокоэффективных преподавателей. Он отметил, что, «когда мы видим силу учителей верхнего квартиля, мы, естественно, хотим найти этих учителей. мы должны их награждать. мы должны их оберегать. Мы должны сделать так, чтобы другие учителя учились у них».
Заявление Гейтса говорит о том, что Фонд Билла и Мелинды Гейтс считает приоритетной задачей поиск, поощрение и удержание наиболее эффективных учителей. Эта задача соответствует реформам, начатым администрацией Обамы. В 2009 г. президент Барак Обама и министр образования эрни Дункан объявили об учреждении фонда RttT в поддержку инноваций в образовании. Размер фонда составил 4,3 млрд долл. Чтобы претендовать на средства фонда, штаты должны были содействовать инновациям в образовании и поощрять инициативы по улучшению ситуации. В число победителей соревнования «Гонка за первенство» (RttT) за 2010 г. вошли округ Колумбия, штаты Делавер, Флорида, Джорджия, Гавайи, Мэриленд, Массачусетс, Нью-Йорк, Северная Каролина, Пенсильвания, Огайо, Теннесси и Род-Айленд. Важнейшими задачами являются повышение эффективности учителей и реформирование системы оценивания, которые непосредственно связаны с анализом данных о добавленной стоимости. Штаты, победившие в гонке RttT, активно внедряют использование показателей прогресса учеников как одну из составляющих многокомпонентной системы оценивания. Анализ данных о добавленной стоимости – это показатель прогресса, который связывает работу учителя с прогрессом ученика и может быть использован для того, чтобы найти и поощрить эффективных учителей и эффективные школы, а также выявить способы дальнейшего улучшения их работы.
В качестве примера успешного внедрения анализа данных о добавленной стоимости изучим школы Фонда Бенвуд в Чаттануге, штат Теннесси. Когда-то группа начальных школ Фонда Бенвуд считалась худшей в штате. Но этим школам удалось добиться успеха при помощи стратегий профессионального развития и эффективного найма и увольнения учителей, которые позволили оживить всю школьную систему. «Школы Бенвуда прошли большой путь: например, в третьих классах изначально всего 53 % набирали достаточно баллов по чтению для достижения повышенного или экспертного уровней по программе комплексного оценивания Теннесси (Tennessee Comprehensive Assessment Program), а к 2007 г. эта доля уже достигала 80 %» [Haycock, Crawford, 2008].
Что же они сделали, чтобы добиться такого улучшения? Директора и учителя школ Бенвуда начали методично изучать отчеты по добавленной стоимости, чтобы определить свои сильные стороны и вызовы. Педагоги учились у более сильных в определенных областях коллег, чьи успехи подтверждались результатами отчетов о добавленной стоимости. Учителей с наиболее высокими показателями назначали на работу с отстающими по чтению учениками в рамках программы дополнительных занятий, организованной на частные средства. Учителя и директора школ, чьи ученики достигли прогресса, превышающего нормативный уровень, получали материальное вознаграждение. Далее в этой книге мы представим и другие примеры того, как информация о добавленной стоимости становилась центральным элементом процесса школьного импрувмента. Ваш путь к повышению успеваемости учеников и общему улучшению работы вашей школы зависит от того, как скоро вы начнете осваивать и применять пять шагов совершенствования школьной среды.
В первую очередь мы хотим поблагодарить тысячи педагогов, с которыми нам посчастливилось сотрудничать, которые дали нам огромное количество информации, подкрепляющей нашу работу. Со многими учителями и руководителями мы беседовали во время написания этой книги – всех их невозможно перечислить поименно. Благодарим вас за все, что вы сделали, чтобы дать своим ученикам самое лучшее и обеспечить их прогресс и дальнейший успех.
Исполнительный директор Battelle for Kids Джим Махони играл важную роль в формировании видения, необходимого для использования анализа данных о добавленной стоимости при улучшении работы школ, и без его участия эта книга никогда не была бы написана. Каждые день мы работаем со множеством умных людей, прирожденных педагогов, оказывающих нам неоценимую поддержку. Отдельно благодарим Мэри Шульц, Джойс Эллис, Лиэнн Сигенталер, Аню Страйкер, Рика Стадера, Барб Липер, Дайан Стультц, Сэнди Шеденхельм, Джулианн Николс, Лесли Дамрон и Тодда Хелльмана. Удовольствием было работать с Дебби Столленворк, Дезире Бартлетт и Ким Гинберг из Corwin: спасибо вам за то, что вы умеете превращать глобальные проблемы в простые и приятные задачи! Мы также благодарим Эрни Моргана из Центра исследований добавленной стоимости (Value-Added Research Center – VARC) за предоставленную им уникальную информацию и за помощь в получении данных о добавленной стоимости школ Нью-Йорка и Висконсина.
Эта книга обязана своим выходом в свет трудолюбивым учителям и руководителям, которые находили время в своем плотном графике, чтобы встретиться с нами и поделиться своими историями. Они и есть настоящие герои этой книги. Мы благодарим Кими Доддс, Тину Томас-Мэннинг, Бобби Мура, хизер Дзики, Сюзанн Линц, Мэттью Лутца, Мелиссу Кремпански, Марка Абрахамсона, Аманду Геймер, Рене Фаэнца, Лорен Коллер, Алешу Куик, Ревонду Джонсон, Френсис Роджерс, Терри Стала, Неда Керстеттера, Сюзан Кинг, Элизу
Луна, Энн Лефлер, Адама Витикомба, Маурин Тиллер, Роберта Тош Корли, Нэнси Шеали, Бренду Роминес, Элизабет Шиндлдекер, Джессику Цинкарь и Сьюзи Бейли.
Издательский дом Corwin выражает благодарность всем, кто внес в свой вклад в выход этой книги:
Шерри Л. Анни
Преподаватель биотехнологии
Подготовительная гимназия Brebeuf Jesuit Preparatory School
Индианаполис, штат Индиана
Далэйн И. Боуиллион
Заместитель директора по учебным программам и образованию
Независимый школьный округ Спринг
Хьюстон, штат Техас
Барбара Смит Чалоу
Профессор
Университет Мэн в Преск Айл
Преск Айл, штат Мэн
Кэтрин Даффи
Заведующая департаментом английского языка
Центральный школьный округ Three Village
Стоуни-Брук, штат Нью-Йорк
Кейти Дж. Гровер
Заместитель директора школьного округа
Общественные школы Кливера
Кливер, штат Миссури
Мартин Дж. Хьюдакс
Директор округа школьный округ Соланко
Куорривилл, штат Пенсильвания
Глен Ишивата
Директор округа
Школьный округ Морленд
Сан-Хосе, штат Калифорния
Ди Мартиндейл
Координатор программы K-8 STEM
Городские школы Рейнолдсберга
Рейнолдберг, штат Огайо
Патти Палмер
Учитель 6-х классов
Начальная школа Уинфорд
Бакирус, штат Огайо
Джой Роуз
Директор старшей школы в отставке
Старшая школа Вествил Саус
Вествил, штат Огайо
Джилл Шекелфорд
Директор округа
Общеобразовательные школы Канзас-Сити
Канзас-Сити, штат Канзас
Джанет Слоуман-Чи
Директор по специальным образовательным программам
Центральные объединенные школы
Шипрок, штат Нью-Мехико
Лин Себикинду
Завуч
Начальная школа Крамп
Мемфис, штат Теннесси
В прошлом все трое авторов этой книги – учителя, исследователи и руководители в сфере образования. В настоящее время мы работаем в Battelle for Kids – национальной некоммерческой организации, осуществляющей стратегический консалтинг и предоставляющей инновационные решения для сложных проблем в сфере образования, с которыми в наши дни сталкиваются многие образовательные организации.
Она является получателем нескольких грантов и разработчиком и руководителем ряда проектов, посвященных эффективности учителей. Мэри, ее муж Дэвид и их четверо детей живут в Вестервилле, штат Огайо.
Цикл импрувмента на основании анализа данных о добавленной стоимости
Ключевые тезисы главы 1
1. Определение анализа данных о добавленной стоимости.
2. Социально-экономический статус и успеваемость взаимозависимы.
3. Анализ данных о добавленной стоимости: более точное измерение.
4. Двойная сила: прогресс и успеваемость.
5. Анализ данных о добавленной стоимости – часть сбалансированной системы оценивания.
6. Значимость учителя.
Что говорят преподаватели об анализе данных о добавленной стоимости? Вот некоторые из множества комментариев, которые мы получили от учителей и директоров учебных заведений за многие годы:
• «Анализ данных о добавленной стоимости – чрезвычайно мощный инструмент для определения того, насколько мы эффективны или неэффективны в наших усилиях по улучшению процесса научения учеников».
• «Анализ данных о добавленной стоимости помогает нам увидеть прогресс учеников, он является реальной силой перемен к лучшему».
• «Анализ данных о добавленной стоимости – это эффективный инструмент для учителей и руководителей учебных заведений, чтобы продемонстрировать, насколько успешны их ученики в достижении поставленных перед ними целей. Учителя действительно могут использовать эту информацию для рефлексии относительно результатов своей деятельности».
Итак, что же это за инструмент, который так много преподавателей находит полезным? Во-первых, понятие добавленной стоимости не ново, и образование – не единственная сфера его применения. Первоначально оно возникло в экономической теории и обозначало то, что добавляется в процессе обработки сырья и материалов и превращении его в готовый продукт. С тех пор этот термин имеет в виду любой выпущенный продукт (output, выпуск), и сегодня он подразумевает стоимость, которая превышает суммарную стоимость ресурсов (input, затраты), использованных на изготовление этого продукта. Например, в маркетинге добавленная стоимость означает формирование дополнительного спроса на некий продукт и, как следствие, рост рыночной цены этого продукта; в инженерном деле добавленная стоимость указывает на повышение эффективности конкретного процесса; в сфере оказания юридических услуг понятие добавленной стоимости отсылает нас к «выигрышным» юридическим стратегиям.
В контексте образования анализ данных о добавленной стоимости – это измерение прогресса, которым оценивается влияние учителей, школ и школьных округов на академический перформанс[1] учеников. Для проведения этого анализа используются результаты проверочных тестов учащихся целых штатов.
Анализ данных о добавленной стоимости – это система измерения прогресса, который учителя, школы и школьные округа добавили к академической успеваемости учеников.
Говоря проще, добавленная стоимость – это разница между начальной успеваемостью ученика (результатами тестов прошлого года) и его текущей успеваемостью (результатами тестов года проведения проверки). Это наблюдение за изменениями успеваемости можно сравнить с динамикой физического развития ребенка, которая фиксируется в педиатрической карте его роста. Нам известно, что наблюдение за уровнем успеваемости учащихся для вас не является новостью. Действительно, существует множество формальных и неформальных способов оценивать перформанс учеников в ходе обучения в школе. Работая учителем, одна из авторов этой книги использовала в классе диагностические тесты – в начале, середине и в конце учебного года, – чтобы следить за изменением качества понимания учениками прочитанных текстов. Она составляла графики прогресса для каждого учащегося и использовала их для постановки новых целей вместе с учениками. Многие деятели школ, с которыми мы работаем, не тратили много времени на то, чтобы в начале каждого учебного года заносить результаты тестов учащихся штатов в сводные таблицы для определения их успехов от года к году. Это простой и наглядный способ слежения за успеваемостью и ее динамикой, но, несмотря на его действенность, у него есть ограничения.
Необходимо пояснить: анализ данных о добавленной стоимости – это не просто разница между результатами стартового и последующих тестов. Для создания надежных и наглядных систем контроля прогресса учащихся используется сложная техника статистического моделирования. Ее продолжительное успешное применение помогло сделать сегодня информацию о добавленной стоимости статистически достоверной. эта техника включает:
• современные вычислительные возможности, позволяющие обрабатывать и анализировать данные о достижениях учащихся;
• постоянные циклы тестирования, из года в год дающие информацию для сравнения академических показателей;
• доступность баз данных длительного наблюдения, в которых хранятся истории результатов тестов учеников;
• применение подходящих статистических инструментов, которые делают возможным интерактивное представление данных.
В результате анализ данных о добавленной стоимости стал незаменимым инструментом для описания и изучения прогресса учащихся. Это новый подход для измерения того, как обучение воздействует на научение. Он является наиболее точным и надежным способом слежения за ростом успехов учеников.
Анализ данных о добавленной стоимости – это новый подход, позволяющий оценить влияние методов преподавания на результаты научения и предоставляющий более точные и надежные способы наблюдения за динамикой.
Это многообещающее достижение важно сразу с нескольких точек зрения. Теперь преподавателям доступна точная информация не только о прогрессе отдельных учащихся, но и о степени влияния на этот прогресс конкретных учителей, школ и школьных округов. Благодаря информации о добавленной стоимости преподаватели могут измерить вклад их учебных программ в достижения каждого ученика. Теперь учителя могут определять, насколько успешно работают их обучающие программы, для кого больше подходят их стратегии обучения и что следует изменить. Кроме того, теперь мы можем признать и оценить заслуги учителей, которые создают образовательную среду, где успешны все ученики независимо от их начального уровня.
Школьные округа, предоставляющие общедоступную информацию о добавленной стоимости своему населению, могут обеспечить данные о школьных успехах учеников, в то время как раньше родители могли получать лишь информацию о процентной доле учеников округа, успешно сдавших ключевые экзамены. Некоторые школы, несмотря на провал в освоении стандартов успешности, полагают, что они вносят значительный вклад в академический прогресс, когда они анализируют информацию о добавленной стоимости. Данных для этого предостаточно. На самом деле преподаватели имеют доступ к огромным массивам данных и обзорам о прогрессе, которые существенно значимы для принятия решительных и информативно оправданных действий.
В некоторых случаях преподаватели жалуются на невозможность обработать виртуальное море данных и определить, какие из этих данных наиболее важны с точки зрения усилий по улучшению школьных дел. Как отметил для нас директор одной из школ штата Теннесси, «те, кто считают добавленную стоимость лишь еще одним из множества показателей, упускают важную возможность». Мы согласны с этим и поддерживаем мнение о том, что анализ данных о добавленной стоимости дает учителям и заведующим учебными процессами информацию, необходимую для выявления и ранжирования слабых и сильных сторон их работы. Хотя ни один вид информации сам по себе не может служить ключом к улучшению результатов, но мы уверены, что изучение данных о добавленной стоимости заслуживает вашего внимания.
Добавленная стоимость: для преподавателей это слишком сложно!
Кто-то считает, что анализ данных о добавленной стоимости слишком сложен для понимания преподавателей, и поэтому его не стоит использовать. Нельзя не признать, что статистические методы, которые применяются для подсчета добавленной стоимости, действительно сложны. Тем не менее мы утверждаем, что процесс интерпретации и использования информации о добавленной стоимости не является сложным. Вот некоторые из сложных вещей, которые мы используем и на которые полагаемся каждый день:
•
•
•
Чтобы проиллюстрировать некоторые аспекты анализа данных о добавленной стоимости, приведем истории двух учениц – Яниры и Элли. Янира – ученица 5-го класса начальной школы Alamos в центральной части Лос-Анджелеса, штат Калифорния. Можно сказать, все ученики этой школы (99 %) относятся к малоимущим слоям населения. В классе Яниры результаты тестов успеваемости по штату Калифорния очень низки и находятся в диапазоне от 4 до 50 процентилей. Штат Калифорния требует, чтобы 75 % всех учащихся получили удовлетворительные результаты. Но в начале периода наблюдения уровень всех учеников класса Яниры был далек от удовлетворительного. Иными словами, все ученики из класса Яниры весьма далеки от успешного уровня.
Класс Яниры и вся ее школа со стороны выглядят сборищем неудачников – ведь каждый ученик в ее классе по успеваемости находится ниже удовлетворительного уровня. Однако учитель Яниры прилагает все усилия, чтобы поднять уровень успеваемости детей и ему известно, что всего за год девочка добилась огромного прогресса. Проведенные в классе контрольные работы показали, что в начале учебного года Янира умела читать на уровне 2-го класса, а в конце – на уровне 5-го. То есть за один год учебы она выросла в своем умении читать на целых три класса! Тем не менее при прохождении теста успеваемости на уровне штата результат Яниры составил 49 процентилей. Это хороший результат по сравнению с ее оценкой в начале года – 29 процентилей – но даже при таком росте показателя она не смогла получить удовлетворительную оценку за тест по успеваемости от штата Калифорния. В традиционной системе учета успеваемости, учитывающей лишь проходные баллы, Янира, ее учителя и ее школа потерпели неудачу.
Элли живет в другой части Лос-Анджелеса и ходит в начальную школу Bethany. В этой школе лишь 20 % детей относятся к малообеспеченным слоям населения. У учеников 5-го класса, в котором учится Элли, результаты теста успеваемости от штата в начале года находились в диапазоне от 50 до 95 процентилей. Элли начала год с 88 процентилей, в конце года в ходе тестирования ее результат соответствовал лишь 80 процентилям. обе оценки считаются удовлетворительными. Школа преодолела установленную штатом планку – более 78 % ее учащихся успешно прошли тест, однако этот показатель оказался ниже уровня прошлого года, когда удовлетворительные оценки получили 80 % учеников школы. Учителя этой школы работают над тем, чтобы поднять или удержать уровень успеваемости своих учащихся. Несмотря на то что уровень успеваемости Элли упал с 88 до 80 процентилей, ее результат все равно оказался выше минимального удовлетворительного уровня. Выходит, что формально начальная школа Bethany и преподаватель класса Элли достигли успеха.
Модель роста AYP (Adequate Yearly Progress)[2]
Еще один подход к измерению прогресса состоит в прогнозировании
В пилотном федеральном проекте по использованию моделирования роста для соответствия требованиям AYP приняли участие 15 штатов, после чего к участию были приглашены и остальные штаты. В большинстве штатов применяется модель прогнозирования роста, которая помогает школам добиться соответствия требованиям надлежащего ежегодного прогресса (AYP), если их ученики по прогнозам должны достичь удовлетворительного уровня успеваемости.
Например, в Огайо многие школы успешно применяют модель прогнозирования роста. Измерение роста применяется к каждой подгруппе, которая не достигла уровня AYP с учетом «зоны безопасности»[3] и средних показателей за два года. На этом этапе концепция измерения роста применяется для расчета доли учеников, которые постоянно улучшают свои результаты и движутся к стандарту AYP. В этой доле учитываются учащиеся, которые с вероятностью более 50 % в будущем достигнут успеваемости, удовлетворяющей нормативам надлежащего годового прогресса. Вероятность будущего соответствия этим нормативам оценивается на основании двухлетних прогнозов, сделанных для школ, в которые входят 4–8 классы.
В школах по всей стране встречаются классы, подобные тем, в которых учатся Янира и Элли. До недавних пор мы делали выводы о том, учат ли в классах, школах и школьных округах тому, что следует знать ученикам, только на основании данных об успеваемости. В чем проблема этого подхода? Чтобы это понять, давайте взглянем на показатели успеваемости штата Огайо. График разброса, представленный на рис. 1.1, показывает взаимосвязь между социально-экономическим статусом и успеваемостью на примере штата Огайо. Каждая точка на графике представляет одно школьное учреждение. Школы размещены на графике в соответствии со своим социально-экономическим статусом, который определяется количеством дотируемых государством обедов в этих школах (вдоль абсциссы), и в соответствии с успеваемостью (вдоль ординаты). Что же мы видим на этом графике? Есть ли связь между успеваемостью учеников и социально-экономическим статусом? Сильна или слаба эта взаимосвязь?
График разброса демонстрирует высокую зависимость между показателями успеваемости и социально-экономическим статусом. В целом, чем больше в школе доля учеников из малоимущих семей, тем ниже оказываются показатели успеваемости. Верно и обратное: меньшая доля представителей бедных слоев населения в школе означает, что показатели успеваемости в этой школе будут в среднем выше. Естественно, есть и исключения, но в целом корреляция между успеваемостью и социально-экономическим статусом достаточно высока.
Существует тесная взаимосвязь между социально-экономическим статусом и успеваемостью.
Рис. 1.1. Успеваемость и социально-экономический статус
Почему взаимозависимость социально-экономического статуса и успеваемости в школе заслуживает более внимательного изучения? Как показывают примеры Яниры и Элли, которые вполне укладываются в картину, представленную на рис. 1.1, место жительства ученика часто определяет, сколько баллов он (она) наберет при тестировании на успеваемость. Если взглянуть на график успеваемости Яниры и Элли за 5-й класс, то они могут выглядеть, как это представлено на рис. 1.2.
Именно так представляется успеваемость учащихся по всей стране: Элли учится удовлетворительно, Янира – нет. Далее в этой главе мы посмотрим на их результаты с другой точки зрения. Но для начала полезно дать определение успеваемости и рассмотреть ее исторически сложившуюся важную роль в системе образования.
Рис. 1.2. Элли и Янира: успеваемость за 5-й класс
Ежегодные отчеты о результатах тестирования не принимают во внимание различия между одними и теми же когортами учеников. Поэтому отчеты о динамике изменения результатов тестирования аналогичны графикам сравнения яблок с апельсинами и ананасами.
Поскольку каждая когорта учеников в определенный год обучения имеет свой средний уровень знаний и навыков, данные тестов не слишком полезны для оценки качества используемой образовательной программы. Программа может быть очень действенной для учеников, соответствующих уровню класса, но не подходить тем, кто отстает от этого уровня, не освоив нужных навыков в предыдущих классах. Поэтому в зависимости от текущего состава класса – от знаний и навыков учеников на начало года – одна и та же программа обучения может оказаться как эффективной, так и неэффективной.
Показатели успеваемости в различных формах используются уже много десятилетий. В большинстве штатов США почти повсеместно эти данные являются первичными для школьной отчетности. Иначе говоря, вклад школы в развитие школьника оценивается по его отметкам на итоговых квалификационных экзаменах. Повысившееся за последнее десятилетие внимание к стандартам оценки качества образования в школьных учреждениях увеличило и интерес к показателям успеваемости (результатам экзаменов). Вклад школ в успеваемость учеников оценивается через общие для всех школ каждого штата системы отчетности, а также нормативы надлежащего ежегодного прогресса (AYP).
Баллы успеваемости имеют свою ценность. Они показывают уровень усвоения учеником информации, который выражается в форме утвержденных штатом нормативов знаний по предметам. Экзамены, проводимые на уровне штатов, дают учащимся возможность «показать себя», и высокие баллы открывают путь к дальнейшему образованию и успешному трудоустройству. Однако у системы, оценивающей лишь успеваемость, есть серьезные недостатки. Самая большая потеря – это невозможность учесть один из важнейших факторов, влияющих на результаты экзаменов, а именно – социально-экономический статус. Его влияние на оценки мы видели на графике разброса успеваемости, представленном выше.
В знаковой работе «Исследование равноправия в образовании», опубликованной в 1966 г. американским социологом Джеймсом С. Коулманом [Coleman, 1966], проанализирона успеваемость 600 тыс. детей из 4 тыс. школ. В 1999 г., оценивая влияние этого исследования спустя более 30 лет после его публикации, писатель Дэвид Дж. Хофф отмечает: «Вместо того чтобы доказать, что качество школ является важнейшим фактором академической успеваемости учащихся – чего ждали от исследования его спонсоры, – отчет, написанный социологом Джеймсом С. Коулманом из Университета Джонса Хопкинса, показал, что самый точный прогноз относительно успехов в учебе можно сделать на основании семейного окружения и социально-экономического статуса учеников школы» [Hoff, 1999, p. 33].
Это исследование, получившее известность как «Отчет Коулмана», привело к ряду стратегических государственных решений, опирающихся на идею о том, что социально-экономические факторы оказывают значительное влияние на успехи в учебе или их отсутствие. Еще одним важным результатом отчета Коулмана стало мнение некоторых преподавателей о том, что их действия в классе не имеют большого значения, ведь Коулман утверждает, что семья и социально-экономические факторы сильнее влияют на успехи учеников, чем качество школьного образования.
Некоторые учителя считают, что не их вина, если ребенок в нужное время не учился учиться, и такого рода убеждения и сегодня не чужды нашей образовательной культуре. По этой причине сегодня отчет Коулмана «повсеместно считается самым важным исследованием XX в. в сфере образования» [Ibid.].
В 2002 г. (через 34 года после выхода Отчета Коулмана) был принят закон «Ни одного отстающего ребенка» (No Child Left Behind Act – NCLB), придавший новый смысл понятию отчетности в образовании. Закон NCLB предписывал каждому штату установить стандарты знаний по предметам, если таковые еще не установлены, а каждому ребенку к 2014 г. следовало достичь удовлетворительного уровня успеваемости.
Закон NCLB открыл стране глаза на пробелы в образовании, однако несмотря на разумное зерно, содержащееся в требованиях установить стандарты знаний по предметам, этот закон никак не способствовал тому, чтобы помочь всем ученикам достигнуть удовлетворительного уровня успеваемости. Эксперты по анализу данных о добавленной стоимости д-р Уильям Сандерс и д-р Джун Риверс отмечают, что внимание к успеваемости, предписанное законом NCLB, «ведет к победе в битве, но к поражению в войне» [Rivers, Sanders, 2009, p. 45]. Исследователь Тед Хершберг пишет, что «в своей нынешней формулировке закон NCLB вряд ли приведет к необходимым переменам… Но если штаты примут новую статистическую методологию, известную как оценка добавленной стоимости, которая позволяет оценить вклад обучения в успеваемость учащихся, они обеспечат преподавателей мощным диагностическим инструментом, который позволит усовершенствовать методы обучения и заложит фундамент для преобразования наших школ» [Hershberg, 2004, p. 5].
Итак, мы установили, что социально-экономический статус влияет на результаты обучения, а внимание к одной лишь успеваемости не будет способствовать росту, необходимому для достижения учениками удовлетворительного уровня этой успеваемости. Мы определили понятие успеваемости и оценили важность роли, которую это понятие играет в формировании текущей системы отчетности школ. Тем не менее классы, подобные классу Яниры, во всех школах страны носят ярлык неудачников. это значит, что нам стоит перейти к изучению другой точки зрения на эффективность преподавания, а именно – к анализу данных о добавленной стоимости.
Рассмотрим еще один график разброса.
На рис. 1.3 отражена взаимосвязь социально-экономического статуса и прироста добавленной стоимости. На ординате ноль соответствует отсутствию разницы между ожидаемыми и полученными оценками учеников. Иными словами, точки, расположенные вблизи нулевой отметки, означают средний – он же приемлемый, или близкий к ожидаемому, – годовой рост. Отрицательные значения прироста добавленной стоимости, т. е. точки, расположенные ниже нулевого уровня, означают годовой рост, оказавшийся ниже ожидаемого. Положительные значения прироста добавленной стоимости – все, что оказалось выше нулевого уровня, – представляют прогресс, превысивший ожидания. Так что же мы видим? Какова взаимосвязь прогресса и социально-экономического статуса?
Рис. 1.3. Прогресс и социально-экономический статус
Из этого графика видно, что прирост добавленной стоимости практически не зависит от социально-экономического статуса. Иначе говоря, ученики из бедных семей также способны добиться прироста добавленной стоимости, как и дети из более состоятельных семей. Есть школы с высокой долей детей из малообеспеченных семей, которые демонстрируют впечатляющий рост с точки зрения анализа добавленной стоимости, а есть такие же школы, в которых этого роста не наблюдается. В левой части графика можно увидеть, что отдельным школам с низким уровнем бедности удалось достичь выдающихся результатов, но другие школы из этой категории продемонстрировали результаты гораздо ниже ожидаемых в один и тот же год.
Какие выводы можно сделать и какими вопросами нам стоит задаться после изучения этих графиков? Во-первых, эти графики демонстрируют, что все, что мы делаем в качестве преподавателей, имеет значение. Мы не можем влиять на финансовую ситуацию в семьях наших учеников, но мы можем повлиять на то, что с ними происходит, когда они приходят в школу. Обратите внимание, что наши выводы явно расходятся с выводами Отчета Коулмана. Анализ данных о добавленной стоимости устанавливает правила игры, одинаковые для всех. При том что успеваемость зависит от социально-экономического статуса, прирост добавленной стоимости с ней практически не коррелирует. Эти выводы сделаны на основе изучения данных о прогрессе не только школ штата Огайо, но и школ в Теннесси и на Восточном побережье Соединенных Штатов [Hershberg, 2004]. Следовательно, не будет ошибкой утверждать, что анализ данных о добавленной стоимости представляет собой гораздо более справедливую систему оценки того, что происходит в классах, школах и целых школьных округах.
Анализ данных о добавленной стоимости устанавливает правила игры, одинаковые для всех.
Здесь также имеются политические и исследовательские последствия. Что делают школы, которые добиваются значительного прогресса, а также остальные школы, оказавшиеся на графике выше нулевого уровня? можем ли мы изучить те практические действия, которые предпринимают учителя этих школ, и внедрить их практики в других образовательных учреждениях? Что именно не работает в тех школах, которым за год не удалось добиться ожидаемых результатов? Возможно, некоторые методы и действия преподавателей необходимо исключить или заменить более эффективными практиками? Преподаватели, исследователи и законодатели используют информацию о добавленной стоимости, чтобы начать отвечать на эти вопросы.
Анализ данных о добавленной стоимости не заменяет традиционных замеров успеваемости, он, скорее, дополняет их. Показатели успеваемости и данные о добавленной стоимости, изученные в совокупности, позволяют увидеть состояние ученика в контексте стандартов знаний по предметам, а также понять, насколько действенна текущая программа, чтобы обеспечить повышение уровня успеваемости каждого учащегося. В следующих главах мы научим вас выявлять паттерны в информации о добавленной стоимости и объясним, как их использовать.
Добавленная стоимость – единственный показатель влияния методов преподавания на успеваемость ученика.
Анализ данных о добавленной стоимости – это важный источник информации: он помогает понять, кто больше выигрывает от текущей образовательной программы – отстающие, средние или наиболее успешные ученики. Получив информацию о добавленной стоимости, преподавательский состав может обнаружить, что текущая программа 6-го класса по математике хороша для учеников, соответствующих уровню 6-го класса или превосходящих его, но совершенно не работает для отстающих учащихся. Обладая такой информацией, преподаватели могут пристальнее взглянуть на свои практики и принять решение об их изменении. Они могут добавить элементы, которые повысят эффективность программы для отстающих учеников, и (или) отбросить старые методы, которые оказались неэффективными. Как отметил один из преподавателей, «добавленная стоимость – единственный показатель, который позволяет оценить влияние методов преподавания на успеваемость ученика».
Анализ данных о добавленной стоимости дает нам более полную и точную картину прогресса учеников из года в год, в том числе позволяет оценить прогресс конкретного ученика или группы учеников за определенный период времени. Вместе информация об успеваемости и о прогрессе каждого ученика представляет собой важную комбинацию показателей, позволяющую выявить возможности улучшений внутри каждой школы. Мы зовем эту комбинацию «двойная сила» (рис. 1.4).
Рис. 1.4. «Двойная сила»
Успеваемость измеряется перформансом учеников, который они осуществляют в конкретный момент времени и который сопоставляется со стандартами. Прогресс же измеряется тем ростом, который совершает ученик за период времени. Чтобы правильно оценивать и поощрять усилия учащихся, нужны оба показателя – и успеваемость, и прогресс. Каждый показатель дает важную информацию, но полную картину обеспечивает лишь их комбинация. Измеряя оба показателя и дополняя их другими источниками информации, учителя, школы и школьные округа формируют более устойчивое и более полное видение своего вклада в обучение школьников.
Но действительно ли отчеты по добавленной стоимости могут сообщить нам что-то, чего мы не узнаем из данных об успеваемости? Рассмотрим еще один пример сравнения успехов Элли и Яниры (рис. 1.5). Оценки Элли стабильно оказываются выше удовлетворительного уровня успеваемости. В 3-м классе ее оценка по математике соответствовала 96-му процентилю, в 4-м – 88-му, а в 5-м – 80-му. Несмотря на то что все оценки были выше минимальных требований, мы видим, что ее оценки ухудшались из года в год. Когда мы смотрели только на оценки Элли в 5-м классе, нам казалось, что она, ее преподаватель и ее школа вполне успешны. Что могла бы предпринять преподаватель Элли, если бы в ее распоряжении оказались данные о динамике оценок девочки?
Рис. 1.5. Элли и Янира: динамика изменений
Вернемся к Янире, чья оценка по математике в 3-м классе соответствовала 13-му процентилю, в 4-м – 27-му, а в 5-м – 49-му. Янира делает большие успехи, и при этом она по-прежнему не соответствует нормативам, установленным для каждого из годов обучения. Находясь ниже удовлетворительного уровня успеваемости, Янира все равно демонстрирует прогресс. Раньше Янира казалась отстающей, но если мы посмотрим на динамику ее результатов, мы увидим, что ее уровень очень быстро повышается. Могли бы учителя Яниры развивать и усиливать свои способы помощи и совершенствования знаний, если бы у них была информация о прогрессе ученицы? Если бы родителям и другим членам сообщества были бы доступны данные о прогрессе, а не только об успеваемости Яниры и ее одноклассников – как это сообщество воспринимало бы успехи школы, в которой учится Янира?
Если мы экстраполируем результаты успеваемости Элли и Яниры на остальных учеников их школ, мы, возможно, придем к выводу, что элли, ее учитель и начальная школа Bethany заслуживают поощрения. А Янира, ее преподаватель и вся начальная школа Alamos должны быть признаны отстающими и, возможно, их следует подвергнуть санкциям. Однако, если мы посмотрим на прогресс, то мы увидим иную картину. Успех Яниры, ее учителя и школы с точки зрения роста успеваемости должен быть отмечен и поощрен. При этом мы увидим необходимость вмешаться в деятельность школы Элли, чтобы предотвратить дальнейшее ухудшение результатов Элли и подобных ей учеников, которые не добиваются ожидаемого прогресса.
На рис. 1.6 изображена структура, взятая с некоторыми изменениями из работы д-ра Дугласа Ривза «Учебная структура для преподавателей» [Reeves, 2006]. В ней учитываются как прогресс, так и данные успеваемости в масштабе школ и школьных округов.
Эта простая матрица сопоставляет показатели успеваемости и прогресса, в понятной форме демонстрируя реальные успехи школ и учебных программ. одновременный анализ данных о добавленной стоимости и успеваемости дает возможность быстро определить, в какую ячейку матрицы попадает та или иная школа. Каждая ячейка соответствует совершенно особой школьной среде. К какой ячейке принадлежит ваша школа – ее ученики лидируют, учатся, успешны или отстают? Почему это происходит? В следующих главах мы подробно рассмотрим аналогичную матрицу, чтобы дать вам инструмент для выявления сильных и слабых сторон ваших школ и образовательных систем, а также вызовов и возможностей, с которыми они имеют дело.
Рис. 1.6. Матрица прогресса и успеваемости
Особенно важно также добиваться того, чтобы успеваемость учащихся соответствовала установленным стандартам, но не менее важно для преподавателей обеспечивать ежегодный академический прогресс учеников и полностью задействовать их потенциал роста – независимо от уровня их успеваемости. в конце концов наш моральный долг как преподавателей состоит в том, чтобы открыть всем учащимся доступ к учебным программам, позволяющим добиться максимальных результатов в обучении независимо от начального уровня каждого учащегося.
Анализ данных о добавленной стоимости играет ключевую роль в построении сбалансированной системы оценивания, которая учитывает и помогает улучшить как показатели успеваемости, так и динамику ее роста. Обычно преподаватели имеют полный или частичный доступ к следующим данным: к результатам экзаменов на уровне штата, информации о добавленной стоимости, всеобщим промежуточным[5] или ежеквартальным оценкам, суммарным результатам оценок для каждого класса, а также результатам промежуточного контроля внутри класса. На учителей и руководителей школ возлагается ответственность по обработке всех этих данных и принятию обоснованных и выполнимых решений, ведущих к прогрессу школьников. Поскольку анализ данных о добавленной стоимости позволяет получить агрегированную информацию, он является полезным инструментом для ежегодного выявления успехов и вызовов. На рис. 1.7 схематично изображена сбалансированная система оценивания. Она представляет собой адаптационный цикл преподавания, в котором на протяжении учебного года прогресс учеников оценивается на основании промежуточных и итоговых показателей. Назначение сбалансированной оценки состоит в том, чтобы дать преподавателям обратную связь, необходимую им для оказания помощи ученикам в достижении максимального прогресса в обучении.
Рис. 1.7. Цикл сбалансированного оценивания
В этой модели преподаватели призваны реагировать на промежуточную информацию об оценках, которую они должны регулярно собирать и использовать для совершенствования своих педагогических методов. В цикле сбалансированной оценки формативный и итоговый контроль является необходимым источником информации для отслеживания прогресса в ходе учебного года и измерения прогресса по истечении установленного временного интервала. Взаимосвязь этих форм контроля мы подробнее рассмотрим в главе 8.
В противоположность открытиям Коулмана, опубликованным им в 1966 г., исследования с применением анализа данных о добавленной стоимости, проводившиеся более двух десятилетий, позволяют заключить, что учителя являются наиболее значимым фактором, влияющим на успеваемость учеников. Из рис. 1.8 видно, что 65 % изменений в прогрессе ученика может быть напрямую отнесено на счет учителя, 5 % – к вкладу округа, а 30 % изменений в прогрессе – это вклад школы, в которой учится ребенок [Sanders, 2004].
Рис. 1.8. Влияние преподавателя на успехи учеников
Исследователей интересовало влияние учителей на школьников, а также то, как это влияние меняется со временем. Технический отчет, опубликованный в 1997 г. Центром исследования и оценки добавленной стоимости Университета Теннесси, показывает, что разница между самыми эффективными и наименее эффективными преподавателями превышает 80 баллов. В 2000 г. Джун Риверс начала исследование учащихся, сгруппированных в соответствии с их уровнями успеваемости по итогам экзаменов 4-го класса школы [Rivers, 2000]. В ходе исследования Джун изучала вероятность сдачи этими школьниками выпускных экзаменов в средней школе на основании качества преподавания с 5-го по 8-й классы.
В случае низкого уровня преподавания только ученики, окончившие 4-й класс с наивысшими оценками, смогли получить высокие баллы на выпускном экзамене после 8-го класса. Напротив, в классах наиболее эффективных преподавателей, добивающихся от своих учеников прогресса, превышающего ожидания, ученики, даже отстающие на момент окончания 4-го класса, смогли значительно повысить вероятность успешной сдачи выпускного экзамена.
Д. Риверс в своих выводах солидарна с Джордан, Мендро и Уиресингхе Вирейзинге [Jordan, Mendro, Weera-singhe, 1997]. По данным их исследований, у детей одной из школ Далласа, три года подряд оказывавшихся в классах трех самых эффективных учителей, экзаменационные оценки оказались в среднем на 76 процентных пунктов выше, чем их же экзаменационные оценки по итогам 3-го класса. При этом результаты школьников, три года подряд учившихся в классах наименее эффективных преподавателей, оказались в среднем на 27 процентных пункта ниже, чем результаты экзаменов по итогам 3-го класса.
Исследование, проведенное в 1998 г. в Бостонских государственных школах [Boston Public Schools, 1998], показало, что ученики самых эффективных учителей математики в среднем продемонстрировали годовой рост оценок по математике на 14,6 %, а ученики, оказавшиеся в классах наименее эффективных учителей, снизили свои результаты на 0,6 %. Ученики самых эффективных преподавателей литературы прибавили в среднем 5,6 % к своим прошлогодним результатам экзаменов, а те, кто учились у наименее эффективных учителей литературы, смогли улучшить результаты лишь на 0,3 %.
Как пишет о влиянии высокоэффективных преподавателей исследователь Роберт Дж. Марцано, «исключительный профессионализм отдельных учителей компенсирует не только средний уровень учителей в масштабе школы, но и даже низкий профессиональный уровень учителей в масштабе школы» [Marzano, 2000, p. 81]. А Ривкин, Ханушек и Кейн [Rivkin, Hanushek, Kain, 2001] в своей работе предполагают, что пять лет подряд обучения у хороших преподавателей (отличающихся от среднего уровня на одно стандартное отклонение, или соответствующих 85-му процентилю) смогут преодолеть характерную для 7-го класса пропасть между оценками по математике у детей из малообеспеченных семей (имеющих право на льготный школьный обед) и детей из семей с более высоким достатком. Таким образом, хорошие учителя могут компенсировать типичное для детей из неблагополучных семей отставание в учебе.
Изучая продолжительность влияния преподавателей на учеников, Константопулос [Konstantopoulos, 2007] обнаружил, что это влияние носит кумулятивный характер и наблюдается не только в текущем или следующем классе: для младших классов школы это влияние может длиться до трех лет. Впрочем, другие исследования показали, что различия между учениками эффективных и неэффективных преподавателей наиболее заметны в краткосрочной перспективе (например, по результатам экзаменов в конце года), и являются менее выраженными по истечении некоторого времени (например, по результатам экзаменов два года спустя [Jacob, Lefgren, Sims, 2008; Kane, Staiger, 2008].
Исследовательская база в поддержку анализа добавленной стоимости активно развивается, особенно это касается роли преподавателя в качестве образования. Это одна из причин, по которой учителя, те, кто осуществляют политику в образовании, а также исследователи и законодатели сегодня уделяют все больше внимания качеству преподавания. Но самое главное вам уже известно: исследователи доказали, что работа учителя в классе имеет колоссальное значение.
В эпоху контроля и учета, а также принятия решений, принимаемых на основе отчетных данных, мы должны помнить, что прогресс в научении является важнейшим показателем системы школьного образования.
В этой главе мы определили анализ данных о добавленной стоимости и различия между успеваемостью и прогрессом. Данные об успеваемости и данные о прогрессе, собранные вместе, дают нам ясное понимание эффективности школьного округа, школы и отдельного класса. Информация о добавленной стоимости – это измеряемые показатели, которые можно использовать для принятия решений и совершения действий. В эпоху контроля и учета, а также принятия решений на основе имеющихся данных мы должны помнить, что прогресс в научении является важнейшим показателем. в следующей главе мы рассмотрим многочисленные способы применения информации о добавленной стоимости и изучим преимущества ее использования для директоров школ, завучей, педагогов, учеников, родителей, общественности, законодателей и тех, кто принимает решения о политике в области образования.
Анализ данных о добавленной стоимости оценивает прогресс в результатах учеников и позволяет измерить долгосрочный вклад учителей, школ и школьных округов в академические успехи учащихся. Тогда как тесная взаимосвязь между успеваемостью и социально-экономическим статусом – это отнюдь не факт в отношении информации о добавленной стоимости. Для измерения эффективности округа, школы и класса следует учитывать как успеваемость, так и динамику развития. Исследования показывают, что то, что учитель делает в классе, влияет на развитие учащегося в самых разных направлениях.
• Дайте определение анализу данных о добавленной стоимости своими словами.
• Чем анализ данных о добавленной стоимости отличается от данных об успеваемости?
• Почему изучение одних лишь показателей успеваемости чревато проблемами?
• Что мы знаем о социально-экономическом статусе, и как он влияет на показатели успеваемости и прогресса? Почему это важно для нашей педагогической миссии?
• Какие новые перспективы открывает перед преподавателями информация о добавленной стоимости?
• Как поможет преподавателям изучение совокупности данных об успеваемости и прогрессе учащихся?
• Какие из выводов исследований эффективности преподавателей оказались для вас новыми?
• Совпали ли результаты исследований с вашими убеждениями или же удивили вас?
Форма «Двойная сила» (рис. 1.9) для заполнения преподавателями после ознакомления с анализом данных о добавленной стоимости.
Рис. 1.9. «Двойная сила»: форма для заполнения
Цикл импрувмента на основаниии анализа данных о добавленной стоимости
Ключевые тезисы главы 2
1. Формирование образовательной культуры, в которой данные о добавленной стоимости являются движущей силой.
2. Обеспечение эффективного профессионального развития.
3. Обеспечение доступа к отчетам по добавленной стоимости.
4. Предоставление преподавателям инструментов для совместного изучения информации о добавленной стоимости.
5. Движение от макро– к микроуровню анализа.
Говорят, что без хорошего начала не бывает хорошего окончания, и в случае анализа данных о добавленной стоимости это действительно так. Чтобы эффективно использовать информацию о добавленной стоимости для школьного импрувмента, педагогов необходимо поощрять к «погружению» в информацию. Погружение не означает безоглядного броска в бездну статистики. Для большинства преподавателей идеи добавленной стоимости и импрувмента школ на основе мониторинга добавленной стоимости представляются новыми и вызывают настороженность, поэтому, чтобы эффективно использовать соответствующую информацию, необходима некоторая подготовка, включающая тщательное планирование и обучение. Основная цель этой главы – представить вам некоторые предварительные шаги и дать рекомендации для:
• формирования образовательной культуры, при которой данные о добавленной стоимости являются движущей силой;
• создания условий эффективного профессионального развития учителей;
• обеспечения преподавателям доступа к касающейся их информации о добавленной стоимости;
• обеспечения преподавателей инструментами для систематического изучения информации о добавленной стоимости относительно своей работы;
и наконец,
• освоения макро– и микроподходов к изучению данных о добавленной стоимости.
Мы покажем на уровне штата, округа, школы и конкретного учителя, как педагоги по всей стране погружались в анализ данных о добавленной стоимости. Некоторые из приведенных историй из практики описывают конкретных людей, другие носят более образный характер, но каждая из них приблизит вас к пониманию того, как начать. Первую часть этого пути мы начнем с рассмотрения важности формирования образовательной культуры, в которой данные о добавленной стоимости являются определяющим фактором для развития.
Во время 2009/2010 учебного года руководители Независимого школьного округа Лаббока в западной части Техаса решили вложить ресурсы в анализ данных о добавленной стоимости, видя в нем ключевой компонент плана импрувмента работы округа. Новый руководитель школьного округа доктор Карен Гарза уже ознакомилась с концепцией анализа данных о добавленной стоимости во время своей работы на посту руководителя по образованию Хьюстонского независимого школьного округа. Ей как опытному специалисту отводилась важная роль в разработке стратегии импрувмента работы округа на базе анализа данных о добавленной стоимости. Педагоги Лаббока, за исключением нескольких руководителей округа, практически ничего не знали об анализе данных о добавленной стоимости или о школьном импрувменте, основанном на нем. Однако к концу двухлетнего периода внедрения этого понятия они значительно продвинулись на пути формирования новой культуры ведения преподавания, в которой пониманию и продуктивному использованию информации о добавленной стоимости отводится ключевая роль. Вопрос в том, что эти преподаватели сделали, чтобы понять, где они находятся сегодня?
На следующих нескольких страницах мы обсудим важные первые шаги, предпринятые педагогами этого округа и другими преподавателями.
Первый шаг в формировании образовательной культуры, в которой данные о добавленной стоимости являются движущей силой, – это полное понимание концепции и готовность действовать со стороны руководителей округа. Для достижения успеха абсолютно необходимы заблаговременное планирование и полная поддержка. Важной частью планирования является поиск ответов на следующие критические вопросы о добавленной стоимости: (а) как планируется использовать информацию о добавленной стоимости и (б) кто будет поставлять вам информацию о добавленной стоимости.
Планируемое использование информации о добавленной стоимости
Когда округ, штат или любая другая административная единица начинает осваивать применение информации о добавленной стоимости в деле импрувмента школьного образования, руководителям особенно важно получить ясные ответы на определенные вопросы: Как планируется использовать информацию о добавленной стоимости? Для чего она будет использоваться – для совершенствования работы школы, для установления дифференцированной оплаты труда, для оценки отчетности в масштабе округа, школы или класса или же для сочетания всех этих видов использования? Независимо от того, что будет выбрано, каждое из этих направлений имеет свои долгосрочные последствия различной степени важности, а также ближайшие последствия, связанные с выбором поставщика информации о добавленной стоимости.
При прочих равных условиях мы рекомендуем начинать внедрение понятия добавленной стоимости с наименее важных направлений использования. Для этого существуют две важные причины. Во-первых, направления использования, имеющие наибольшее значение, обычно перевешивают менее значимые. Если этот подход сразу воспринимается как инструмент для дифференцирования оплаты труда и (или) оценивания успешности учеников – а оба эти варианта использования являются важными, – то велика вероятность того, что только эти сферы применения и будут восприняты всерьез. Во-вторых, с любым вариантом использования этой концепции связана кривая научения: людям нужны время, информация и опыт, чтобы понять преимущества и ограничения этой концепции, прежде чем они смогут считать ее достоверным способом оценки их работы – а доверие, возможно, является самым значимым аспектом успешного использования понятия добавленной стоимости в долгосрочной перспективе.
Выбор поставщика информации о добавленной стоимости
Вторым по важности решением является решение о выборе поставщика информации о добавленной стоимости. В Соединенных Штатах анализом данных о добавленной стоимости занимается несколько организаций, но не все модели добавленной стоимости одинаковы. Например, недорогая и простая в использовании модель добавленной стоимости, которая хорошо справляется с оценкой отчетности учреждений и округов, может не подходить для оценки преподавательского состава. Модель, которая справится с генерацией надежной информации на уровне учителей, по стоимости и сложности может выйти за пределы ожиданий руководителей округа или штата. Есть один ключевой фактор, о котором нужно помнить при выборе поставщика: способность этого поставщика дать вам достоверную информацию, отвечающую выбранным вами целям.
Мы не собираемся критиковать множество доступных сегодня моделей добавленной стоимости, но лишь хотим подчеркнуть, что выбор поставщика – это очень важное решение. За информацией по этому вопросу вы можете обратиться к недавней публикации Фонда Билла и Мелинды Гейтс (Bill and Melinda Gates Foundation, www. edgrowthrneasures.org).
Когда лидеры школьных округов сформируют для себя ясную картину, необходимую для движения вперед, следующим шагом становится донесение решений до всех интересантов. Руководители округов должны уметь простым и понятным языком разъяснить педагогам возможности использования анализа данных о добавленной стоимости в масштабах штата, округа или другой административной единицы. Обращаясь ко всем заинтересованным лицам, руководители должны:
• подчеркнуть важность масштабной инициативы по улучшению преподавания;
• показать, как этому может способствовать информация о добавленной стоимости;
• рассказать различным группам участников, что от них потребуется;
• убедить все заинтересованные лица в том, что анализ данных о добавленной стоимости – это не мимолетное увлечение, а серьезная долгосрочная стратегия.
Коммуникация с заинтересованными участниками должна вестись посредством различных каналов, в том числе через новостные бюллетени и другие обыденные инструменты донесения информации, и подкрепляться личными встречами и собраниями. Директора и завучи должны уделить время разъяснению преподавательскому составу возможностей использования анализа данных о добавленной стоимости по всему округу по различным административным структурам. Встречаясь с учителями для обсуждения методов преподавания и оценивания учеников, важно использовать отчеты по добавленной стоимости в сочетании с другими формативными и итоговыми данными по оцениванию учеников, чтобы показать, как этот вид информации отличается от привычных учителям данных и как он их дополняет.
Важно использовать отчеты по добавленной стоимости в сочетании с другими формативными и итоговыми данными по оцениванию учеников, чтобы показать, как этот вид информации отличается от привычных учителям данных и как он их дополняет.
Во время такого начального общения руководители округов и школ должны продемонстрировать, что они
(а) понимают информацию о добавленной стоимости,
(б) ценят ее и (с) прозрачным образом используют ее при принятии важных решений на уровне округа или школы. Например, ссылаются ли руководители на данные о добавленной стоимости во время обсуждения ключевых решений? Используют ли руководители школ эти данные для привлечения внимания к конкретным сильным сторонам школы или к вызовам, с которыми она сталкивается?
Когда Хьюстонский независимый школьный округ (Houston Independent School District – HISD) разработал свою модель совершенствования образования и управления успеваемостью под названием «Ускорение прогресса учащихся, улучшение результатов и ожиданий» (Accelerating Student Progress, Increasing Results & Expectations – ASPIRE), то в качестве ключевого компонента она включала анализ данных о добавленной стоимости. При представлении модели общественности руководители округа использовали все доступные им средства для донесения своей идеи: сайт, письма родителям, новостные рассылки, внутришкольную агитацию. Кроме того, округом была разработана информационная брошюра для родителей, в которой разъяснялись масштабные цели модели ASPIRE, а также было приведено простое определение анализа данных о добавленной стоимости. Пример этой брошюры для родителей приведен в конце данной главы. Перечисленные средства коммуникации в совокупности должны были достичь широкой аудитории, и их неоднократно использовали при каждом удобном случае. Для Хьюстонского школьного округа распространение информации о добавленной стоимости в сфере образования было особенно важно, потому что анализ данных о добавленной стоимости должен был стать важным компонентом в процессе принятия округом ответственных решений с долгосрочными последствиями, в том числе решений для удержания учителей и оплаты их труда.
Департамент образования Огайо предпринял значительные усилия, чтобы сформировать региональную сеть поддержки преподавателей всего штата при обучении их применению анализа данных о добавленной стоимости для улучшения преподавания и повышения эффективности школ. Эта сеть поддержки начала действовать за два года до того, как анализ данных о добавленной стоимости начал применяться в системе контроля Департамента образования штата Огайо.
Важное примечание
В Соединенных Штатах Америки анализ данных о добавленной стоимости получает все большее распространение для аттестации учителей и дифференциации оплаты их труда. Например, ряд школ Северной Каролины подключились к программе «Система прогресса учителя и ученика» (System for Teacher and Student Advancement Program – TAP), о которой мы упомянули во введении. В рамках этой программы школы применяют добавленную стоимость в качестве одного из показателей для дифференциации оплаты учителей. Ряд школ, в частности школы Независимого школьного округа Форт-Уэрта в Техасе, внедрили модель расчета вознаграждения под названием «Учителя школ штата, осуществляющие развивающее обучение детей» (Public Educators Accelerating Kids – PEAK). По программе РЕАК вознаграждение команд преподавателей рассчитывается на основании достигаемых на протяжении учебного года группами преподавателей результатов по отдельным классам и предметным областям. И в этой схеме добавленная стоимость является основным показателем.
Хотя основной фокус этой книги – использование анализа данных о добавленной стоимости для целей импрувмента работы школ, но, очевидно, что он находит применение и при достижении других важных целей. Независимо от того, какое направление его использования выберете вы и ваш округ, мы настоятельно советуем вам сформировать такую культуру преподавания, в которой данные о добавленной стоимости являются основой принятия решений, и только потом применять информацию о ней при принятии важных решений с серьезными долгосрочными последствиями.
Формирование образовательной культуры, при которой данные о добавленной стоимости являются основой для принятия решений, – обязательное условие для успешного применения информации о добавленной стоимости для импрувмента школ. Еще одним ключевым драйвером успешного внедрения в школьную практику анализа данных о добавленной стоимости является эффективное профессиональное развитие.
Мы настоятельно советуем вам сформировать такую культуру преподавания, в которой данные о добавленной стоимости являются основой для принятия решений, и только потом применять информацию о ней при принятии самых важных решений.
Кими Доддс – заслуженная школьная учительница в средней школе Blendon крупного школьного округа (Вестервилль) в пригороде Коламбуса, штат Огайо. Она признает «полную заслугу анализа добавленной стоимости в масштабных преобразованиях нашей школы на всех уровнях». А преобразования действительно были масштабными. В 2004 г. почти каждый класс учеников этой школы достигал значительно меньшего прогресса в математике, чем ожидалось. Согласно последней же подборке отчетов о добавленной стоимости каждая подгруппа учащихся – от отстающих до отличников – добилась превосходящих ожидания успехов. Помимо этого школа Blendon по системе оценки состоятельности школ недавно получила оценку «превосходно с отличием» – это высшее достижение в системе оценки образования штата Огайо. Но несмотря на достигнутые успехи, преподавательский состав школы продолжает и дальше работать над совершенствованием своих практик.
Как же этой отстающей в прошлом по всем показателям средней школе всего за четыре года удалось добиться выдающегося успеха? Ее преподавательскому составу пришлось полностью перестроить свою работу, в большой степени это стало возможным благодаря внимательному изучению информации о добавленной стоимости. Чтобы понять, как школе удалось совершить это радикальное преобразование, давайте рассмотрим историю трансформации школы Blendon.
Трансформация школы началась с эффективного профессионального развития. В самом начале внедрения концепции добавленной стоимости округ вестервилль выдвинул Мэри Питерс – одного из авторов этой книги, тогда занимавшую пост директора по контролю и аттестации, – для прохождения обучения и получения статуса окружного специалиста по добавленной стоимости (district value-added specialist – DVAS) в Департаменте образования штата Огайо. Мэри и другие педагоги со всего штата приняли участие в пятидневной тренинговой программе, в ходе которой они научились анализировать и использовать отчеты по добавленной стоимости. После обучения Мэри поделилась полученными знаниями с руководителями школ своего округа и стала лидером по применению данных о добавленной стоимости в масштабах округа.
Шаги, предпринятые школьным округом Вестервилля, могут служить примером для других округов. Необходимо:
1) назначить специалиста на должность окружного эксперта по сбору и анализу данных;
2) предоставить этому специалисту необходимое обучение для достижения компетентности в вопросах добавленной стоимости;
3) предоставить специалисту возможность обучить руководителей школ округа толковать и применять отчеты по добавленной стоимости.
В Лаббоке, штат Техас, обучение проходило на двух уровнях. Для начала округ сформировал центральную группу по анализу данных о добавленной стоимости, состоящую из 30 преподавателей, представляющих различные административные единицы всего округа, которые должны были стать специалистами по добавленной стоимости. Эта группа прошла интенсивное практическое обучение, которым среди прочих руководила Кейт Кеннеди – еще один из соавторов этой книги. После формирования группы руководители округа пригласили в нее и других педагогов, желающих принять участие в ее работе. Важно подчеркнуть, что, поскольку эти специалисты добровольно вступили в центральную группу, чтобы работать в ней в дополнение к своим обычным обязанностям, они чувствовали особую причастность к новому делу, которая формировала их энтузиазм для внедрения данных о добавленной стоимости в процессы принятия педагогических решений. в настоящее время члены центральной группы являются контактными лицами по вопросам применения информации о добавленной стоимости для всего округа. в этой роли они консультируют директоров школ и учителей по возникающим проблемам, готовят презентации на тему применения показателей добавленной стоимости в школьном образовании и продолжают профессиональное развитие, в котором им помогает внешний партнер – некоммерческая организация Battelle for Kids.
Директора школ и их заместители приняли участие в следующем уровне практического обучения. в ходе часовых, двухчасовых и однодневных семинаров, включающих практические интерактивные упражнения, руководителей школ знакомили с анализом добавленной стоимости и его применением. Участники семинаров должны были достичь следующих целей:
• понять свою роль в процессе внедрения анализа данных о добавленной стоимости;
• получить начальное понимание и вводные знания по анализу данных о добавленной стоимости;
• научиться интерпретировать информацию, содержащуюся в отчетах по добавленной стоимости;
• на опыте понять, как информация о добавленной стоимости может помочь в совершенствовании работы школы.
В конечном итоге информация о добавленной стоимости только в том случае может внести значимый вклад в импрувмент школ, если директора и другие школьные руководители безоговорочно верят в огромное значение этой информации.
Как только члены окружной центральной группы и руководители школ прошли эффективное обучение, они могут обучать и поддерживать преподавателей и других сотрудников школьных коллективов, помогая им использовать информацию о добавленной стоимости в процессе совершенствования работы школ.
Чтобы донести полученную информацию до учителей, важно отталкиваться от знакомой и понятной им информации об успеваемости. Они должны не только увидеть разницу между успеваемостью и прогрессом, но и понять, как они дополняют друг друга.
Данные об успеваемости показывают учителям, что знают и могут их ученики, и как их достижения соотносятся с установленными в штате стандартами. А показатели прогресса демонстрируют, насколько эффективно текущая учебная программа помогает ученикам двигаться к этим стандартам и за их пределы.
Кроме того, учителя должны понять, как получать и интерпретировать наиболее важные для их деятельности отчеты по добавленной стоимости. Это значит, что учителей необходимо научить пользоваться результатами агрегированной и дезагрегированной информации о добавленной стоимости, связанной с их предметами и уровнями обучения (классами). Наконец, учителя должны получить опыт в том, что называется «говорить на языке данных»: 1. Что данные об успеваемости и прогрессе говорят им о сильных сторонах их групп и вызовах, с которыми они сталкиваются? 2. Какова роль в этих результатах их преподавательских практик? 3. Что могут предпринять учителя, чтобы использовать преимущества своих сильных сторон и улучшить ситуацию в проблемных областях? (Примерный план двухчасовой сессии для учителей приведен в конце этой главы в Инструментарии для преподавателей и руководителей.)
Учителя должны понять, как получать и интерпретировать наиболее важные для их деятельности отчеты по добавленной стоимости.
Поскольку информация о добавленной стоимости в конечном итоге указывает на эффективность педагога, при ее использовании необходима деликатность. Но это не причина скрывать эту важную информацию от учителей, хотя, к сожалению, во многих учреждениях доступ им к ней закрыт. Причины этого кроются в недостаточной определенности относительно того, (а) что эта информация значит, (б) как можно и нужно использовать данные о добавленной стоимости и (в) кто отвечает за правила доступа к этим данным.
Одна из первостепенных причин появления этой книги состоит в том, что для устранения некоторых из этих барьеров администраторам необходима помощь. Мы надеемся, что благодаря последовательно описанным здесь процессам предоставление доступа к информации о добавленной стоимости будет вызывать у руководителей школ меньше трудностей.
Округа и школы, убедившиеся в необходимости применения анализа данных о добавленной стоимости для повышения эффективности своей работы, могут предпринять следующие шаги, которые помогут дать учителям доступ к отчетам по добавленной стоимости и помогут им понять и оценить возможности эффективного использования этих отчетов.
• Назначение специалиста по добавленной стоимости для каждой школы; это может быть консультант по учебным программам, главный преподаватель или школьный администратор.
• Обеспечение каждого сотрудника логином и паролем доступа в случае, если отчеты по добавленной стоимости предоставляются посредством онлайн-системы.
• Назначение времени для встреч с преподавательским составом – или в некоторых случаях с каждым учителем, чтобы совместно изучать относящиеся к их работе отчеты.
• Использование встреч с преподавательским составом для обучения чтению и интерпретации имеющихся отчетов по добавленной стоимости.
• Распространение на этих встречах бумажных копий отчетов и совместная интерпретация их содержимого.
Доступ предшествует использованию. Как только доступ предоставлен, начинайте работу с преподавателями по совместному изучению их информации о добавленной стоимости.
Директор средней школы Blendon Тина Томас-Мэннинг была чрезвычайно заинтересована в том, чтобы разобраться в отчетах о производимой ее школой добавленной стоимости, и в дальнейшем разумном использовании содержащейся в этих отчетах информации. Мэри Питерс, окружной специалист по добавленной стоимости, научила Тину получать и интерпретировать отчеты. Тина заметила, что преподавательский состав считает, что добивается от учеников значительного прогресса. Они сказали мне: «Мы знаем, что наши ученики развиваются». Тогда она решила проверить, подтверждаются ли их убеждения фактическими данными. В большинстве случаев это было не так.
Проведя за анализом отчетов значительное время, Тина поняла, что важно дать сотрудникам время на ознакомление со своими результатами и их осмысление. Изучив отчеты по добавленной стоимости вместе с учителями школы, Тина, несмотря на некоторую необычность этой информации, смогла наладить с сотрудниками диалог, в ходе которого они были способны критически посмотреть на свои результаты. Тина встречалась с командами учителей во время их обычных плановых совещаний. На каждом таком совещании она делилась с ними относящимися к их работе отчетами по добавленной стоимости и помогала командам толковать содержащиеся в них данные. Затем сотрудникам предоставлялось время для обсуждения и разбора отчетов по добавленной стоимости и оценки их сильных и слабых сторон. Посещая регулярные учительские совещания, Тина смогла сразу после получения данных в начале учебного года встретиться со всеми преподавателями и обсудить их результаты с точки зрения добавленной стоимости.
Сила анализа данных о добавленной стоимости в том, что он дает пищу для диалога, подразумевающего критический подход к обучению детей.
Не все руководители школ и округов готовы спокойно делиться информацией о добавленной стоимости со штатом сотрудников, потому что эта информация является для них новой и необычной. Обычные их опасения: «Что если учителя начнут задавать вопросы, на которые я не смогу ответить? Что если они не согласятся со своими результатами?». Помните, что сила анализа данных о добавленной стоимости в том, что он дает пищу для диалога, подразумевающего критический подход к обучению детей. Именно поэтому мы призываем учителей и руководителей полагаться на полученные данные и не жалеть времени на эти иногда неудобные, но очень ценные беседы о взаимосвязи между методиками преподавания и результатами учеников. В главах 4, 5 и 6 приводится сравнительно простое руководство к обсуждению информации о добавленной стоимости.
Хизер Дзики, учитель в школьном округе Дюбуа в Западной Пенсильвании, прошла через те же сомнения. Ее совет – просто отбросить колебания и отнестись к информации о добавленной стоимости «как к инструменту, а не как к причине для беспокойства». В начале года всем учителям начальной школы Sykesville школьного округа Дюбуа было предоставлено время на изучение информации об их добавленной стоимости. Это не было формальным требованием – скорее просьба к учителям со стороны директора Либби Шиндлдекер. С точки зрения Хизер, информация о добавленной стоимости – это «одна из тех вещей, в которых совершенствуешься с практикой. Сначала я этого не понимала, но теперь в этом уверена. Мне достаточно пробежаться глазами по отчету, чтобы понять, добиваюсь ли я поставленных целей. Это приходит со временем и с опытом». По итогам обучающих встреч по профессиональному развитию хизер так описывает свой путь к пониманию анализа данных о добавленной стоимости: «Поняв, двигаюсь ли я в правильном направлении, я готова продолжать свою работу. Меня вдохновляет осознание того, что моя деятельность принесет положительные результаты. Бывают и моменты, когда мои результаты не так хороши, как хотелось бы, но в этом случае я могу быть уверена, что внесу необходимые изменения и посмотрю, сработают ли они. Это дает мне предлог для того, чтобы что-то менять».
После того как вы сформировали образовательную культуру, при которой данные о добавленной стоимости являются основой для принятия решений, предоставили сотрудникам возможности для профессионального развития и обеспечили им достаточный уровень доступа к информации о добавленной стоимости, убедитесь, что у них есть время и все необходимые инструкции для совместного глубинного изучения имеющихся данных. Это, например, могут быть поздние среды[6], во время которых учителям предоставляется время для работы в компьютерном классе, или же можно ввести традицию отводить определенное время изучению отчетов по добавленной стоимости и анализу их данных перед собраниями сообществ по профессиональному обучению[7]. Среди других стратегий по изучению информации о добавленной стоимости можно назвать использование времени на плановых собраниях преподавательского состава или предложение главам департаментов уделять часть повестки дня собраний департамента совместному анализу информации о добавленной стоимости.
В следующем разделе мы обсудим макро– и микроуровни изучения информации о добавленной стоимости, поговорим о значении этих уровней и о том, почему важно двигаться от данных высокого уровня к данным низкого уровня.
Движение от макроуровня к микроуровню, которое совершили преподаватели Вестервилля, – это правильный подход, потому что (а) каждый уровень отчетности создает контекст для следующего, более низкого уровня отчетности, и (б) движение от общего к частному помогает деперсонализировать данные и наилучшим образом способствует предметному обсуждению, основанному на полученных данных. Информация о добавленной стоимости может быстро стать персональной – ведь она показывает, в какой степени преподаватели способствуют прогрессу учеников своих школ и своих классов. Это может как воодушевлять, так и сбивать с толку. Чтобы сотрудники не испытывали дискомфорта при изучении результатов добавленной стоимости, мы советуем начинать внедрение этой концепции с рассмотрения информации на уровне округа, и только после этого переходить к более конкретизированным отчетам, описывающим добавленную стоимость школ, классов и индивидуальных педагогов.
Важное замечание
В этом разделе мы предлагаем преподавателям придерживаться подхода сверху вниз – от макро– к микроуровню анализа данных. Это не означает, что анализ должен быть иерархическим. Мы не говорим, что окружные рабочие группы должны завершить анализ отчетных данных на уровне округа, прежде чем давать разрешение рабочим группам на уровне школ на анализ их данных. Подход от макро– к микроанализу лишь предполагает, что каждая группа должна начинать свой анализ с агрегированных данных, а затем переходить к дезагрегированным данным. Подробнее эту концепцию мы обсудим в главе 3.
Когда вы будете предоставлять данные своим сотрудникам, советуем вам показывать отчеты на большом экране, а также распространять среди преподавателей бумажные копии отчетов. В главах 4, 5 и 6 приведены примеры отчетов и предложения по ведению таких дискуссий. Но есть несколько важных соображений, которые стоит иметь в виду. Мы советуем всегда начинать обсуждение результатов с сильных сторон по двум причинам. Первая – преподавателям нужно время для признания и обсуждения их успехов. На этом этапе дискуссии выявляются действенные стратегии и подходы, которые стоит сохранить и распространить. Вторая причина, по которой имеет смысл начинать с сильных сторон, состоит в том, что обсуждение успехов готовит преподавателей к разговору о сторонах, создающих вызовы.
Всегда начинайте обсуждение с позитивных результатов.
Вот примерные вопросы для дискуссии при обсуждении отчетов по добавленной стоимости с преподавательским составом.
• Каковы сильные стороны в отчете нашего школьного округа? В каких предметах и каких классах нам удается добиться прогресса учеников, превышающего ожидания?
♦ Что особенного или отличного в том, как идет обучение в предметных областях?
♦ Есть ли способы усилить методы научения определенным предметам, используя некоторые из них в других предметных областях?
• В чем состоят вызовы для нашего школьного округа? В каких предметах и каких классах нам не удается добиться ожидаемого прогресса учеников?
♦ Чем отличается то, как преподаются «отстающие» предметы?
♦ Есть ли действенные способы помочь прогрессу в этих предметных областях?
Прежде чем переходить к изучению отчетов по конкретной школе и конкретным учителям, важно предоставить вашим сотрудникам время для обсуждения указанных вопросов в маленьких группах.
В главе 3 мы поговорим о сравнительно простой модели совершенствования работы школы, которая является ключевой для этой работы. Затем в главах 4–6 мы поделимся подробной информацией о том, как читать отчеты и интерпретировать их на уровне округа, школы, класса и конкретного учителя, а также обсудим ключевые для понимания отчета вопросы.
Используя информацию о добавленной стоимости, важно формировать новую образовательную культуру, при которой решения принимаются на основе анализа полученных данных о добавленной стоимости. Руководители и директора должны проявлять открытость и целеустремленность в своем намерении использовать концепцию добавленной стоимости для совершенствования работы школы. Этой информацией следует делиться с учителями и руководителями, предоставляя ее им во всех возможных формах и контекстах. Наряду с этим у преподавателей должна быть возможность качественного профессионального развития, включающего освоение навыков использования информации о добавленной стоимости. Во время вводных семинаров необходимо объяснить преподавателям, чем отличаются показатели прогресса учеников и их успеваемости и как можно совершенствовать работу школы при помощи анализа данных о добавленной стоимости. Эту книгу можно и нужно использовать в качестве стартовой платформы для таких установочных мероприятий как на уровне школы, так и на уровне школьного округа.
Как только каждый сотрудник поймет, в чем заключается анализ данных о добавленной стоимости и для чего используются эти данные, учителям и руководителям понадобятся ясные инструкции, касающиеся получения и интерпретации своих отчетов по добавленной стоимости. Доступ к этим отчетам ведет к их использованию, что, в свою очередь, способствует совершенствованию работы школы. Как только преподаватели получат доступ к своим отчетам по добавленной стоимости, обеспечьте их необходимыми для совместного изучения такой информации инструментами. Наконец, представляя сотрудникам данные о добавленной стоимости, руководители должны двигаться от макро– к микроуровню, т. е. начинать дискуссию с обсуждения результатов округа и лишь затем переходить к обсуждению результатов школы, класса и конкретного учителя. Движение от большого к малому поможет преподавателям увидеть картину в целом, открывая дорогу улучшениям на нескольких уровнях сразу.
• Как анализ данных о добавленной стоимости используется (или будет использоваться) в вашей школе или вашем школьном округе? Он используется преимущественно для контроля и учета или для улучшения работы школ?
• Как именно вы расскажете родителям, учителям, ученикам и другим заинтересованным лицам вашего округа о концепции «двойной силы»?
• Включили ли вы информацию о добавленной стоимости во все виды коммуникации, в том числе в электронные рассылки, содержимое сайта и брошюры, описывающие действия по повышению эффективности школьного округа?
• Все ли ключевые руководители в вашем школьном округе понимают, что значит анализ данных о добавленной стоимости, и как изучение показателей прогресса помогает сформировать более ясную картину обучения школьников?
• Как вы собираетесь представить сотрудникам смысл анализа данных о добавленной стоимости?
• Сформировали ли вы центральную команду из руководителей округа и директоров школ, которые будут выступать экспертами по полученным данным?
• Предусмотрели ли вы достаточное количество времени для того, чтобы все учителя и руководители поняли суть анализа данных о добавленной стоимости и возможности его использования для совершенствования работы школы? Как вы можете встроить анализ данных о добавленной стоимости в уже существующие в ваших школе или округе методы профессионального развития?
• Есть ли у сотрудников бумажные копии отчетов или доступ к их онлайн-версии?
• Кто из преподавательского состава ваших школы или школьного округа сможет выступить экспертом по полученным данным?
• Какие сейчас существуют препятствия к тому, чтобы предоставить сотрудникам доступ к данным, и что можно предпринять, чтобы устранить эти препятствия?
• Как можно побудить преподавателей изучить их отчеты по добавленной стоимости?
• Можно ли задействовать для изучения преподавателями своих отчетов по добавленной стоимости часть времени собраний педагогических советов, дней с поздним началом учебы или мероприятий по профессиональному развитию?
• Какие сильные стороны работы учителя выявлены в результате анализа отчетных данных?
• В какой форме вы представите успехи в начале презентации?
• Какие вопросы и возражения могут возникнуть, когда вы будете представлять данные, двигаясь от макро– к микроуровню?
• Введение в анализ данных о добавленной стоимости: план двухчасового семинара по профессиональному развитию – пример плана собрания преподавательского состава для ознакомления с концепцией.
• «Ускорение прогресса учащихся, улучшение результатов и ожиданий ASPIRE: Руководство для родителей и всего нашего сообщества» – информационная брошюра Независимого школьного округа Хьюстона для родителей и членов сообщества (см. рис. 2.1).
Введение в анализ данных о добавленной стоимости: план двухчасового семинара по профессиональному развитию
I. Приветствие и вступительное слово.
• Озвучить позицию округа в отношении анализа данных о добавленной стоимости.
• Привести контекст применения анализа данных о добавленной стоимости.
• Пробудить интерес слушателей («разбить лед»).
II. Роли и сферы ответственности сотрудников при анализе данных о добавленной стоимости.
• Понимать относящиеся к ним данные.
• Использовать данные в анализе результатов и при принятии решений.
• Признавать заслуги, сотрудничать, интересоваться.
III. Надежды и опасения.
• Попросить сотрудников изложить свои ожидания и опасения, связанные с информацией о добавленной стоимости.
IV. Введение в анализ данных о добавленной стоимости.
• В малых группах обсудить разницу между показателями прогресса и успеваемости.
• Сформулировать рабочие определения для анализа данных о добавленной стоимости.
• Представить DVD «Введение в систему измерения прогресса через добавленную стоимость».
• Пересмотреть определения, ответить на вопросы, скорректировать неверное понимание.
V. Общие сведения о добавленной стоимости: как выглядят отчеты по добавленной стоимости?
• Показать примеры отчетов в PowerPoint.
• Инициировать обсуждение общих паттернов, обнаруженных в отчетах по добавленной стоимости.
VI. Следующие шаги.
• Поделиться с сотрудниками особенностями ориентирования и доступа к отчетам.
• Повторить позицию округа в отношении анализа данных о добавленной стоимости.
• Озвучить планы и даты следующих семинаров и обсуждений информации о добавленной стоимости.
• Выразить надежду, что после данного собрания сотрудники обратятся к отчетам и подготовятся к обсуждению в профессиональном кругу результатов школы и отдельных классов.
Рис. 2.1. Ускорение прогресса учащихся, улучшение результатов и ожиданий (ASPIRE)
Цикл импрувмента на основаниии анализа данных о добавленной стоимости
Ключевые тезисы главы 3
1. Значение выражения «системный импрувмент в образовании» изменилось.
2. Анализ данных о добавленной стоимости отражает эффективность программ.
3. Округ, школа и класс – взаимозависимые системы, вложенные одна в другую.
4. Объективная информация – это ключ к пониманию текущего состояния системы.
5. Фокус на системе – соединение уровней анализа и стадий исследования.
6. Важность фокуса.
Главная цель этой главы – представить структуру повышения качества образования, которая служит центральным стержнем для остального содержания книги. Эта структура, которую мы называем BFK·Фокус[8], опирается на набор убеждений, первоначально описанных в литературе об изменениях систем и организаций и подкрепленных нашим опытом и опытом людей, с которыми мы работали. Некоторые из этих убеждений в ходе чтения могут показаться вам неожиданными, и именно поэтому мы призываем вас критически смотреть на содержание этой главы. Логично, что некоторые из наших убеждений относятся к связи информации с совершенствованием образования, помимо этого мы говорим об особой роли информации о добавленной стоимости в наших представлениях о системах импрувмента в образовании.
Глава начинается с обсуждения выражения «системный импрувмент в образовании» и произошедших со временем изменений его смысла. Затем рассмотрим препятствия на пути к желаемым изменениям со стороны уже существующих структур – на уровне округа, школы и класса. Затем поговорим о том, что системный импрувмент возможен – а то и неизбежен, – если каждый уровень системы правильно реагирует на относящуюся к этому уровню информацию. Наконец, рассмотрим структуру из трех вопросов, которая позволит сотрудничать педагогам всех уровней системы, действуя при этом независимо на основе данных, относящихся именно к их работе.
Мы надеемся, что к концу чтения этой главы читатель сможет более цельно увидеть роль информации о добавленной стоимости в масштабном процессе совершенствования системы образования. Главы 4, 5 и 6 посвящены глубокому изучению отчетов о добавленной стоимости, имеющих важное значение для анализа работы системы образования на уровне округов, классов и отдельных учителей.
Но прежде чем мы углубимся в изучение всех этих убеждений, давайте определимся со смыслом выражения «системный импрувмент в образовании».
Системный импрувмент в образовании – это не новая идея, но внимание к ней и суть понятия «системный импрувмент» со временем разительно изменились. Например, в 1957 г. Советский Союз привлек внимание всего мира, запустив «Спутник» – первый искусственный спутник Земли. Это единственное событие разом избавило Соединенные Штаты от их послевоенной эйфории, недвусмысленно показав, что в борьбе за завоевание космоса мы сильно отстали от Советского Союза. Одним из важных последствий этого события стала широкомасштабная критика образовательной системы страны. Если говорить коротко, школьники Соединенных штатов не обучались математике и другим наукам на том уровне, который был необходим для успешного конкурирования страны с Советским Союзом. В тот момент системный импрувмент заключался преимущественно в более качественных учебных планах по математике и другим точным наукам.
Спустя четверть века, в 1983 г., Национальная комиссия по повышению качества образования опубликовала очередную работу, содержащую разгромную критику системы школьного образования, под названием «Нация в опасности». Авторы доклада предупреждали, что «сегодня образовательные основы нашего общества подрываются надвигающейся волной заурядности, которая угрожает нашему будущему – как будущему нации в целом, так и личному будущему людей» [National Commission…, 1983, p. 1].
В отчете среди прочего утверждалось, что американская образовательная система должна повысить требования, усилить учебные планы, усилить преподавательский состав и удлинить учебный год. Привычные нам нормативы и системы тестирования в Соединенных Штатах своим появлением обязаны этому отчету и тому общественному волнению, которое он спровоцировал.
Сегодня улучшения в сфере образования направлены в основном на качество работы учителей. Как и предыдущие запросы общества на системные улучшения, эта потребность тоже возникла в результате приближения неких изменений. Как только нормативы и тестирование стали нормой для всех школ страны, появилась возможность тщательного сравнительного анализа результатов тестирования каждой школы, округа и штата. Сначала это сравнение не приносило никакой пользы, потому что большинство различий в результатах могло быть отнесено на счет социально-экономических факторов. Ученики, имеющие социальное преимущество, почти всегда превосходили по результатам тестирования детей из неблагополучных семей.
Сегодня улучшения в сфере образования направлены в основном на качество работы учителей.
Появление показателей добавленной стоимости в значительной степени разрешило эту проблему, потому что эти показатели не просто сопоставляют уровни успеваемости учеников, а позволяют сравнить степень прогресса, который они демонстрируют от года к году. Такого рода анализ позволил связать достижения учеников с качеством получаемого ими образования, а не с их семейными обстоятельствами. Все это открыло возможности для более предметного сравнения показателей в контексте штатов, округов, школ и даже отдельных классов. Первостепенным открытием, сделанным в результате всей этой аналитической работы, стало то, что преподавание является основной переменной, влияющей на академический рост учеников. Огромные различия в темпах прогресса учеников от класса к классу значительно перевешивают те различия, которые могут быть приписаны влиянию школы, округа или штата. И это приводит нас к выводу о первостепенности качества работы учителя.
Поэтому теперь, когда методисты, законодатели и другие участники образовательного процесса говорят о системном улучшении образования, они в первую очередь имеют в виду улучшение качества – а именно продуктивности – учителей. Когда мы задумываемся над тем, как можно этого добиться, важно понимать, какого рода информацию предоставляет нам анализ данных о добавленной стоимости.
Что думают преподаватели, когда слышат выражение «использование данных о добавленной стоимости»? А выражения «обучение на основе данных о добавленной стоимости» или «использование данных для информационной поддержки преподавания и научения»? 25 лет назад еще не существовало ежегодного тестирования и систем учета и контроля результатов школьного обучения на уровне штата и на федеральном уровне. Ив то время практически не говорилось об импрувменте на основании получаемых данных о добавленной стоимости, потому что тогда не существовало агрегированных данных, которыми можно было подкреплять процессы преобразования. Сегодня учителя часто используют эти выражения, хотя смысл выражения «импрувмент на основании отчетных данных» все еще продолжает раскрываться – как и все, что связано с образованием.
Для большинства преподавателей выражение «импрувмент на основании получаемых отчетных данных» относится к конкретному типу применения данных – постатейному анализу результатов ежегодного тестирования школ в масштабе их штата. этот последний тип анализа призван помочь учителям понять, каковы результаты их учеников по конкретным вопросам или группам вопросов тестов.
Например, конкретный преподаватель математики 5-го класса при помощи анализа результатов тестов по различным разделам знаний обнаруживает, что ее ученики хорошо владеют вычислениями, но не преуспели в том, что касается последовательностей и функций. К сожалению, само по себе это открытие ничего не говорит о качестве преподавания этих разделов. Ведь вполне может быть, что учитель(ница) плохо обучил(а) учеников этому предмету и в области вычислений, но этот раздел был и так им хорошо знаком благодаря предыдущим преподавателям. Это также может означать, что он(а) качественно преподавал(а) предмет в части последовательностей и функций, но, поскольку его(ее) ученики не имели достаточной подготовки на момент поступления в класс, он(а) не смогла довести их до уровня знаний, достаточного для правильного ответа на соответствующие вопросы теста. Обладая информацией о результатах по конкретным вопросам/заданиям, учителя могут сделать обоснованные выводы относительно суммарного влияния на учеников школы образовательных программ, но эта информация практически ничего не говорит им об эффективности их программы для конкретного года обучения. Чтобы оценить действенность обучения в своих классах, учителям нужна информация о добавленной стоимости.
Информация о добавленной стоимости дает учителям отправную точку для совершенствования.
Анализ данных о добавленной стоимости в явной форме показывает, какого прогресса достиг ученик за время курса одного школьного года. он сообщает учителям, обеспечивает ли образовательная программа в ее нынешней форме ожидаемый прогресс учеников. эта информация может оказаться для учителей удивительной, ожидаемой или разочаровывающей, и это предмет обсуждения главы 6. Качественный анализ данных о добавленной стоимости также говорит учителям, движутся ли одни ученики быстрее других в освоении текущей программы. Именно такого рода информация в сочетании с выводами детального анализа по разделам знания помогает учителям осознанно корректировать как содержание, так и способ подачи учебной программы. Например, конкретный учитель(ница), изучив информацию о добавленной стоимости, может обнаружить, что его(ее) ученики в целом добились ожидаемого прогресса, но для подгрупп с различной первоначальной успеваемостью темпы прогресса оказались разными. Темпы прогресса изначально отстающих учеников оказались выше ожидаемых, при этом те, кто показывали наилучшую успеваемость в начале года, не смогли достичь ожидаемого прогресса. Информация о добавленной стоимости дает учителям отправную точку для совершенствования. Планируя свою работу на следующий учебный год, преподаватель будет стремиться сохранить те части программы, которые оказались эффективными для изначально отстающих учащихся, но при этом дополнить программу таким образом, чтобы она была эффективной и для учеников с первоначально высокой успеваемостью.
Для понимания этой главы важно отметить, что округ, школа и класс представляют собой взаимозависимые родственные системы, вложенные одна в другую. Иными словами, каждый из этих уровней системы образования состоит из взаимозависимых составляющих, и результаты, достигнутые на одном из уровней, хотя бы отчасти влияют на результаты других уровней. Однако на практике эти взаимосвязи часто не учитываются.
Округ, школа и класс – взаимозависимые системы, вложенные одна в другую.
Учителя, входя в класс, действуют так, как будто они ни от кого и ни от чего не зависят; директора школ борются с другими директорами за лучших преподавателей; завучи и советы школ формируют шаблонную политику, причесывающую всех под одну гребенку. Из-за пробелов, образующихся от игнорирования одним уровнем других уровней, системный импрувмент становится неподъемной задачей. К счастью, существует эффективная и сравнительно простая стратегия, позволяющая согласовывать действия каждого уровня системы –
Фокус на каждом уровне ведет к согласованности между всеми уровнями в первую очередь потому, что данные уровня округа на самом деле представляют собой сводный итог отчетных данных на уровне школы и на уровне учителя. Когда учителя изучают закономерности по своим данным и реагируют на них, получаемые ими результаты отражаются не только в их последующих отчетах, но и в отчетах школы и округа. Аналогично, когда рабочая группа на уровне округа анализирует масштабные закономерности в собранных со всего округа данных, и действует в соответствии с выводами из этих закономерностей, результаты отражаются на уровнях школ и отдельных классов.
Поскольку эти системы вложены одна в другую, то нет необходимости в иерархическом подходе к импрувменту. Это значит, что не нужно проводить анализ данных на уровне округа, до того как школа проведет свой анализ на уровне школы или до того как преподавательский состав проанализирует свои данные на уровне классов. Нет необходимости иметь общие для всех цели. Если каждый уровень системы проводит необходимые действия по результатам полученных им данных, вся система в целом становится эффективнее. Поскольку эти системы вложены одна в другую, необходимые действия на одном уровне положительно отразятся на показателях других уровней. Если это нам понятно, то остается единственный вопрос: как именно преподаватели – на уровне округа, школы и конкретного учителя – должны анализировать относящиеся к их уровню данные, и какие именно действия им нужно предпринимать по итогам изучения этих данных? Что должны делать педагоги на каждом из этих уровней, чтобы добиваться системных улучшений?
Что должны делать педагоги на каждом уровне образовательной системы, чтобы добиваться системных улучшений?
Приведем два наиболее известных высказывания о системах: (1)
Итак, если системный импрувмент – это улучшение нашего образа мыслей и действий, то какие именно изменения мы должны провести в своем мышлении и в своих действиях? Системный импрувмент любого рода – улучшаете ли вы свой замах в гольфе, совершенствуете ли пищевые привычки своей семьи, или же повышаете уровень успеваемости в школьной системе – состоят из трех стадий, определяемых тремя ключевыми вопросами: каково текущее состояние системы; каковы основные причины демонстрируемых ею результатов; что мы должны поменять в своем образе мыслей и действий, чтобы улучшить эти результаты. Эти три вопроса мы рассмотрим в данной главе и в пяти последующих главах.
Независимо от размера и сложности системы чрезвычайно важно, чтобы ответ на первый вопрос был получен при помощи каких-то объективных данных. Субъективная информация важна для понимания сути ежедневных событий, но не для ответа на этот фундаментальный вопрос о системе. Давайте посмотрим, почему это так.
Высказывание о системах, приведенное выше, – каждая система идеально организована для получения тех результатов, которые она получает, – является ключом к пониманию этого вопроса. Система производит свои результаты благодаря способу взаимодействия ее частей. Это взаимодействие дает в сумме результат, превосходящий сумму результатов, даваемых каждой из этих частей. Иными словами, системы производят результаты, не достижимые любыми из ее частей по отдельности. Когда мы, будучи индивидами, действуем как часть системы – мы имеем ограниченное представление об ее функционировании. Чтобы улучшить систему, мы должны быть способны посмотреть на нее в целом, т. е. снаружи вовнутрь.
Например, все игроки в гольф желают улучшить свою игру. Когда они играют, то могут почувствовать, что что-то идет не так, и, руководствуясь этим чувством, пытаются скорректировать свои замахи. Однако обычно эти попытки не приводят к ожидаемому улучшению – нередко результат только ухудшается. Чтобы произвести улучшение своих замахов, они должны найти способ выйти за пределы системы, частью которой является их субъективный опыт. Поэтому им нужно больше объективных данных – таких как видеозаписи их замахов, сделанные с разных точек, или непредвзятая оценка профессионального тренера по гольфу. Суть в том, что, если вы хотите улучшить функционирование системы, вам нужно найти способ рассмотреть эту систему в целом, двигаясь извне вовнутрь.
Если вы хотите улучшить функционирование системы, вам нужно найти способ рассмотреть эту систему в целом, двигаясь извне вовнутрь.
Таким образом, в контексте нашей книги сравнительно объективными данными, особенно важными для первого шага в деле улучшения процессов научения, являются данные об успеваемости и добавленной стоимости. При переходе ко второму вопросу, связанному с этим процессом, – каковы основные причины демонстрируемых системой результатов – возрастает роль субъективной информации, но на первом этапе важно сконцентрировать внимание на генерируемых системой объективных данных. Также важно заметить, что информация о добавленной стоимости дает возможность посмотреть на работу педагогов в совершенно иной перспективе. Данные об успеваемости дают информацию о положении учеников относительно установленных системой стандартов. При этом информация о добавленной стоимости относится к эффективности программ, разработанных для того, чтобы провести учеников через основанную на стандартах систему. Иными словами, информация о добавленной стоимости говорит преподавателям о том, насколько хорошо работает текущая программа как в целом, так и по отношению к конкретным подгруппам учащихся. Получив эту информацию, преподаватели, наконец, стали обладателями того, что в мире бизнеса считается само собой разумеющимся: относительно надежным показателем производительности. Информация о добавленной стоимости говорит нам, насколько продуктивна текущая учебная программа.
При рассмотрении доступных сегодня преподавателям показателей успеваемости и добавленной стоимости важно мыслить на уровнях как агрегированных, так и дезагрегированных данных. Оба вида данных важны, но в контексте эффективности системы они отвечают на разные вопросы. В главах 4, 5 и 6 мы рассмотрим, как выглядят эти данные на различных уровнях образовательной системы и что должны делать специалисты различных уровней со своими агрегированными и дезагрегированными данными.
Если собрать воедино все, о чем говорилось в этой главе, в результате получится трехуровневая трехступенчатая модель совершенствования образования.
Рис. 3.1. Фокус на системе
Эта модель представлена на рис. 3.1. Три уровня анализа изображены в виде трех воронок, вставленных одна в другую. Самая большая воронка соответствует анализу на уровне округа, средняя по размеру воронка – на уровне школы, а самая маленькая – на уровне класса. Три этапа исследования на каждом из уровней представлены тремя ключевыми вопросами о системном импрувменте: каково текущее состояние системы; каковы основные причины демонстрируемых ею результатов; что мы должны поменять в своем образе мыслей и действий, чтобы улучшить эти результаты.
Помимо тех положений, которые мы уже обсудили, для нашей модели важны еще две идеи. Первая идея передается через название «процесс –
Еще одна причина, по которой мы настаиваем на необходимости такого фокуса, заключена в наших знаниях о системах. В большинстве случаев, поскольку почти все задачи и проблемы являются системными задачами и проблемами, работа над улучшениями в одной сфере приводит к изменениям – в большинстве случаев к улучшениям – в других связанных сферах. Как говорят эксперты по системам, «вы не можете сделать что-то одно».
Поскольку все части системы взаимосвязаны, одно изменение почти всегда приводит к другим изменениям. Такой результат сфокусированных изменений имеет, в свою очередь, дальнейшие последствия. Любая группа профессионалов, работающая над импрувментом, должна помнить о том, чтобы «с грязной водой не выплеснуть и ребенка». Стараясь улучшить ситуацию для одной группы учеников, важно не ухудшить ее для другой группы. Поэтому любая команда педагогов, занятая работами по улучшению, должна всегда задаваться вопросом: что из того, что работает, мы должны оставить, а что из того, что не работает, мы должны изменить?
Еще одна идея, заключенная в нашей модели, – это ее воронкообразная форма. Обсуждая эту модель, мы всегда пытались обозначить движение: информация попадает в верхнюю часть воронки, обрабатывается, фильтруется и передается на следующий этап анализа. Когда полученная информация проходит через вторую стадию, изучаются глубинные причины. Эта информация передается на следующий уровень – на третий этап анализа, где она используется для формирования плана импрувмента. В итоге на выходе каждой воронки мы получаем созданный участниками команды план действий, направленный на решение конкретной проблемы в конкретной сфере.
В нашей диаграмме мы пытаемся подчеркнуть, что на каждом уровне системы педагоги задают одни и те же три вопроса, касающиеся непосредственно относящихся к ним данных. Кроме того, мы хотим донести до читателя, что каждый этап исследования отчетных данных осуществляется относительно независимо от других. Иными словами, команда по импрувменту, работающая на уровне учителей, может принимать свои решения, не дожидаясь, пока свои решения примут команды, работающие над импрувментом на уровне школы и округа.
Но из-за того, что части нашей модели вложены друг в друга, учителя часто обнаруживают, что их глубинные проблемы перекликаются с проблемами всей школы или всего округа, потому что показатели школы и показатели округа неизбежно связаны с показателями класса. обнаружение такой взаимосвязи идет на пользу команде учителей, потому что обычно оно приводит к увеличению ресурсов, выделенных «сверху» на решение выявленной учителями проблемы.
Учителя часто обнаруживают, что их глубинные проблемы перекликаются с проблемами всей школы или всего округа, потому что показатели школы и показатели округа неизбежно связаны с показателями класса.
В истории образования было предпринято немало попыток провести системный импрувмент, но устройство наших образовательных институтов таково, что реформы шли очень медленно, встречаясь с серьезными трудностями. За последние годы в результате внедрения анализа данных о добавленной стоимости появилось новое направление для реформирования – качество преподавания. В этой главе мы представили модель системных преобразований, которая концентрирует внимание на уровне учителей, но кроме этого учитывает и действия, которые могут быть предприняты на других уровнях системы и обеспечить долгосрочный импрувмент. в следующих пяти главах мы продолжим рассмотрение этой модели и изучим каждый из уровней образовательной школьной системы.
1. Каково текущее состояние системы?
2. Каковы основные причины демонстрируемых ею результатов?
3. Что мы должны поменять в своем образе мыслей и действий, чтобы улучшить эти результаты? Как мы можем использовать наши главные сильные стороны, чтобы встречать наши главные вызовы?
1. Применяли ли вы раньше системный подход к школьным преобразованиям? Какие действия принесли ожидаемые результаты? Какие оказались безрезультатными?
2. Воронка представляет три уровня взаимозависимых вложенных друг в друга подсистем. С чего вы начнете – с уровня округа, школы или класса?
3. Будут ли преподаватели вашего округа проходить все уровни фокусной воронки? Как это будет осуществляться?
Цикл импрувмента на основе анализа данных о добавленной стоимости
Ключевые тезисы главы 4
1. Научитесь читать основные отчеты по добавленной стоимости на уровне округа.
2. Создайте матрицу «Фокус на моем округе», чтобы оценить текущие результаты.
3. Изучите дезагрегированные данные, чтобы определить сильные стороны и вызовы.
В главе 4 мы углубимся в изучение данных на уровне округа. Воронка «BFK·Фокус», изображенная на рис. 4.1, демонстрирует процессы анализа отчетных данных и импрувмента на уровне округа, школы и класса. С фокусом на системе вы познакомились в главе 3. На этом этапе предстоит работать с отчетами по добавленной стоимости, совмещая их с результатами успеваемости на уровне округа, вычленяя постоянно встречающиеся показатели по школам и отдельным классам. Но прежде чем вы сможете проходить стадии воронки на уровне округа, вам придется научиться интерпретировать окружные отчеты по добавленной стоимости. Советуем рассматривать эти отчеты в группе, сформированной из ведущих педагогов вашего округа. По возможности включайте в рабочую группу руководителей и преподавателей из разных школ вашего округа: учителя со всего округа редко собираются вместе, чтобы проанализировать данные, но этот опыт обычно оказывается очень ценным и плодотворным.
Для выполнения этой задачи вам понадобится окружной отчет по добавленной стоимости. Такие отчеты обычно предоставляются независимыми компаниями или организациями, специализирующимися на моделировании добавленной стоимости (value-added modeling – VAM). Школьные округа или образовательные органы штатов привлекают такие организации, чтобы обеспечивать преподавателей ежегодными отчетами по добавленной стоимости. Некоторые крупные школьные округа располагают достаточным количеством знаний и ресурсов, чтобы формировать собственные модели добавленной стоимости. Поэтому окружные отчеты могут различаться от округа к округу по форме и внешнему виду.
Рис. 4.1. Фокус на системе
Отчет, приведенный в табл. 4.1, сформирован компанией SAS[9], которая предоставляет свои отчеты округам посредством системы оценки добавленной стоимости в образовании (Education Value-Added Assessment System – EVAAS), разработанной SAS Institute, Inc.
Эквиваленты кривой нормального распределения[10]: в чем их особенность
Эквиваленты кривой нормального распределения (NCE) представлены на шкале от 1 до 99. Эта шкала совпадает с процентильной шкалой в значениях 1, 50 и 99. Но, в отличие от процентильной шкалы, интервалы шкалы NCE равны между собой. Это значит, что можно получить среднее значение эквивалентов, чтобы сравнивать группы учеников или школ.
Чтобы окружной отчет обрел смысл, нам нужно рассмотреть некоторые из его основных понятий. Этот отчет, сформированный SAS, содержит трехлетние результаты тестов по математике в масштабе округа за период с 2008 по 2010 г., отражая историческую и текущую информацию о достижениях округа в разрезе добавленной стоимости относительно ожиданий прогресса учеников, установленных штатом. Рост добавленной стоимости здесь определяется как средний балл NCE и выражается при помощи баллов NCE. Шкала NCE похожа на шкалу процентилей, но, в отличие от последней, является интервальной шкалой, т. е. имеет равные интервалы. Благодаря этому свойству такая шкала может использоваться для сравнения результатов анализа по нескольким годам и нескольким предметам. Например, показатели NCE позволяют вычислить средний балл за три года.
Таблица 4.1. Окружной отчет по добавленной стоимости (математика)
Такой взгляд на результаты добавленной стоимости в масштабе штата позволяет ответить на один важный вопрос: какой прогресс был достигнут за год обучения в масштабе округа? Шаг за шагом изучив данные, мы сможем лучше их понять и найти ответ.
Этапы чтения отчетов по добавленной стоимости
Этап 1. Найти оценку среднего балла NCE.
Этап 2. Определить средний годовой прирост.
Этап 3. Определить средний прирост за три года.
Этап 4. Сравнить результат с установленным нормативом прогресса.
Если мы посмотрим на оценки среднего балла за 2010 г., то увидим, что средний ученик 7-го класса получил 51,1 балла NCE. Это значит, что средний семиклассник округа находится немного выше среднего уровня успеваемости по штату относительно принятого за норматив 2007 г. Результаты учебы этой же группы учеников в прошлом можно отследить, проведя диагональ налево вверх. Средний ученик этой группы в 6-м классе (в 2009 г.) получил 56,5 балла NCE, в 5-м (2008 г.) – 54,7 балла NCE и в 4-м (2007 г.) – 56,8 балла NCE. Таким образом, за четыре года эта группа учеников не поддерживала свой уровень относительной успеваемости на одном уровне.
Когда мы смотрим на средний NCE-прирост 7-го класса 2010 г., то видим число -5,4 и букву R*. Число -5,4 отражает изменение по сравнению со средним баллом 56,5 (оценка среднего балла за 6-й класс в 2009 г.) до значения 51,1 балла, полученного в 7-м классе в 2010 г. Символ R* (и красный цвет ячейки в полной цветной таблице[11]) означает Red – красный, что говорит о том, что средний балл оказался ниже ожидаемого по меньшей мере на два стандартных отклонения. Здесь и далее по книге представлены черно-белые рисунки и таблицы, но часто для обозначения значений выше или ниже ожидаемых, а также соответствующих ожидаемым используется система цветовой маркировки. Определение того, что конституирует эти уровни, и есть политическое решение; следовательно, эти «знаки» различаются от штата к штату и от округа к округу.
Что такое стандартная ошибка
Стандартная ошибка – это мера неопределенности, связанная с оценкой среднего балла ученика. В общем случае, чем меньше стандартная ошибка, тем точнее оценка балла. На величину стандартной ошибки влияет как размер группы – когорты – учеников, так и среднеквадратичное отклонение баллов от среднего значения. Обычно, чем больше группа учеников – тем меньше стандартная ошибка, и чем больше разброс баллов – тем больше величина стандартной ошибки.
В строке табл. 4.1, обозначенной как «Средний за три года NCE-прирост», указаны данные о среднем приросте за последние три года для каждого класса (года обучения). Здесь мы видим, что семиклассники в среднем показывают прирост в 1,4 балла по NCE-шкале. Средние данные за три года помогают получить более достоверное представление о долгосрочной эффективности программы обучения.
В 2010 г. средний прирост в классах с 4-го по 8-й составил – 6,1 балла, со стандартной ошибкой в 0,5. Значит, с высокой долей уверенности можно сказать, что прогресс среднего ученика за эти годы оказался значительно ниже ожидаемого.
Интерпретация этих данных должна дать вам ответ на один ключевой вопрос: какого роста удалось добиться в каждом классе округа? Из нашего отчета следует, что в 2010 г. в среднем округ добился в математике гораздо меньшего по сравнению с ожидаемым роста. Это открытие дает очень важную информацию окружной рабочей группе, которая теперь может исследовать причины этого нисходящего тренда и постоянно низких результатов, двигаясь по воронкам BFK·Фокус.
Перерыв для практики
Используйте приведенный выше отчет по добавленной стоимости по математике, чтобы ответить на следующие вопросы.
1. В каком классе в 2010 г. зафиксирован самый высокий уровень средней успеваемости? А в каком самый низкий?
2. Ученики какого класса продемонстрировали наибольший прогресс по математике в 2010 г.? В каком классе был наименьший прогресс?
3. Успешен ли оказался округ в целом в 2010 г. с точки зрения прогресса по математике?
(Ответы приведены в конце этой главы.)
После анализа результатов добавленной стоимости окружная рабочая группа должна изучить взаимосвязи между прогрессом и успеваемостью. Когда команда руководителей школ округа собирается для изучения своих данных, ее члены не должны забывать, что их конечная цель – не просто понять эти данные, но и начать действовать. Помните, что, продолжая делать то же, что и всегда, вы будете получать те же результаты, что и всегда. Необходимо предпринимать продуманные правильные действия, а не просто приказывать другим решить проблему. Но, предпринимая действия, окружная рабочая группа должна направлять осознанные усилия в те точки, где они окажут реальное влияние на результаты. Например, окружная рабочая группа не имеет возможности обучать каждого преподавателя более эффективным практикам, но если отчеты демонстрируют, что в целом по округу учителя не добиваются ожидаемого прогресса от учеников с высокой успеваемостью, то рабочая группа может организовать курсы или семинары по обучению отличников для педагогов всего округа. Суть в том, что у окружной рабочей группы больше возможностей влиять на массовые паттерны, чем на небольшие проблемы, уникальные для школы или класса. Располагая совокупными данными со всего округа, окружная рабочая группа должна задаваться конкретными вопросами.
• В каких областях текущие результаты учеников оказались наилучшими? В каких областях лучшими оказываются долгосрочные результаты?
• В каких областях текущие результаты учеников оказались наихудшими? В каких областях худшими оказываются долгосрочные результаты?
• В каких областях результаты не меняются?
Эти вопросы очень важны, потому ответы на них выявляют крупномасштабные системные закономерности. Они показывают те области, в которых педагоги действовали особенно эффективно, а также те, в которых необходимы улучшения. Один из самых лучших и простых инструментов, позволяющих ответить на эти вопросы, – это матрица, которую мы назвали «Фокус на моем округе». В этой матрице показатели роста отмечаются на одной оси, а средние баллы успеваемости – на другой. Достоинство этого простого инструмента в том, что он позволяет окружной рабочей группе одновременно видеть оба измерения. Образец матрицы «Фокус на моем округе» приведен на рис. 4.2.
В матрице «Фокус на моем округе» прирост добавленной стоимости отражен на горизонтальной оси (X), т. е. внизу сетки. Для обозначения интервалов показателей роста добавленной стоимости могут использоваться баллы процентилей роста, средние баллы роста или цветовая маркировка. В нашей полноцветной версии матрицы «Фокус на моем округе» (см. на сайте SAS) интервалы прогресса обозначены при помощи цветовой маркировки. Средний уровень успеваемости для каждого класса и каждого предмета отражается на вертикальной оси (Y), и в нашем примере он представлен интервалами баллов NCE, где 50 – это средний уровень успеваемости в год, принятый за стандарт. Больше 50 баллов NCE соответствуют уровню успеваемости выше среднего; меньше 50 баллов NCE соответствуют уровню успеваемости ниже среднего. Чем дальше показатель от значения в 50 баллов NCE, тем выше или ниже средний уровень успеваемости. Интервалы на оси успеваемости тоже могут быть представлены разными способами, например, при помощи выражения результатов тестов в процентилях, при помощи оценок, полученных при тестировании или с использованием других измеряемых показателей успеваемости (например, взвешенной успеваемости).
Рис. 4.2. Матрица «Фокус на моем округе»
Этот несложный способ отображения двух разных типов данных позволяет нам многое понять. Самые яркие успехи конкретного округа попадают в верхний правый угол матрицы. Это классы и предметы, в которых достигается как высокая успеваемость, так и высокие темпы прогресса. Для данного округа естествознание и обществоведение в 4-м классе, а также литература и обществоведение в 7-м классе – это явные сильные точки. Но недостаточно просто обратить внимание на эти результаты: руководители округа должны разобраться, почему эти конкретные программы оказались настолько эффективными. Существуют ли закономерности в учебных планах и методах обучения, приведшие к таким выдающимся результатам?
Нижний левый угол матрицы требует внимания иного рода. В классах и предметных областях в этой части матрицы наблюдается как низкая успеваемость, так и неудовлетворительный рост. Почему? В чем причина того, что программы естествознания в 6-х классах и математики и естествознания в 8-х классах не работают в пользу учеников? Что содержится в текущих образовательных программах, которые обеспечивают результаты ниже ожидаемого уровня?
В этой матрице есть еще две «говорящие» зоны. Классы и предметы, попавшие в верхний левый угол матрицы, представляют учебные программы, в которых успеваемость учеников, возможно, и высока, но прогресс оказывается ниже ожидаемого. Весьма вероятно, что преподавание в этих классах и этих предметов стало слишком рутинным и (или) перестало развиваться. Педагоги в этих сферах считают свою работу эффективной, потому что ученики успешно проходят тесты, но проблема, скорее всего, в том, что этим успехом они обязаны предыдущим учителям или благоприятной домашней обстановке, которая способствует качественному обучению. Преподавателям этих проблемных классов нужны долгосрочные цели, связанные с прогрессом их учеников.
Последняя интересующая нас зона матрицы – нижний правый угол – представляет программы, в которых ученики добиваются прогресса, превышающего ожидаемый, но при этом их средняя успеваемость оказывается ниже ожидаемого уровня. Обратите внимание, что в нашем примере эта часть матрицы осталась пустой. Но обычно в крупных городских округах сюда попадает несколько предметных областей. Программы, оказавшиеся в этой части матрицы, должны быть тщательно изучены. Педагоги, работающие в этих областях, нашли способ добиваться постоянного прогресса от учеников, которые изначально сильно отставали от своих сверстников.
Можно увидеть и другие закономерности, которые выходят за пределы анализа квадрантов. С помощью цветовой маркировки входных данных в соответствии с изучаемым предметом окружная рабочая группа сможет легко заметить закономерности, связанные со школьными предметами. В нашем примере большое беспокойство вызывает математика. Все пять курсов математики с 4-го по 8-й классы попали в первые две колонки. Это значит, что ни в одном из классов не удается достичь даже ожидаемого уровня прогресса в математике. Поэтому с точки зрения крупномасштабных паттернов математика требует пристального внимания.
Те же самые данные можно раскрасить в соответствии с годом обучения (классом), и тогда мы увидим, что программы для 4-х и 7-х классов оказались достаточно сильными, а в остальных классах – сравнительно неэффективными.
Окружная рабочая группа должна изучить и дезагрегированные данные – т. е. информацию по подгруппам, чтобы найти закономерности другого рода. Например, нередко хороший учебный план оказывается эффективным не для всех учеников, а неудачный учебный план, напротив, некоторым ученикам помогает достичь хороших результатов. Единственный способ увидеть это состоит в изучении дезагрегированной информации о прогрессе, которая покажет паттерны прогресса для различных подгрупп учащихся. На рис. 4.3 вы видите графическую составляющую подборки диагностических отчетов, связанных с удручающими результатами по математике, наблюдаемыми в нашем примере. Графические данные сопровождаются числовой информацией, но нам для выявления важных закономерностей достаточно графиков.
Отчеты, представленные на рис. 4.3, сформированы компанией SAS, округа получают доступ к таким отчетам через систему услуг EVAAS института SAS Institute, Inc.
В нашем примере темно-серые столбики на графиках, показанных на рис. 4.3, представляют недавние подгруппы учеников округа. В каждом отчете-графике темный столбик с левого края соответствует ученикам, по уровню успеваемости попадающим в 20 % учеников штата с самой низкой успеваемостью. Аналогично темный столбик с правого края соответствует ученикам округа, по уровню успеваемости попадающим в 20 % учеников штата с самой высокой успеваемостью.
Три остальных столбца представляют учеников трех остальных подгрупп-квинтилей. Светло-серые столбики представляют ту же информацию, но в отношении предыдущих групп учеников. Толстая горизонтальная линия на каждом графике соответствует уровню ожидаемого прогресса для каждой подгруппы учеников. Темные и светлые столбики, идущие вниз от этой линии, представляют подгруппы учеников, чей уровень прогресса оказался ниже ожидаемого, а те, что находятся над этой линией, соответствуют подгруппам учащихся, добившихся превышающего ожидания прироста. В каждом случае высота столбца соответствует величине отличия полученного прогресса от ожидаемого уровня.
Когда окружная рабочая группа изучает результаты по математике в разных классах (рис. 4.3), ее участники ищут в данных любые постоянные паттерны. Есть ли у каких-либо подгрупп значительные сильные стороны, которые можно распространить на остальные подгруппы по всему округу? Есть ли заслуживающие внимания уязвимые места, проблемы в которых нужно решать на уровне округа? Такого рода находки чрезвычайно важны в процессе анализа данных, описанного в этой главе. Там, где удалось обнаружить постоянно встречающиеся случаи недостатков одного рода, следует предпринять масштабные действия. Если в масштабе округа не обнаружены явные закономерности, то сильными и слабыми сторонами следует заниматься на том уровне, на котором они проявляются.
Рис. 4.3. Диагностические отчеты округа N за 2010 г. (математика, классы с 4-го по 8-й)
Рис. 4.4. Диагностические отчеты округа N за 2010 г. (4-й класс)
В нашем примере мы видим достаточно постоянно проявляющуюся закономерность (паттерн): ученики с низкой успеваемостью демонстрируют менее значимый прогресс по сравнению со своими сверстниками с высокой успеваемостью. Исключение составляют лишь учащиеся 8-х классов: здесь наблюдается обратная закономерность, однако прогресс учеников с низкой успеваемостью также оказывается ниже ожидаемого. Итак, если говорить о сильных сторонах, то округ сравнительно неплохо справляется с тем, чтобы добиваться прогресса среди учащихся с высокой успеваемостью. При этом 8-й класс является очевидным исключением из этой тенденции. Что же касается вызовов, то округ испытывает проблемы в связи с программой по математике, не справляющейся с задачей улучшения показателей учеников с самой низкой успеваемостью. Такие ученики проигрывают своим менее отстающим сверстникам по всему штату.
По окончании анализа результатов по математике участники окружной рабочей группы перейдут к аналогичному вертикальному анализу дезагрегированной информации по таким предметам, как литература, естествознание и обществоведение (см. рис. 4.4).
Когда окружная рабочая группа изучила данные округа, двигаясь вертикально и выискивая паттерны в дезагрегированной информации по каждому предмету с 4-го по 8-й класс, наступает время горизонтального изучения тех же данных, т. е. анализа внутри каждого года обучения – класса.
На рис. 4.4 представлены диагностические отчеты по 4-м классам для каждого предмета. Эти отчеты сформированы компанией SAS, округа получают доступ к таким отчетам через систему услуг EVAAS института SAS Institute, Inc.
Целью этого анализа является нахождение закономерностей внутри одного уровня обучения – класса. В этой подборке диагностических отчетов ясно прослеживается та же закономерность, что и в отчетах по математике для всех классов. В целом можно сказать, что ученики с более низкой успеваемостью добиваются меньшего прогресса, чем ученики с более высокой успеваемостью. По окончании изучения данных за 4-й класс окружная рабочая группа переходит к изучению дезагрегированных отчетов по каждому из оставшихся классов.
Окружной рабочей группе недостаточно знать, каковы сильные и слабые стороны образовательных программ. Следующий вопрос, встающий перед ее участниками, – как использовать сильные стороны для устранения вызовов? Возможность это сделать определяется способностью рабочей группы расставлять приоритеты и концентрировать усилия. Чем на большее количество сильных и (или) слабых сторон распространяют свое внимание участники команды, тем меньше вероятность того, что им удастся добиться значимых перемен. Изменения требуют усилий, а усилия требуют концентрации. Мы советуем аналитическим группам фокусироваться не более чем на двух масштабных изменениях в год. в оптимальном случае лучше ограничиться одним изменением, но и двумя изменениями управлять вполне реально. Цель поиска закономерностей в рассматриваемых отчетных данных состоит в том, чтобы обнаружить сферу, в которой можно добиться измеряемых результатов при помощи целенаправленных усилий. Ключом к продуктивным изменениям является сфокусированная работа над достижением достойной цели.
Когда окружная рабочая группа изучила агрегированную информацию (матрицу фокуса на системе) и дезагрегированную информацию (дезагрегированные отчеты, где данные анализируются вертикально и горизонтально), необходимо упорядочить сильные стороны и расставить приоритеты среди проблем, требующих решения. При этом надо иметь в виду, что для текущей работы придется выбрать минимальное количество целей. В конечном итоге выбираются одна или две сильные стороны и одна или две проблемы, стоящие внимания благодаря их важности и (или) масштабности. На последующих этапах анализа – когда группа будет изучать глубинные причины текущего состояния – сильные стороны имеют большое значение, ведь обеспечивающие их педагогические практики могут быть применены для решения проблем с вызовами.
Эту главу мы завершаем рассказом о трансформации в организации обучения и научения. Директор образовательных программ Сьюзи Бейли сельской общины в городе Вашинтон-Корт-Хаус штата Огайо рассказывает о предпринятых ее округом усилиях по преодолению низких показателей успеваемости и роста. Их опыт является наглядным примером того, как руководители округа могут внедрить в работу информацию о добавленной стоимости и в результате добиться высокого уровня прогресса учащихся. Для нас этот пример послужил источником энтузиазма, и мы надеемся, что и читателей он вдохновит на дальнейшее изучение возможностей использования данных о прогрессе и успеваемости для поиска приоритетных путей к улучшениям. в следующей главе мы изучим эти данные на уровне школы.
История успеха одного округа
Городские школы Вашингтон-Корт-Хаус, штат Огайо Сьюзи Бейли, директор по учебной программе, оценке и анализу данных Округ: 2389 учащихся, четыре школы, уровень бедности – около 50 %, количество учеников, обучающихся по индивидуальным программам обучения (ИПО), – около 20%
Последние три года работы в городе Вашингтон-Корт-Хаус были для меня похожи на путешествие на сверхскоростном поезде. Недавно мы получили потрясающую новость о том, что наш округ находится среди 10 % самых успешных образовательных округов штата Огайо по прогрессу учащихся. Двумя годами ранее – в 2008 г. – по показателям прогресса мы находились в 5 % наихудших образовательных округов. Так что теперь мы собираемся воспользоваться советом доктора Мэри Питерс и провести парад!
на выездном семинаре для педагогов, который прошел прошлым летом, мы размышляли над воронкой BFK·Фокус и поняли, что при своем стремительном продвижении по пути школьных улучшений мы смогли разобраться с каждым предложенным пунктом, и даже более того. За это время мы впервые привели весь наш учебный план к установленным стандартам содержания учебных курсов, и 100 % наших учителей прошли обучение и аттестацию по работе с отчетными данными. Мы трансформировали все расписания наших школ, чтобы больше времени уделить литературе и математике, а также найти время в рамках учебного дня для дискуссий и закрепления знаний. Далее, внедрили систему профессиональных научающих сообществ во всех школах округа, выкроив для них время в ежемесячные дни позднего старта. Учителей обучили результативным преподавательским стратегиям, разработанным по результатам исследований, а также правильным методам контроля и качественной отчетности. Администраторы и некоторые учителя регулярно проводят опросы, чтобы выявить ожидания и получить обратную связь. Значительное число учеников ИПО получили доступ к общим учебным программам, а руководители средних и старших классов совместно разработали план перехода, чтобы поддержать тех учащихся, которые могут не справиться со стандартной программой. Наши старшие классы принимают участие в проекте BFK по добавленной стоимости в старшей школе и в сопутствующем тренинге по промежуточному контролю, а учителя нашей начальной школы проходят постоянное профессиональное обучение на тему: анализ данных аттестации для составления эффективных программ обучения чтению.
Я прошла обучение для работы региональным специалистом по анализу данных о добавленной стоимости, которое оказало мне неоценимую помощь в работе на должности директора по учебной программе, оценке и анализу данных. Майк Томас задал мне направление развития задолго до того, как я перешла в центральный офис, – еще когда он приехал в наш округ, чтобы проанализировать наши удручающие показатели. Помню, что ему понадобилось лишь несколько минут, чтобы оценить наши данные по успеваемости и добавленной стоимости, и выявить корень проблемы. он посмотрел на собравшихся директоров и администраторов и сказал: «Ваша учебная программа не соответствует стандарту». Спустя годы, когда пришел мой черед, я знала, что нужно делать в первую очередь. При помощи моих бывших коллег – региональных специалистов по добавленной стоимости из центров поддержки штата и из моего центрального офиса – миссия была выполнена.
Отчеты по добавленной стоимости стали нашей первой попыткой выйти за пределы того факта, что 75 % учеников каждого конкретного класса сдали экзамен по конкретному предмету. Учителя научились определять, в каких предметных областях и в каких классах наблюдается рост. Используя информацию о добавленной стоимости в подгруппах, они узнали, какие группы учеников получают наибольшую пользу от их преподавания. Теперь учителя рады возможности посмотреть на данные о добавленной стоимости по своим классам и отдельным ученикам, чтобы сравнить ожидаемые и фактические показатели. Они понимают, что прогнозирование – это мощный инструмент системы отчетности на основе анализа данных о добавленной стоимости, и каждую осень с нетерпением ожидают получения этих отчетов. Прогнозирование используется при принятии решений о распределении учащихся, особенно по сложным предметам, и помогает нам выявить учеников, которым требуется дополнительная помощь. Используя при обсуждении данных о добавленной стоимости концепцию BFK·Фокус, учителя делятся своими результатами, а также успешными стратегиями преподавания и аттестации.
Кроме того, наша старшая школа получила огромную пользу в результате нашего сотрудничества с Battelle for Kids (BFK). Когда BFK получила грант Фонда Билла и Мелинды Гейтс для запуска экзаменов по окончании курсов, наш округ воспользовался возможностью принять участие в испытаниях, и тогда мы впервые получили данные о добавленной стоимости для нашей старшей школы. После того как мы год проводили тестирование и сравнивали результаты с другими школами, нас выбрали для участия в углубленном эксперименте, который позволил нам перейти на новый уровень работы по улучшению успеваемости учеников. По итогам тренинга BFK по промежуточной оценке при постоянной локальной поддержке мы построили наш план улучшения показателей школы на базе отслеживания прогресса учеников. Учителя, принимавшие участие в эксперименте, а также другие ключевые преподаватели, прошли обучение с помощью онлайн-модулей по промежуточной оценке, и теперь они применяют изученные принципы в классе. Руководители старшей школы сегодня сконцентрированы на промежуточных оценках, в том числе на точной отчетности и ранжировании. Пробный опыт в старшей школе оказался революционным не только на данном конкретном уровне, но и в масштабах всего округа. Наш директор старшей школы, Джеф Ходсон, с ведущими преподавателями и сотрудниками BFK продолжает активно работать над формированием и распространением политики оценки, ранжирования и отчетности. Старшая школа стала в этом смысле бесспорным лидером округа.
В округе изменился и весь климат. Четыре года назад мы служили вопиющим примером изоляции учителей. В подтверждение расскажу об одной встревоженной учительнице, которая пришла ко мне за советом (я тогда была консультантом). Она рассказала, что учитель соседнего класса вечером после ее ухода зашел в ее класс и украл планы уроков. Многие учителя сетовали день за днем, надеясь, что когда-нибудь тестирование уйдет в прошлое. среди них превалировало мнение о том, что несправедливо возлагать на них ответственность за результат при том, что их ученики бездарны, а родителям этих учеников ни до чего нет дела. Рабочие тетради и полнометражные фильмы для некоторых учителей были любимой формой преподавания. При принятии решений редко использовались фактические данные. Для некоторых учеников преподавательский подход определялся лишь их фамилиями. Индивидуальные программы обучения представляли собой усеченные стандартные программы, особенно по математике и литературе, где и так были большие провалы. Я рада, что эти дни прошли. не устаю поражаться тому, как далеко мы продвинулись за прошедшие три года. Иногда этот опыт был болезненным. Нас часто критиковали за то, что мы не дожидались полной поддержки учителей. Но мы были уверены, что, когда исследования ясно демонстрируют эффективность стратегии, бездеятельность оказывается преступной. Говоря бессмертными словами Роберта Фроста, «мили пути отделяют нас от возможности отдохнуть», но наша траектория ведет нас в правильном направлении. Индекс достижений нашего штата за 2010 г. показывает, что из всех 610 школьных округов страны наше положение соответствует 94-му процентилю. Это огромный успех по сравнению с 45-м процентилем в 2009 г. и провальным 5-м процентилем из всех округов в 2007 г.
Наш инспектор Кит Браун инициировал радикальную перемену климата в школьном округе Вашингтон-Корт-Хаус, начиная с нашей системы взглядов. Он настоял на том, чтобы мы придерживались твердого и эффективного учебного плана. Он был непреклонен в том, что в поиске решений надо концентрироваться на взрослых членах системы. Под его руководством мы смогли перевести фокус внимания с программ на людей и их педагогические практики. Созданная мистером Брауном сильная и сплоченная команда специалистов из центрального офиса и школьных администраций поощряет здоровый риск и поддерживает всех участников системы.
Если бы мне нужно было выбрать один наиболее важный для нашего роста фактор, я бы назвала эффективность учителя. Каждое из наших тщательно продуманных усилий по школьному импрувменту было небольшим шагом в поступательном движении к успеху. Мы разрушили традиционную убежденность в том, что школы имеют слабое влияние на успеваемость учеников. Как только учителя увидели результаты и начали принимать многочисленные доказательства того, что их действия оказывают огромное влияние на прогресс их учеников, – их уже было не остановить.
В этой главе мы постарались научить вас интерпретировать окружные отчеты и использовать полученную информацию для построения матрицы «Фокус на системе». Эта матрица помогает быстро увидеть взаимосвязи между успеваемостью и прогрессом, поскольку ясно демонстрирует предметные области и классы, в которых есть сильные и слабые стороны. этот анализ поможет вам выявить закономерности показателей на уровне года обучения и предметной области. Такое знание ведет нас на следующий этап поиска закономерностей в дезагрегированных данных, где можно определить, какие группы учеников получают от текущей программы обучения больше или меньше результатов. Невозможно переоценить важность времени, затраченного на изучение отчетов, предоставляющих дезагрегированную информацию.
Ответьте на вопросы, используйте приведенный выше отчет о добавленной стоимости по математике за 2010 г. (рис. 4.2).
1. На каком году обучения наблюдается самый высокий уровень средней успеваемости в 2010 г.? Н а каком самый низкий?
2. На каком году обучения произошел наибольший прогресс в математике в 2010 г.? Н а каком наименьший?
3. С точки зрения прогресса учеников в математике насколько успешен был округ в целом в 2009 г.?
• Включили ли вы в группу преподавателей со всего округа?
• Включили ли вы в группу руководителей и представителей преподавательского состава из каждой школы?
• Есть ли в распоряжении вашей окружной рабочей группы инструменты и ресурсы, необходимые ей для успешной оценки текущих результатов и выявления слабых и сильных сторон? Возможно, вам стоит вернуться к главам 1–3, чтобы увериться, что каждый участник усвоил смысл и существо анализа данных о добавленной стоимости и что все они понимают, как использовать это знание в контексте школьного импрувмента.
• По каким предметам ваши ученики демонстрируют наилучшие результаты?
• По каким предметам – наихудшие результаты?
• По каким предметам результаты не изменяются?
• Результаты в каких предметных областях и в каких классах оказались для вас неожиданными?
• Какие результаты стали подтверждением вашего мнения?
• Каковы позитивные закономерности в ваших программах по математике, литературе, естествознанию и обществоведению?
• Каковы негативные закономерности в ваших программах по математике, литературе, естествознанию и обществоведению?
• Каковы позитивные закономерности в каждом годе обучения?
• Каковы негативные закономерности в каждом годе обучения?
Рис. 4.5. Шаблон матрицы «Фокус на моем округе»
Цикл импрувмента на основании анализа данных о добавленной стоимости
Ключевые тезисы главы 5
1. Научитесь читать школьные отчеты по добавленной стоимости.
2. Сформируйте матрицу «Фокус на моей школе», чтобы увидеть текущие результаты.
3. Изучите дезагрегированные данные, чтобы определить сильные стороны и вызовы.
Перед началом каждого учебного года директор одной из школ сельского школьного округа Огайо Бобби Мур вместе с командой руководителей школы готовились к «празднику данных». Они украшали стены спортзала плакатами с графиками и диаграммами, которые демонстрировали результаты, достигнутые школой за прошлый и предыдущие годы. В один из годов они даже использовали тему премии «Оскар». Облачившись в смокинг, Бобби отмечал сильные стороны школы, вручая награды в стиле статуэтки главной кинематографической премии. Этот праздник начала года был придуман не для того, чтобы пассивно любоваться вывешенными данными, а для того, чтобы внимательно изучить тенденции и закономерности и системно исследовать выявленные сильные стороны и вызовы.
Бобби делился с коллегами результатами успеваемости и данными о добавленной стоимости, чтобы выяснить, насколько успешными оказались стратегии, применяемые им и его преподавательским составом, и для каких групп учеников они были наиболее действенными. в этой главе мы погрузимся в анализ данных на уровне школы, который начинается с интерпретации информации о добавленной стоимости для школы и проработки стадий матрицы «Фокус на моей школе». мы описали одну систему выявления сильных сторон и вызовов и выбора приоритетных направлений работы при помощи воронки фокуса на системе. этот процесс на уровне школы очень похож на процесс на уровне округа, описанный в главе 4. В этой главе мы переходим ко второму слою воронки BFK·Фокус, изображенной на рис. 5.1.
Рис. 5.1. Фокус на системе
На этой стадии процесса вам предстоит работать с отчетами по успеваемости и добавленной стоимости, чтобы обнаружить закономерности по предметным областям и уровням обучения в рамках школы. В этой главе мы проведем вас через первую стадию аналитического процесса BFKФокуса на уровне школы и покажем, как толковать агрегированные и дезагрегированные отчеты об успеваемости и добавленной стоимости, чтобы выявлять сильные стороны школы и вызовы.
Первый отчет, с которым следует ознакомиться, это отчет по добавленной стоимости вашей школы. Поскольку отчеты по добавленной стоимости обычно предоставляются различными внешними компаниями или организациями, специализирующимися на моделировании добавленной стоимости (VAM), постольку виды и формы таких школьных отчетов могут быть разными. Тем не менее отчеты по добавленной стоимости на уровне школы обычно формируются для таких предметных областей, как математика и языковые дисциплины, а также нередко для естествознания и общественных наук. Поскольку существуют государственные стандарты отчетности, чаще всего эти отчеты генерируются для классов с 4-го по 8-й, но они могут быть сформированы и для уровня старших классов при условии, что школьные округа проводят всеобщие экзамены по окончании учебного года. Мы убедились, что преподаватели языков и математики, а также классные руководители находят информацию о добавленной стоимости очень содержательной. Что более важно – ознакомившись с процессом толкования результатов и расстановки приоритетов, они получают сильнейший стимул к действию.
Первый школьный отчет по добавленной стоимости, представленный в табл. 5.1, сформирован компанией SAS посредством системы оценки добавленной стоимости в образовании – EVAAS (Education Value-Added Assessment System), разработанной институтом SAS Institute, Inc. Этот отчет вам знаком, так как почти полностью повторяет окружной отчет, представленный в главе 4.
Таблица 5.1. Школьный отчет по добавленной стоимости (математика)
Этот отчет содержит результаты по математике в средней школе XYZ с 2008 по 2010 г. Чтобы лучше понять данные по этой школе, рекомендуем вам вернуться к главе 4, чтобы вспомнить ключевые термины и особенности отчета. Напомним, что верхняя часть таблицы (обозначенная как «Оценка среднего по школе NCE-прироста») содержит информацию о прогрессе учеников по уровням обучения (классам) и школьных лет, а нижняя часть таблицы («Оценка среднего по школе балла NCE») содержит данные о средней успеваемости учеников. обычно для обозначения значимости результатов относительно стандарта роста, определяемого окружными методистами, используется цветовая маркировка. Данный школьный отчет по добавленной стоимости демонстрирует агрегированные результаты в рамках любой из школ системы и призван ответить на ключевой вопрос: какой прогресс достигается в вашей школе из класса в класс? Посмотрите на отчет и ответьте на вопросы о результатах по математике в средней школе XYZ.
1. В каком классе зафиксирован самый высокий уровень средней успеваемости в 2010 г.? А в каком самый низкий?
2. Ученики какого класса продемонстрировали наибольший прогресс по математике в 2010 г.? В каком классе был наименьший прогресс?
3. Успешна ли оказалась ли школа в целом в 2010 г. с точки зрения прогресса по математике?
Изучив отчет, вы должны прийти к выводу, что у учеников 6-го класса самая высокая средняя успеваемость – 55,3 эквивалента кривой нормального распределения (NCE), а семиклассники продемонстрировали самый низкий уровень успеваемости – 47,8 балла NCE. Если же говорить о прогрессе, то отчет указывает, что в 2010 г. самый высокий прирост успеваемости продемонстрировали шестиклассники (2,8), а самый низкий – семиклассники (-8,6). В целом в 2010 г. за исключением 6-х классов никто не продемонстрировал ожидаемых результатов; за последние три года совокупные достижения учеников ежегодно снижались.
Практикум
Изучив школьный отчет по добавленной стоимости средней школы XYZ, можете ли вы определить:
• как был рассчитан средний прирост для 8-х классов по математике в 2009 г.;
• оказалось ли среднее за три года значение прироста по 5-му классу выше ожидаемого роста за тот же период;
• оказался ли прирост, продемонстрированный шестиклассниками в 2010 г., выше, ниже или равен ожидаемому среднему приросту?
За помощью обратитесь к главе 4. Ответы приведены в конце этой главы.
Как мы заметили, выходные данные, получаемые после анализа данных о добавленной стоимости, варьируются в зависимости от того, какие использовались аналитические инструменты и как эти выходные данные представлены. Например, Центр исследований добавленной стоимости (Value-Added Research Center – VARC) готовит ежегодные школьные оценки по добавленной стоимости для общеобразовательных школ Висконсина, используя для этого графики разброса, показывающие взаимосвязь квалификации школы (определяемой процентной долей успевающих учеников) и прогресса учащихся (добавленной стоимости) по математике и литературе в сравнении с другими школами системы. На рис. 5.2 показан пример таких отчетов на уровне школы.
Рис. 5.2. Сравнительный отчет по добавленной стоимости, Висконсин
Чтобы понять базовый общий школьный отчет, следует составить матрицу «Фокус на моей школе».
В главе 2 уже упоминалась директор средней школы Blendon Тина Томас-Мэннинг. Позже Тина перешла из этой школы в среднюю школу Ханны Эштон города Рейнольдсберг, штат Огайо, где она заняла должность директора школы. Проработав на новой должности два года, она столкнулась с неудовлетворительными результатами обучения математике в 5-х классах школы. В то время как по литературе доля успевающих (набравших достаточное количество баллов) пятиклассников составляла 83,9 %, по математике таких учеников было всего 74,2 %. Предпринятые Тиной и ее преподавателями оперативные меры не дали ощутимых результатов. Когда были сформированы отчеты по добавленной стоимости, она с удивлением обнаружила, что рост результатов по математике у ее пятиклассников значительно опережал рост по литературе тех же учеников. Это стало настоящим открытием. Несмотря на сравнительно низкие показатели успеваемости по математике, прогресс по этому предмету был значительным. Это означало, что вся та работа, которую она за прошедшие два года проделала вместе со своими учителями – регулирование расписания занятий, введение мониторинга прогресса и внедрение оперативных мер с использованием стратегий гибкого формирования групп, – приносила свои плоды. При построении матрицы «Фокус на моей школе» такого рода информация сразу становится очевидной.
Матрица «Фокус на моей школе» разработана для того, чтобы разместить данные об успеваемости и о росте добавленной стоимости в одной сетке, и тем самым получить более комплексное представление о результатах школы. Анализ на уровне школы может быть проведен точно таким же способом, как и анализ на уровне округа, описанный в главе 4. Формируется рабочая группа из школьных руководителей и преподавателей, которая изучает информацию об успеваемости и прогрессе в рамках школы. Только вместо использования данных в масштабе округа рабочая группа концентрируется на данных в масштабе школы. Это единственное различие между деятельностью рабочей группы округа и школы.
Пример матрицы средней школы представлен на рис. 5.3. матрица «Фокус на моей школе» может быть составлена по тому же принципу, что и матрица для округа из главы 4, но по осям X и Y могут быть размещены другие шкалы. На рис. 5.4 матрица заполнена в соответствии с тем, как распределяются классы и предметные области по успеваемости (шкала Y) и среднего прогресса учеников (шкала X). В этой матрице Q1 соответствует нижнему из пяти квинтилей распределения учеников всего штата, а Q5 – верхнему из пяти квинтилей. Классы и предметы, попавшие в первый квинтиль, находятся в 20 % худших по штату, а классы и предметы, попавшие в пятый квинтиль, – в 20 % лучших.
Рис. 5.3. Матрица «Фокус на моей школе»
Как и при анализе на уровне округа, сильные классы и предметные области окажутся в верхнем правом углу матрицы, а самые слабые – в нижнем левом углу матрицы. Классы и предметы с высокой успеваемостью, но недостаточным прогрессом, расположатся слева вверху, а с низкой успеваемостью, но хорошим прогрессом – справа внизу.
В нашем примере видно, что в данной средней школе очень сильны программы для 6-х классов и сравнительно слабы программы для 7-х классов, за исключением программы естествознания для седьмого класса, которая дала очень хорошие результаты.
Следующим шагом для школьной работы должно стать изучение дезагрегированных данных, чтобы выявить закономерности иного рода. Вернемся к средней школе Ханны Эштон, в которой директор Тина Томас-Мэннинг выявила несоответствие между данными прогресса и успеваемости по математике и литературе. Ее ученики в 5-м классе демонстрировали высокую успеваемость и низкий уровень прогресса по математике. Так что данные о добавленной стоимости за 5-й класс говорили одно, а данные об успеваемости – другое. Тогда Тина начала задавать следующие вопросы.
• Каковы образцы прогресса для разных групп учеников?
• Есть ли свои образцы внутри уровней обучения между различными предметными областями?
• Есть ли свои образцы внутри предметных областей между разными уровнями обучения?
Вместе со своей рабочей группой Тина обратилась к дезагрегированной информации, представленной в ее отчетах по добавленной стоимости. На рис. 5.4 вы видите диагностические отчеты для 5-х классов, которые помогли Тине обнаружить в своих результатах важные моменты. Отчеты, представленные на рис. 5.5, сформированы SAS и доступны представителям школ посредством сервиса EVAAS SAS Institute, Inc.
Чтобы понять эту диагностическую информацию, вам, возможно, стоит вернуться к главе 4 и перечитать раздел, касающийся диагностических отчетов.
Помните, что темно-серые столбики двух графических представлений соответствуют последним по времени подгруппам пятиклассников школы Тины. В каждом отчете крайний слева темный столбик соответствует тем ученикам ее школы, чей уровень успеваемости попадает в нижние 20 % результатов всего штата. Аналогично крайний справа темный столбик представляет тех учеников школы, чей уровень успеваемости соответствует верхним 20 % результатам учеников всего штата. Остальные три темно-серых столбика показывают учеников, распределившихся по промежуточным квинтилям. Светло-серые столбики каждого графика представляют предыдущие поколения учеников в тех же категориях. Толстая горизонтальная линия на каждом графике соответствует ожидаемому уровню прогресса для каждой подгруппы учеников. Темные и светлые столбики, находящиеся ниже толстой линии, соответствуют подгруппам учеников, которые в среднем продемонстрировали прогресс ниже ожидаемого уровня. Темные и светлые столбики выше толстой линии соответствуют подгруппам учеников, в среднем превысившим ожидания по прогрессу. Во всех случаях чем длиннее столбик, тем более выражено различие между ожидаемым и достигнутым уровнем прогресса.
Рис. 5.4. Диагностические отчеты средней школы Ханны Эштон (5-й класс)
Аналитическая команда под руководством Тины изучила отчеты и быстро выявила содержащиеся в них паттерны. Что касается прогресса в литературе, было очевидно, что общий размер прогресса среди всех групп учеников был меньше, чем в предыдущих поколениях. Кроме того, подгруппы с высшей и низшей успеваемостью демонстрировали прогресс гораздо ниже ожидаемого. Только ученики из средних подгрупп достигли ожидаемых уровней прогресса. Это были тревожные новости, но при этом у рабочей группы появилось ценное понимание того, на чем учителя 5-х классов должны сконцентрировать свое внимание, чтобы улучшить результаты учеников по литературе.
По математике картина была совершенно иной. В каждой из подгрупп учеников достигался прогресс, равный или превышающий ожидаемый. Члены команды пришли к выводу, что предпринимаемые ими оперативные меры приносят свои плоды.
Независимо от того, какие механизмы отчетности доступны вам, дезагрегированная информация уровня школы – это ключевой инструмент, который поможет вам понять, что происходит и по каким причинам. Эта информация повышает вашу способность в дальнейшем использовать обнаруженные успешные практики, а также выявлять и решать обнаруженные проблемы.
В школах, подобных тем, которыми руководят Бобби Мур и Тина Томас-Мэннинг, использование отчетных данных стало частью школьной культуры. в этих школах в течение всего года скрупулезно собирают и анализируют данные об успеваемости и прогрессе, чтобы оценить эффективность используемых учебных программ, выявить сильные стороны и разрабатывать стратегии работы с проблемами. Руководители с готовностью предоставляют учителям время на изучение и обработку данных и предлагают им обучение, необходимое для развития аналитических навыков, без которых невозможно продуктивное применение информации о добавленной стоимости.
В этой главе мы сконцентрировались на том, чтобы научить вас интерпретировать школьные отчеты и использовать эту информацию для построения матрицы «Фокус на моей школе» для поиска паттернов в дезагрегированных данных. Эта матрица помогает школьным аналитическим командам распознать взаимосвязи показателей прогресса и успеваемости и выявить те предметные области и годы обучения, в которых есть сильные черты, и те, в которых существуют проблемы. Эта стадия является базой для следующего уровня анализа – диагностики, необходимой для определения групп учеников, которым текущие учебные программы оказываются полезными в наибольшей и в наименьшей степени. В следующей главе мы рассмотрим отчеты на уровне преподавателя и узнаем, как использовать процесс BFK·Фокус для построения коммуникации между преподавателями по мере того, как они выявляют сильные и слабые стороны, с которыми им предстоит иметь дело.
Изучив школьный отчет по добавленной стоимости средней школы XYZ, можете ли вы определить:
1. Как был рассчитан средний прирост для 8-х классов по математике в 2009 г.?
2. Оказалось ли среднее за три года значение прироста по 5-му классу выше ожидаемого роста за тот же период?
3. Оказался ли прирост, продемонстрированный шестиклассниками в 2010 г., выше, ниже или равен ожидаемому среднему приросту?
• Включили ли вы в группу преподавателей из разных предметных областей и разных классов?
• Включили ли вы в группу преподавателей, имеющих доступ к информации о добавленной стоимости, и тех, кому эта информация недоступна? Подумайте о привлечении в команду учителей подготовительных классов, рисования, музыки и физкультуры, а также консультантов и помощников преподавателей.
• Есть ли в распоряжении вашей школьной аналитической команды инструменты и ресурсы, необходимые ей для успешной оценки текущих результатов и выявления сильных и слабых сторон в своей работе? Возможно, вам стоит вернуться к главам 1–4, чтобы обеспечить полное всеобщее понимание сути анализа данных о добавленной стоимости и его роли в процессе школьного импрувмента.
• Какие закономерности можно увидеть по различным годам обучения (классов) и предметным областям?
• Какие классы и предметы испытывают наибольшие трудности?
• Есть ли «вертикальные» закономерности относительно предметов?
• Есть ли «горизонтальные» закономерности относительно классов?
• Какие выявлены образцы эффективности в подгруппах учеников?
• Есть ли внутри одного года обучения образцы сильных и слабых сторон научения по различным предметным областям?
• Есть ли внутри предметных областей образцы сильных и слабых сторон научения по разным годам обучения?
• Есть ли образцы, которые одновременно проходят через предметы и классы?
Рис. 5.6. Шаблон матрицы «Фокус на моей школе»
Цикл импрувмента на основании анализа данных о добавленной стоимости
Ключевые тезисы главы 6
1. Информация о добавленной стоимости на уровне преподавателя – руководство к действию.
2. С информацией о добавленной стоимости на уровне преподавателя нужно обращаться деликатно.
3. Для правильной отчетности необходимо соотнесение учителя и ученика.
4. Анализ данных о добавленной стоимости на уровне преподавателя отражает результаты его работы.
5. Коллегиальный анализ данных о добавленной стоимости на уровне преподавателя помогает определить приоритетные направления импрувмента.
Поскольку внимание общественности всей страны сегодня сосредоточено на качестве преподавания, за последние годы проявился интерес к отчетности о добавленной стоимости, указывающей на уровень учителя, и, что более важно, появилась реальная потребность в такой отчетности. Непосредственным результатом программы мотивации под названием «Гонка за первенство» (Race to the Top – RttT), внедренной администрацией президента Обамы, стало то, что сегодня учителя по всей стране – от Атланты и Джорджии до Лос-Анджелеса и Калифорнии – имеют систему измерения своей деятельности, основанную на величине прогресса, достигаемого их учениками. В различных уголках страны школьные учителя сейчас проходят через анализ роста учеников. Например, преподаватели Теннесси с 1993 г. имеют в своем распоряжении информацию на уровне учителя, а в Хьюстоне, штат Техас, преподаватели получают такие отчеты с 2007 г.
Анализ данных на уровне учителя – самый болезненный из всех видов анализа данных о добавленной стоимости, но с точки зрения импрувмента эта информация является жизненно важной.
Анализ данных о добавленной стоимости, проводимый на уровне учителя, особенно важен, потому что он позволяет учителям видеть свое отличие от коллег, выраженное в различии результатов, достигаемых их учениками в каждой из преподаваемых ими предметных областей. Это самый болезненный из всех видов анализа добавленной стоимости, но с точки зрения импрувмента эта информация является жизненно важной. Кроме того, данные о добавленной стоимости на уровне учителя – это главный компонент новой системы оценки учителей в рамках программы RttT и неоценимый источник данных для стратегических решений о преподавательских компенсационных пакетах. Поскольку данная книга посвящена тому, чтобы научить читателя выбирать приоритетные направления улучшений и информационно подкреплять процессы решения проблем, мы не будем глубоко вдаваться в подробности использования информации о добавленной стоимости в других целях. Вместо этого лучше продолжим концентрироваться на том, каким образом распространение практики анализа отчетов по добавленной стоимости на уровне учителей может способствовать значимым переменам в успеваемости учеников, развивать школьную культуру и проливать свет на тайны учительского ремесла. в частности, расскажем о связанном с профессиональным развитием пилотном проекте, целью которого было обеспечить ассоциацию школьных округов штата Огайо отчетами по добавленной стоимости на уровне учителей и предоставить необходимое для их толкования обучение. На этом примере мы продемонстрируем возможности крупномасштабного применения отчетности на уровне учителей и поделимся извлеченными в процессе реализации проекта уроками. Кроме того, представим примеры отчетов на уровне отдельных учителей и реальных историй учителей, к которым относились эти отчеты.
Отчеты на уровне преподавателя – это важный механизм обратной связи для каждого учителя, но, помимо этого, они очень ценны как инструменты определения приоритетных направлений для улучшений. На этом уровне анализа школьного образования разворачиваются самые значительные дискуссии на тему преподавания и научения, аргументами в которых служат данные об успеваемости и прогрессе учеников, позволяющие выявить и использовать сильные стороны, а также идентифицировать проблемы, требующие решения. В последней части этой главы мы перейдем от индивидуальных отчетов к отчетам относительно коллектива учителей, чтобы привлечь внимание к финальному этапу нашего анализа системы школьного образования по методике BFK·Фокус. В процессе изучения коллективных отчетов мы также будем соблюдать описанный ранее протокол использования данных об успеваемости и прогрессе, чтобы выявить сильные и слабые стороны.
Глава 6 – это последняя из глав, посвященных шагу II цикла импрувмента на основании анализа данных о добавленной стоимости – «Оценка результатов для выявления сильных сторон и вызовов».
Преподаватели давно поняли, что, если переменам в нашей американской системе образования суждено наступить, то эти перемены должны пройти на уровне классных комнат, в которых учителя день за днем взаимодействуют с учениками. Наверное, излишне говорить, что самое важное – это действия учителя. Конечно, мы с этим согласны. Действительно, наша система образования полностью зависит от хорошо подготовленных учителей – именно они нужны системе, чтобы соответствовать запросам нашего стремительно меняющегося общества. Исторически поддержка преподавателей имела форму профессионального обучения, которое помогало им развивать свое мастерство, а также форму системы оценки преподавателей, разработанной с целью обеспечения их обратной связью, касающейся их методов преподавания.
Что никогда не было доступно учителям – так это мера их собственной эффективности. Как учителя должны оценивать свой вклад, не имея справедливых и надежных инструментов, измеряющих перемены, которые они производят в своих учениках? Сегодня, имея в своем распоряжении отчетность на уровне учителя, мы обладаем механизмом обратной связи, основанным на статистических оценках вклада учителя в прогресс учеников, и теперь нам для оценки качества преподавания не нужно полагаться только на исходные данные, такие как учебные ведомости и результаты анкетирования. Учителя, имеющие доступ к отчетам по добавленной стоимости на уровне преподавателя и умеющие с ними обращаться, могут получить достоверную информацию, касающуюся их вклада в результаты класса/школы. Используя процесс, описанный в этой и следующей главах, учителя могут понять, как улучшить научение и повысить результаты учеников.
Учитель может и должен реагировать на информацию о добавленной стоимости, чтобы изменить результаты своих учеников в лучшую сторону.
Мелани – учитель 4-х классов в пригородной средней школе, и ей представилась возможность получать отчеты по добавленной стоимости на уровне учителя. Изучая отчеты, она обнаружила, что результаты добавленной стоимости по математике были очень хорошими, однако по литературе прогресс был значительно слабее, особенно у средних учеников. Мелани была удивлена, потому что считала себя очень компетентным преподавателем. Полученная информация заставила ее задуматься над тем, что она могла бы изменить в своей методике преподавания литературы, чтобы получить те же результаты, которых удалось добиться в математике. Мелани посещала классы других учителей, чтобы посмотреть, как они организуют преподавание литературы. Она изучала возможности онлайн-мониторинга прогресса. Вместе с коллегами она внедрила некоторые стратегии преподавания, которые подразумевали более частое тестирование скорости чтения, понимания и способности изложить прочитанное. Рабочая группа выделила время для регулярной перегруппировки четвероклассников в зависимости от их результатов тестирования.
Баллы добавленной стоимости по литературе, получаемые Мелани и ее рабочей группой, постоянно улучшались, также улучшались и прямые результаты предпринятых инициатив. Сегодня Мелани работает консультантом по преподаванию, и она помогла улучшить результаты по математике и литературе в каждой из школ, в которые ее направляли. История Мелани подтверждает ключевую мысль этой главы: учитель может и должен реагировать на информацию о добавленной стоимости, чтобы изменить результаты своих учеников в лучшую сторону.
Принципы предоставления отчетов по добавленной стоимости на уровне учителя
• Учитель должен выступать катализатором любых инициатив по улучшению результатов обучения в школе.
• Данные об успеваемости и прогрессе необходимы, чтобы сформировать полную картину эффективности школы и ее учителей.
• Когда подготовленным директорам и преподавателям предоставляются надежные диагностические данные об эффективности учителей, это служит стимулом для последовательных системных школьных улучшений и ведет к значительному повышению успеваемости учеников.
• Преподавателям необходимо предоставить возможность качественного профессионального обучения, которое поможет им лучше понимать и эффективнее использовать эти данные для достижения конечных целей.
Энн – учитель математики 6-х классов в сельском школьном округе. Как и Мелани, Энн и ее коллеги-учителя получают информацию о добавленной стоимости на уровне учителя с 2007 г. К тому времени некоммерческая организация Battelle for Kids (BFK) сформировала консорциум школьных округов, чтобы запустить во входящих в него школах пилотный проект под названием «Учителя соединяют успеваемость с прогрессом» («Teachers Connecting Achievement and Progress» – T-CAP). Этот проект, рассчитанный на три года, привел к внедрению анализа добавленной стоимости на уровне учителя в классах с 3-го по 8-й в более чем 40 школьных округах штата Огайо.
Поскольку проект T-CAP был пилотным, он сопровождался множеством интервью с учителями и школьными администраторами, которые проводили независимые исследовательские агентства. В ходе этих интервью преподаватели поделились своими ожиданиями и опасениями, связанными с отчетами на уровне учителей. Участники интервью подтвердили важность постоянного диалога и профессионального развития, которые должны способствовать правильному толкованию и использованию информации о добавленной стоимости на уровне класса. Также они говорили о влиянии, которое эти данные могут оказать на культуру внутри школ, и о том, как они повлияют на принятие методических и управленческих решений. Ниже приведены темы, которые затрагивались в ходе этих интервью. Прочитайте комментарии учителей о влиянии информации о добавленной стоимости на уровне учителя. Некоторые из них отмечают, что предоставленная информация была хорошо воспринята в их коллективах и помогла им посмотреть на свои методики с другой стороны. в то же время для кого-то из учителей осталось неясным, как толковать информацию о добавленной стоимости.
Эти комментарии учителей служат как позитивными, так и предупредительными сигналами для школьных администраторов, которые вовлечены в процесс анализа. Воодушевляет то, что учителя выразили энтузиазм относительно полезности этих данных. Однако стоит учитывать, что этот переход может быть не таким уж простым. Руководители школ должны устранить страхи и подозрения, окружающие данные о добавленной стоимости, и обеспечить учителям поддержку и возможность их целенаправленного профессионального развития в безопасной и дружелюбной рабочей атмосфере.
Слово учителю: Темы, обсуждаемые в ходе интервью с учителями на тему добавленной стоимости
«На мой взгляд, этот подход добавляет еще один слой информации. Тот факт, что наши дети оказались успешными, не должен нас успокаивать. Мы должны удостовериться, что благодаря нашей работе они достигают всего, на что способны».
«Кажется, мы не используем другой информации о добавленной стоимости, кроме отчетов по учителям. Я знаю, что наш директор выдает нам разные типы отчетов, но мне нужен только отчет на уровне учителя».
«Я сомневаюсь, что отчеты (по добавленной стоимости на уровне учителя) дают точную картину. Например, меня волнует бедная учительница 5-х классов, показатели которой сравнивают с моими, – при том что у меня есть час дополнительных занятий по чтению каждый день, а у нее – только полчаса, а количество детей у нас одинаково».
«Мы изменили расписание в пользу учителей, чьи системы подачи материала учитывают результаты учеников. Очень хочется узнать, хорошим или плохим было это решение».
«Результаты очень интересны: мой коллега добился лучших результатов у лучших учеников, а я – у самых слабых. Я два года работал с одними и теми же детьми, и, возможно, подстроился под тех, кто слабее. Может быть, моя манера преподавания для моих сильных ребят оказалась слишком медленной или слишком простой. Так что в этом году я могу подумать о том, как ее можно изменить».
«Мне не удалось добиться прогресса среди моих средних ребят; они остались на том же уровне. Я хочу знать, в чем причина – в художественном тексте, в научно-популярной литературе или в словарном запасе? Мне недостаточно понимать, что я не достучался до средних учеников. В каких областях я до них не достучался? Не уверен, что добавленная стоимость ответит на этот вопрос».
«Если у меня проблемы с отстающими ребятами, скажите мне, в чем эти проблемы. Зачем мне проводить дополнительные уроки по словарному запасу, если у всех все в порядке со словарным запасом?»
«Основная причина того, что я, возможно, не использую ее (информацию о добавленной стоимости) в достаточной степени, – это время. Когда мы с моим директором решили разобраться с этим, он выделил время во время учебного дня, что принесло мне большую пользу».
«Я думаю, причина (того, что учителя не используют свою информацию о добавленной стоимости) – в недостатке времени на то, чтобы действительно сесть, не торопясь оценить данные и как следует подумать над ними».
«Думаю, это помогло вывести многих детей в первые ряды».
Внедрение анализа данных о добавленной стоимости на уровне учителя может ощутимо повлиять на культуру образовательного процесса внутри школы. Эти данные олицетворяют фундаментальную перемену в методике измерения качества преподавания и оценки учителей.
Внедрение анализа данных о добавленной стоимости на уровне учителя может ощутимо повлиять на культуру образовательного процесса внутри школы.
Раньше об учителях судили не по влиянию их методов обучения на результаты учеников, а по таким параметрам, как управление классом, вовлеченность учеников, планирование и проведение уроков. Сегодня, когда определяющими переменными становятся достигаемые учениками результаты, превалирующие ранее культурные нормы, согласно которым учителя являются взаимозаменяемыми и имеют равное влияние в школьном сообществе, подвергаются сомнениям. Очень редко встречаются школы, педагоги которых регулярно получают и совместно обсуждают данные по каждому классу, чтобы сообща выработать стратегии совершенствования. Еще большей редкостью являются учреждения, в которых ценится и отмечается измеряемый вклад учителей в прогресс учеников. Напротив, в школах всегда была распространена уравнительная культура, формирующая среду, в которой каждый учитель является своего рода независимым подрядчиком, нанятым, чтобы наилучшим образом преподавать установленную программу.
Внедрение использования учительских отчетов означает начало дифференциации учителей на основе измеряемых показателей, и эта тенденция обещает стать всеобщей. И неудивительно, что учителя и профсоюзы выражают сомнения в достоверности показателей добавленной стоимости и горячо протестуют против их использования для оценки качества преподавания конкретного учителя. И эти сомнения и протесты сохранятся до тех пор, пока руководители школ, учителя и общественность не получат полного понимания того, что означают в конкретном случае данные о добавленной стоимости, и для чего их следует применять, а для чего нет.
Также следует учитывать, что сегодняшнее всеобщее внимание, прикованное к преобразованию механизмов оплаты труда, может ненароком погасить энтузиазм учителей относительно применения учительских отчетов в диагностических целях, что создаст дополнительные проблемы при внедрении этой концепции. Недавние общественные обсуждения и инициативы, подобные RttT, побуждают чиновников различных уровней говорить о применении данных об успеваемости учеников для оценки учителей и, как следствие, для определения размера их оплаты труда. Учителя беспокоятся, что информация о добавленной стоимости будет служить несправедливой мерой оценки, которая может негативно повлиять на их должности, подсчет стажа и в конечном итоге на их зарплаты. Рейтинг учителей в Объединенном школьном округе Лос-Анджелеса, опубликованный в газете «Los Angeles Times» [Felch, Song, Smith, 2010], – наглядный пример того, что информация о влиянии учителей может стать достоянием общественности и быть использованной в политических целях, а не для помощи учителям в усовершенствовании их практики преподавания.
Кроме того, преподаватели боятся, что информация о добавленной стоимости на уровне учителя будет способствовать конкуренции за премии и признание заслуг [Harris, 2011]. В школах, где сотрудничество и взаимопомощь считаются преимуществом и необходимым компонентом здоровой школьной среды, существуют опасения, что отчеты об уровне учителей заставят их конкурировать друг с другом, и совместное обсуждение информации о добавленной стоимости будет саботироваться. вполне вероятно, что при наличии прямой взаимосвязи между реформой механизмов расчета зарплаты и информацией о добавленной стоимости многие учителя пренебрегут диагностическим потенциалом этих отчетов и сконцентрируются на оценивании их должностей и определения оплаты труда.
Что же делать с давлением, которым сопровождается внедрение концепции замеров добавленной стоимости? Во-первых, руководители школ должны понимать, какие обязанности возникают в результате использования данных о добавленной стоимости на уровне учителя, и своевременно реагировать на появляющиеся вопросы. Руководителям необходимо осознать степень влияния таких данных на самооценку учителей, и подходить к этому вопросу со всей возможной деликатностью. Директора школ должны найти правильный подход к обсуждению отчета каждого учителя. Но мы настаиваем на том, чтобы руководители формировали атмосферу, в которой открытый обмен данными между учителями становится комфортным и обыденным, и любая информация принимается коллегами с уважением и поддержкой. Наконец, руководителям нужно помогать учителям реагировать на получаемую информацию – поощрять их рефлексию и продуктивные действия.
Мы призываем руководителей формировать атмосферу, в которой открытый обмен данными о добавленной стоимости между учителями становится комфортным и обыденным, и любая информация принимается коллегами с уважением и поддержкой.
В завершение данного раздела главы подчеркнем, что все представленные задачи не ложатся лишь на одного или двух людей внутри организации. При внедрении учительских отчетов важно участие как учителей, так и администраторов всех уровней школьной системы. На основании опыта нашей работы мы сформировали перечень действий, которые должны предпринимать руководители и преподаватели, чтобы данные о добавленной стоимости на уровне учителя были доступны, чтобы их использование было корректным и не ущемляло ничье самолюбие, и чтобы польза от них была максимальной.
Что должны делать руководители округов
• Убедиться, что руководители школ умеют интерпретировать отчеты по добавленной стоимости.
• Составить практический план действий для директоров школ и обрисовать им ожидаемые результаты, чтобы они смогли подготовиться к представлению данных о добавленной стоимости своим учителям.
• Призывать директоров использовать информацию о добавленной стоимости при планировании школьного импрувмента.
• Обеспечить директоров конкретными методиками и стратегиями, которыми они смогут поделиться со своими учителями.
• Разработать план коммуникации и уметь объяснять достигнутые результаты как силами школьного совета, так и через средства массовой информации.
Что должны делать директора школ
• Как можно быстрее поделиться с учителями полученной информацией. Директора, уверенно обращающиеся с данными, чаще всего поступательно формируют внутришкольную культуру, поощряющую обмен информацией в коллективе. Когда администраторы не чувствуют себя достаточно компетентными в анализе добавленной стоимости, или же в их коллективах не приняты дискуссии на основе числовых данных, они не стремятся ни распространять среди преподавателей учительские отчеты по добавленной стоимости, ни, тем более, их открыто обсуждать. И наоборот, директора, которые постоянно делятся данными с учителями своей школы и уверены в своей способности правильно толковать отчеты по добавленной стоимости, чаще организуют продуктивные обсуждения данных среди своих преподавателей.
• Использовать эту информацию для того, чтобы:
♦ распределять педагогов так, чтобы они по возможности работали с теми подгруппами учеников, в которых они добиваются наибольших успехов;
♦ объединять учителей с теми из коллег, которые смогут дополнить их сильные стороны;
♦ определить эффективность программ;
♦ выявить учеников, не достигающих ожидаемого прогресса, и разработать план оперативной помощи таким ученикам;
♦ руководствуясь закономерностями данных о прогрессе учеников, разрабатывать направления профессионального развития для преподавателей;
♦ на протяжении всего школьного года организовывать дискуссии, опирающиеся на текущие показатели прогресса учеников.
• Концентрировать внимание на учителях, находящихся в крайних точках шкалы успешности. Иными словами, наибольшее внимание администраторов должно уделяться учителям, постоянно демонстрирующим результаты, значительно ниже или значительно выше средних.
• Распространять преимущества методик эффективного преподавания:
♦ ввести практику обсуждения с преподавательским составом качества преподавания. Убедите учителей в том, что способность каждого из них добиваться прогресса учеников чрезвычайно важна. Как только эта идея будет ими воспринята, данные о добавленной стоимости станут неоценимым источником информации для работы в этом направлении;
♦ выявлять наиболее эффективных учителей и масштабировать их достижения. Самый простой способ – просто говорить им о том, насколько хорошо они справляются со своей работой. Признавая вслух заслуги своих учителей и хваля их в лицо, директора будут многократно вознаграждены. Учителя, чьи успехи заслуженно признаются, охотно работают над дальнейшим совершенствованием своих методов работы, делятся опытом с коллегами и часто берут на себя важные руководящие роли в рамках школы;
♦ проводить определенную часть своего времени в классах успешных преподавателей. В этих классах вы много узнаете о лидерстве – отличные учителя являются отличными руководителями классов, – а также поймете, что же делают успешные учителя, чтобы быть успешными.
• Выстроить систему аргументов в пользу сбалансированной системы тестирования и предоставить инструменты для формирования этой системы. Речь идет о правильном использовании эффективных стратегий проведения промежуточных и итоговых оценок – в течение года и по его окончании соответственно.
• Предоставить учителям:
♦ возможности для постоянного сотрудничества и обсуждения получаемых данных и действенных стратегий;
♦ инструменты для последующих действий, основанных на выявленных закономерностях в данных о добавленной стоимости;
♦ возможности выбирать стратегии для каждого из квинтилей учеников;
♦ информацию о том, что делают высокоэффективные учителя для обеспечения академического прогресса учеников;
♦ возможности открыто обсуждать конкретные вопросы, касающиеся справедливости оценок учителей на основании анализа данных о добавленной стоимости, а также обсуждать аспекты школьной политики, которые могут способствовать достижению наилучшего результата или препятствовать ему;
♦ множество примеров применения других данных – таких как анализ заданий тестов – в сочетании с информацией о добавленной стоимости, чтобы расставлять приоритеты, определять глубинные причины и строить стратегические планы;
♦ примеры эффективных инструментов упорядочивания данных для учителя и класса, подобных журналам данных, в которых отслеживается прогресс каждого учащегося.
Что должны делать учителя
• Использовать данные о добавленной стоимости для определения своих слабых и сильных сторон.
• Строить взаимоотношения с коллегами, позволяющие обсуждать информацию о добавленной стоимости и действенные стратегии работы.
• Выявлять самых эффективных учителей и наблюдать за тем, что они делают, чтобы максимизировать прогресс своих учеников.
• Использовать промежуточные данные, чтобы наблюдать за ростом учеников и корректировать свои методы преподавания на протяжении всего учебного года.
Мы надеемся, что эти рекомендации помогут вам наилучшим образом использовать вашу персональную информацию о добавленной стоимости.
Раньше, подготавливая информацию о добавленной стоимости учителям, мы сталкивались с тем, что системы регистрации и обработки данных по штатам и округов были не способны отразить многообразные сложные взаимоотношения, существующие в современных школах.
В течение учебного года составы классов постоянно меняются. Ученики приходят в класс и уходят из него. Учителя перегруппировывают классы, исходя из педагогической необходимости. Учителя увольняются или меняют должности. Некоторые из учеников могут получать дополнительную поддержку преподавателей или заниматься по индивидуальной программе. в результате ученики на протяжении года могут общаться с множеством учителей. И поэтому данные, собранные с округов департаментами образования штатов в начале учебного года, часто не отражали реального положения дел на конец прошлого учебного года относительно учителя и (или) ученика. Изменения, внесенные в расписание и распределение учеников и учителей, могли быть не учтены. Характеристики учителей – такие как стаж работы и образование – часто были внесены в базы с ошибками или не полностью.
В целом мы обнаружили, что общедоступные источники данных очень часто не содержат необходимых элементов информации о работе учителей:
• расписание уроков;
• перераспределение учеников между классами;
• мобильность учеников и учителей;
• совместное преподавание;
• испытания новых предметных областей.
Мы поняли, что для устранения этих недостатков в данных необходима ежегодная процедура их сверки. Иными словами, чтобы сгенерировать отчеты по добавленной стоимости на уровне учителя, данные тестов должны быть «вычищены», а ученики должны быть «привязаны» к соответствующим учителям. Как только данные прошли такую подготовку, их можно передавать экспертам-статистикам для анализа и составления отчетов.
Ниже приведена последовательность шагов, которую мы используем, чтобы помочь школам выверить данные для учительских отчетов. Этот процесс помогает точно определить, какой учитель преподавал какой предмет конкретному ученику, и получить точную процентную долю времени преподавания каждого учителя каждому ученику.
Основной урок, полученный при пилотных исследованиях отчетности по добавленной стоимости на уровне учителя, состоит в следующем: чтобы сформировать такой отчет, который бы точно отражал влияние учителя на ученика, очень важно определить, какой учитель преподавал какой предмет конкретному ученику, и получить точную процентную долю времени преподавания каждого учителя каждому ученику.
Пять важных шагов для качественной проверки учителем результатов ученика
1. Соберите лучшие из доступных вам данных. Начните с наиболее достоверных источников информации, включающих:
• учебный курс;
• данные о распределении учителей;
• связь кодов предметов с тестами штата.
2. Обеспечьте безопасность доступа. Создайте аккаунты для доступа пользователей, используя идентификационную информацию. Доступ к данным для локальных представителей очень важен как для создания точных привязок, так и для вовлечения всех заинтересованных лиц.
3. Предусмотрите административный доступ к данным и назначьте периоды актуализации данных. Позвольте директорам или назначенным представителям администраций оперативно вносить информацию о перераспределении учителей, происходящем в течение учебного года.
4. Вовлекайте учителей в процесс выверки вводимых данных. Если учителя будут понимать, какие данные попадают в систему, они смогут быть уверены в том, что информация соответствует действительности и точно отражает состояние класса и каждого ученика. Поэтому учителям нужно:
• просматривать и изменять списки, добавляя или удаляя оттуда учеников;
• устанавливать даты прихода и ухода учеников из класса;
• устанавливать распределение времени преподавания;
• представлять данные о распределении своего рабочего времени на согласование и утверждение.
5. Завершите процесс сверки и утверждения. После внесения учителями их изменений директор просматривает данные, исправляет ошибки и устраняет пробелы.
Важно отметить, что, когда учителя вовлекаются в выверку данных об учениках, которых они обучают, они с гораздо большей вероятностью будут доверять результатам и ценить их.
Этот процесс может показаться трудоемким, но, по нашему опыту, если принять меры по технической поддержке – пошаговые письменные инструкции, ежегодные региональные или окружные обучающие сессии «лицом к лицу», организацию системы поддержки по телефону или онлайн – процесс успешно запустится и будет сравнительно безболезненным. Важно отметить, что, когда учителя вовлекаются в выверку данных об учениках, которых они обучают, они с гораздо большей вероятностью будут доверять результатам и ценить их.
Теперь, когда мы изложили выводы, сделанные нами при подготовке и передаче учителям их индивидуальных отчетов, давайте обратимся непосредственно к этим отчетам. Нет сомнений, что внешний вид и сложность механизмов формирования отчетов по добавленной стоимости будет совершенствоваться по мере того, как будет расти спрос на эту информацию. Как мы отмечали в главах 4 и 5, даже сейчас учительские отчеты отличаются друг от друга, от округа к округу и от штата к штату в зависимости от организации, которая обрабатывает данные. Например Центр исследований добавленной стоимости (Value-Added Research Center – VARC) производит ежегодные учительские отчеты для таких школьных округов, как округ города Нью-Йорк, Объединенный школьный округ Лос-Анджелеса, общеобразовательные школы Чикаго и школы Висконсина. В Теннеси учителя получают доступ к ежегодным учительским отчетам, сформированным SAS и выложенным на защищенном сайте.
Отчеты по добавленной стоимости обычно включают два типа информации. В одной из частей стандартного отчета обычно оценивается эффективность учителя. Эти показатели отражают относительный годовой рост, произошедший благодаря учителю. Обычно производимый учителем эффект подразделяется на категории в соответствии с тем, оказался ли результат его влияния выше, ниже или равным по сравнению с ожидаемой оценкой прогресса для конкретного уровня обучения и предметной области за рассматриваемый год. этот результат сравнивается со средним прогрессом, достигнутым средним учителем базовой выборки, с которой сравнивается наш преподаватель.
Еще одной важной составляющей хорошего отчета по добавленной стоимости является дезагрегированная информация о закономерностях прогресса внутри групп учеников. На рис. 6.1 представлена информация о закономерностях в прогрессе учеников, закрепленных за учителем алгебры. Такая подача информации аналогична отчетам, производимым SAS и доступной округам посредством системы оценки добавленной стоимости в образовании – EVAAS (Education Value-Added Assessment System), разработанной институтом SAS Institute, Inc. Такой отчет помогает учителям выявить группы учеников, с которыми им удалось достичь наилучших результатов. Из отчета видно, что данный учитель наибольшего успеха добился среди отстающих учеников, т. е. учеников, попавших в нижний терциль, или 33 % самых отстающих учащихся (по результатам их учебы в предыдущие годы).
Рис. 6.1. Отчет по добавленной стоимости на уровне учителя
Мы также можем заключить, что все три группы учеников прогрессируют со скоростью, превышающей ожидаемую. Эта информация дает учителю возможность подумать над тем, как применяемые им стратегии повлияли на результаты его учеников в прошедшем году.
Еще один пример учительского отчета, составленный VARC для Департамента образования Нью-Йорк-Сити, представлен на рис. 6.2.
Этот учительский отчет по добавленной стоимости содержит рейтинг учителей, составленный на основании перцентильной группы, в которую попадает результат учителя по добавленной стоимости. В верхней части первой страницы содержится образец данных, который поможет в толковании нижней части отчета. Отчет-образец объясняет, как генерируется отчет.
В нижней части отчета представлена информация о текущих показателях добавленной стоимости учителя по имени Хант Рассет, а также о его средних показателях за четыре года в сравнении с другими учителями той же предметной области с аналогичным преподавательским стажем. Показатель роста, достигнутый Хантом в 2008 и 2009 г., соответствует 89-му процентилю, а средний результат за четыре года помещает его в 84-й процентиль. В рейтинге Хант находится выше среднего уровня как по результатам текущего года, так и по средним за четыре года результатам.
На рис. 6.3 отчет Ханта представляет собой ценную дезагрегированную информацию о росте, которого он добился в разных подгруппах учеников.
Из первого графика можно понять, есть ли разница в росте между тремя группами учеников Ханта, разделенных на терцили в соответствии с успеваемостью в прошлые периоды. Этот отчет показывает, что все подгруппы продемонстрировали рост выше среднего.
Рис. 6.2. Учительский отчет по г. Нью-Йорк
Рис. 6.3. Учительский отчет по г. Нью-Йорк: подгруппы
Как и все учителя Нью-Йорка, Хант получает информацию о добавленной стоимости для групп, разделенных по половому признаку, а также отдельно для учеников, для которых английский не является родным языком (English language learner – ELL), и для учеников, обучающихся по особым программам. раздел отчета показывает, что с учениками подгруппы ELL Ханту удалось достичь среднего роста. В подгруппах как девочек, так и мальчиков, а также в подгруппах учеников с особыми потребностями прогресс оказался превышающим ожидания, поэтому во всех этих подгруппах Хант попадает в верхнюю часть рейтинга.
Практикум
Изучите отчеты по добавленной стоимости Ханта Рассета. Выскажите ваши соображения по следующим вопросам.
1. Различия между подгруппами, разделенными на основании успеваемости в прошлом.
2. Различия между мальчиками и девочками.
3. Прогресс, достигнутый группой обучающихся по особым программам по сравнению с учениками из подгруппы с самой низкой успеваемостью.
Ханту Рассету повезло, потому что его отчеты по добавленной стоимости включают дезагрегированную информацию, которая поможет ему определить его сильные стороны и вызовы. Отчеты по добавленной стоимости, которые просто дают оценку влияния каждого учителя, не содержат диагностической функции, которая так ценна для учителей и руководителей. Примеры, приведенные на рис. 6.2 и 6.3, содержат как общие оценки учителя, так и информацию о прогрессе, которого добился педагог внутри каждой из различных подгрупп учеников. Познакомившись с таким отчетами, учителя могут выявлять закономерности и искать сильные точки своей работы, которые можно использовать для решения обнаруженных проблем.
Обратите внимание: отчет Ханта Рассета указывает на то, что его методики преподавания соответствуют потребностям всех его учеников – ведь во всех подгруппах его результаты попадают в категории «средняя» или «выше среднего». Тем не менее, хотя прогресс почти во всех группах оказался выше среднего, в группе учеников, для которых английский язык не является родным (подгруппа ELL), рост оказался всего лишь средним. Имея эту информацию, педагог может подумать, как ему вместе с коллегами выявить глубинные причины этого отличия и какие действенные стратегии можно применить, чтобы ускорить рост учеников подгруппы ELL. Этот этап анализа системы школьного образования по методике BFK·Фокус описан в следующей главе.
В заключение этого раздела предлагаем вашему вниманию рассказ Джессики Цинкарь о ее пути освоения информации о добавленной стоимости. Пример Джессики – учителя 6-х классов, демонстрирует, как педагог может эффективно применять дезагрегированную информацию для повышения эффективности своей учительской практики.
Джессика: Путь к добавленной стоимости
Первый полученный мной отчет о добавленной стоимости содержал данные за 2007/2008 учебный год. Честно говоря, я не была удивлена его содержанием: оно более-менее совпадало с тем, что я знала об отчетах и в целом о преподавании. Там была колоколообразная кривая, и мои результаты преподавания явно попадали в середину. Однако, поразмыслив, я поняла, что, согласно отчету, мои успешные ребята не получали от меня достаточной нагрузки, кроме того, к моему разочарованию, оказалось, что самые неуспевающие ребята демонстрировали и самый медленный рост. В целом мое преподавание оказалось на среднем уровне. И мне пришлось спросить себя – хочу ли я быть всего лишь средней. В течение следующего учебного года я начала думать о разных группах своих учеников. Я сделала уроки более дифференцированными и предоставила ученикам выбирать – не что они будут изучать, а как они будут изучать предложенный материал.
На первый взгляд результаты за следующий год оказались удручающими. Дезагрегированные столбики на всех уровнях находились возле нуля – очень, очень близко к среднему уровню. Однако когда я сравнила эти результаты с результатами прошлого года, оказалось, что я продвинулась. Из отчетов следовало, что разница между прогрессом отстающих и успевающих ребят начала сокращаться. Разве я не к этому стремилась? Кажется, я была на верном пути.
Настоящая удовлетворенность результатами начала ощущаться в 2009/2010 учебном году. Впервые все мои столбики (дезагрегированных данных) оказались выше нулевой линии. Мой показатель эффективности преподавания наконец-то был положительным и для отстающих, и для средних, и для опережающих учеников! Я усердно работала над внедрением системы формативных оценок и очень старалась помочь освоить материал ребятам, у которых возникали с ним сложности. Если меня спросят, что я сделала, чтобы добиться моего сегодняшнего результата, я бы назвала две вещи. Во-первых, я поставила целью побудить каждого ученика ежедневно говорить на уроке: каждый должен был выступать и участвовать в дискуссии. Это была свободная зона, где ошибки приветствовались и поощрялись, потому что они помогали учиться на них. Во-вторых, коллеги из департамента английского языка совместно разработали общие определения ключевых терминов и концепций. Мы составляли уроки, которые соответствовали тому, чему мы должны были научить детей, мы делились этими уроками друг с другом, и мы начали составлять список вопросов для контроля. В процессе этой работы я узнала о своих сильных и слабых сторонах как преподавателя, и приняла их так же, как сильные и слабые стороны других педагогов нашего департамента. это действительно помогло мне увидеть, что каждому есть куда расти, а еще – что каждый может учить любых детей. В конце концов, наше предназначение – помогать детям развиваться и преуспевать. Добилась ли я желаемых результатов? Пока не совсем, но я определенно двигаюсь в правильном направлении!
Мы поговорили о сути и значении отчетности уровня учителя и обсудили ее важность, и теперь переходим к рассмотрению того, что нужно делать с этой отчетностью, объясняя третий уровень системной воронки BFK·Фокус (в процессе фокуса на системе). Мы начали с уровня всей системы, или округа, перешли к уровню школы, и теперь фокус нашего внимания перемещается на центральный компонент школьного образования – на учителей. Члены преподавательских коллективов, работая сообща, обладают возможностью создавать измеримые улучшения, превышающие сумму потенциалов каждого из учителей. Коллективы и рабочие группы имеют больше точек зрения и обладают б0льшим количеством сильных сторон, им легче решать сложные проблемы, и их общий уровень ответственности выше, чем у отдельных учителей. Представьте, что улучшения – это танец с медведем: вы не сможете бросить его, если устали! Источник топлива для этой нелегкой работы – это всеобщая поддержка, которую гораздо легче получить в команде, чем в разрозненной группе учителей. Но при этом нельзя не признать и другого – несмотря на то что коллективы и рабочие группы могут изучать данные, принимать решения и поддерживать процессы изменения, реальные действия остаются в зоне ответственности каждого учителя. Возможность настоящих изменений зависит от того, сможет ли каждый учитель изменить динамику в каждом классе. Так что фокус на групповой совместной работе ни в коей мере не снимает ответственности за улучшение методов преподавания с каждого учителя. Просто в группе этот сложный процесс становится более продуктивным.
На самом деле данные на уровне группы учителей – это просто агрегированные данные персональных отчетов учителей. Отчеты по добавленной стоимости и данные об успеваемости, формируемые по предметной области и году обучения учеников, особенно ценны для рабочих групп, объединяющих педагогов одного и того же года обучения, или рабочих групп одного департамента (предметной области). В этом случае отчеты помогают выявить закономерности и выбрать приоритетные направления импрувмента. Члены преподавательских коллективов могут обмениваться между собой своими результатами о добавленной стоимости и успеваемости. Например, учителя типа Ханта Рассета могут поделиться с коллегами своими личными результатами по добавленной стоимости – как публично, так и в частном порядке, – а также внести знания, обретенные благодаря их собственным отчетам, в работу всей команды по импрувменту.
Это может казаться очевидным, но самое главное, что нужно учитывать при составлении команд по импрувменту, – всех членов рабочей группы должен объединять некий единый стержень. Это может быть общая для всех педагогов команды группа учеников, например, ученики преподавателей междисциплинарной рабочей группы средней школы. Это может быть общий учебный план, например, четыре ключевые предметные области, которые определяют работу независимых преподавателей рабочей группы одного уровня обучения. Или это может быть даже одна общая предметная область – например, рабочая группа будет состоять из педагогов старшей школы, каждый из которых преподает математику. Так или иначе, участники рабочей группы должны быть объединены одной или несколькими важными темами – в противном случае их данные не будут пересекаться между собой.
Процесс анализа данных о добавленной стоимости пройдет успешнее, если какой-то внешний эксперт возьмет на себя роль координатора этого процесса.
Независимо от того, кто входит в состав команды, процесс анализа данных о добавленной стоимости пройдет успешнее, если какой-то внешний эксперт возьмет на себя роль координатора этого процесса, что особенно важно во время первых попыток рабочей группы провести такой анализ. Внешний координатор, будучи незаинтересованным лицом, может предложить план и структуру встречи, задавать вопросы и вести дискуссию так, как это не сможет сделать никто из участников группы.
Когда аналитическая команда собрана, процесс анализа должен пройти примерно по той же схеме, как и на двух других уровнях системы. Единственное отличие рабочей команды, состоящей только из учителей, в том, что она работает с явлением меньшего объема, чем команды двух других уровней. Но даже с учетом меньшего масштаба последовательность процесса необходимо пройти полностью. Причина проста: одно из первых открытий, сделанных в самом начале исследований на тему использования данных о добавленной стоимости в совершенствовании школьного образования, состоит в том, что внутри школы результаты оказываются не менее разнообразны, чем внутри округа по множеству школ [Aaronson, Barrow, Sander, 2007; Rivkin, Hanushek, Kain, 2005; Rockoff, 2004]. Это значит, что сильные и слабые стороны, которые свойственны одной группе педагогов внутри школы, скорее всего сильно отличаются от сильных и слабых сторон других групп этой же школы. Вот почему анализ не может ограничиться уровнем школы: разные учителя, как и разные ученики, обладают различными навыками, предпочтениями и потребностями. Анализ на уровне группы учителей необходим для того, чтобы выявить и учесть эти различия.
Самый простой способ начать анализ на уровне группы учителей – это изучить те участки матрицы уровня школы, которые относятся к этой группе. Например, предположим, что в конкретной средней школе есть как автономные классные комнаты (для одного класса), так и классные комнаты, относящиеся к конкретной предметной области. Все учителя 5-го класса автономны (т. е. преподают весь набор предметов этого класса), поэтому они образуют группу по принципу параллелей (уровней) обучения. На рис. 6.4 представлена та же матрица для средней школы, которую мы рассматривали в главе 5. На этот раз в матрице выделены результаты 5-х классов.
Когда группа педагогов 5-х классов изучает свои результаты на матрице, ее участники понимают, что группа испытывает некоторые проблемы с успеваемостью своих учеников. В среднем уровень успеваемости по всем четырем предметам 5-х классов – выше среднего. Однако если рассматривать прогресс, то по этому показателю ученики находятся где-то между 20-м и 40-м процентилями по математике и естествознанию, и между 40-м и 60-м процентилями по литературе и обществоведению. очевидно, что теперь важно изучить дезагрегированные данные по прогрессу.
Рис. 6.4. Матрица «Фокус на моей школе»
Процесс анализа дезагрегированных данных группы педагогов 5-го класса также сходен с анализом дезагрегированных данных на двух других уровнях, описанным в главах 4 и 5. Единственное различие в том, что у группы педагогов 5-го класса нет вертикальной информации (в разрезе различных уровней обучения), которую они могли бы изучить. На рис. 6.5 представлены дезагрегированные данные для 5-го класса. Отчеты, представленные на этом рисунке, сформированы компанией SAS, округа получают доступ к таким отчетам через систему услуг EVAAS института SAS Institute, Inc.
В целом (за исключением математики) относящиеся к данной рабочей группе ученики с высокой успеваемостью демонстрируют более высокий уровень прогресса, чем их сверстники с более низкой успеваемостью. А по математике, где ситуация противоположна, ученики с низкой успеваемостью демонстрируют всего лишь ожидаемый рост. Так что, если говорить о положительных тенденциях, то рабочая группа достигает удовлетворительного роста среди учеников с высокой успеваемостью. Однако эта сильная сторона омрачается низкими результатами по математике, которые требуют отдельного рассмотрения рабочей группой. Если же говорить о проблемных точках, то почти по всем предметам отстающие ученики не достигают ожидаемого роста. Даже по математике, где отстающие ученики демонстрируют более выраженный рост, чем их успевающие сверстники, этот рост всего лишь соответствует ожидаемому уровню. Ожидаемый рост не приближает таких учеников к достижению высокого уровня подготовки. Для отстающих учеников необходим рост, ежегодно превышающий ожидания, – только тогда они смогут нагнать сверстников.
Также интересно отметить, что, даже если уровень успеваемости пятиклассников по литературе и социальным наукам несколько выше, тенденции роста в этих двух предметных областях не лучше, чем в двух других. Так что в этом случае выводы, которые можно сделать по итогам изучения дезагрегированной информации о росте, разительно отличаются от выводов, к которым приводят нас данные об успеваемости.
Рис. 6.5. Диагностические отчеты школы округа N, 2010 (5-й класс)
Благодаря распространению учительской отчетности по добавленной стоимости все большее количество учителей и преподавательских рабочих групп получает возможность изучить влияние созданной ими образовательной среды на результаты их учеников. Информация, содержащаяся в отчетах по добавленной стоимости на уровне учителей, обладает огромным потенциалом, и обращаться с ней следует деликатно, так как она неизбежно повлияет на культуру преподавания, сложившуюся в вашей школе. Безусловно, масштабные долгосрочные последствия применения учительских отчетов по добавленной стоимости еще предстоит оценить, но сегодня реакция учителей на эти данные в большой степени зависит от руководителей школ. Мы убедились, что профессиональное целенаправленное обучение толкованию информации, предоставляемой отчетами, является необходимым, но недостаточным условием для того, чтобы педагоги начали использовать полученные результаты при принятии решений о методах и способах преподавания. Руководители школ должны активно и со знанием дела подводить рабочие группы педагогов к продуктивным рассуждениям и дискуссиям и налаживать процессы, благодаря которым все предпринимаемые действия будут осознанными и подкрепленными информацией. Когда преподавательские рабочие группы получают доступ к информации об успеваемости и добавленной стоимости, взаимодействие преподавателей с учениками и другими учителями разительно изменяется.
BFK·Фокус – системный подход к импрувменту школьного образования – применительно к рабочим группам учителей является очень эффективным. Когда учителя совместно работают над составлением матрицы «Фокус на моей школе», они могут увидеть закономерности в информации, которые откроют им их сильные стороны и вызовы, и ответить на очевидный вопрос: почему результаты оказались именно такими?
Глава 4 была посвящена первым двум этапам анализа при фокусе на уровне округа, а в главах 5 и 6 мы изучали те же этапы анализа на уровнях школы и рабочей группы педагогов. На этих этапах используется общая и дезагрегированная информация об успеваемости и о прогрессе учащихся, с помощью которой выявляются сильные и слабые стороны образовательного процесса. В главе 7 мы изучим третий – последний этап анализа BFKФокуса, чтобы ответить на вопрос «почему?» или определить глубинные причины получаемых результатов.
Изучите отчеты по добавленной стоимости Ханта Рассета. Выскажите ваши соображения:
1. О различиях между подгруппами, разделенными на основании успеваемости в прошлом.
2. О различиях между мальчиками и девочками.
3. О прогрессе, достигнутом группой обучающихся по особым программам, по сравнению с учениками из подгруппы с самой низкой успеваемостью.
• Будете ли вы работать с ними в ходе конфиденциальных встреч один на один?
• Будут ли они изучаться совместно на больших собраниях преподавательского состава?
• Обсудили ли вы уже с коллегами способы применения этих данных?
• Отвели ли вы часть рабочего времени на то, чтобы учителя изучали свои отчеты и обсуждали результаты с коллегами в дружественной комфортной атмосфере?
• Каковы ваши сильные стороны?
• Каковы ваши слабые стороны?
• Какие подгруппы учеников показали наилучшие результаты? Какие – наихудшие? Рассмотрите подгруппы учеников с низкой, средней и высокой успеваемостью, а также подгруппы учеников, не являющихся носителями английского языка (ELL) и обучающихся по индивидуальным программам, и подгруппы, разделенные по половому признаку.
• Посмотрите на матрицу «Фокус на моей школе»: где на ней отражены уровни обучения и предметные области? Где расположены классы и предметы, демонстрирующие высокий прогресс и высокую успеваемость? Высокий прогресс, но низкую успеваемость? Низкий прогресс, но высокую успеваемость? Наконец, низкий прогресс и низкую успеваемость?
• По результатам различных учительских отчетов что можно сказать о прогрессе учеников с низкой успеваемостью? Учеников со средней успеваемостью? С высокой успеваемостью? Кто в вашей команде представляет сильные стороны? А кто – точки уязвимости?
• Анкета по результатам учительских отчетов по добавленной стоимости
При ответе на следующие вопросы – индивидуально или в рабочей группе – держите перед глазами ваши учительские отчеты по добавленной стоимости.
Каковы ваши сильные стороны? Перечислите их:
В каких областях вы добиваетесь ожидаемого прогресса? Перечислите сферы ожидаемого прогресса:
В каких областях вам не удается добиться ожидаемого прогресса? Перечислите сферы неудовлетворительных результатов относительно прогресса:
В каких областях вы добились высокого уровня прогресса и высокой успеваемости? Подумайте над тем, как можно тиражировать применяемые в этих сферах практики:
В каких областях вы добились высокого или низкого уровня прогресса, но низкой успеваемости? Какие улучшения можно внести в применяемые в этих сферах методики?
Цикл импрувмента на основании анализа данных о добавленной стоимости
Ключевые тезисы главы 7
1. Глубинные причины отчетных результатов предоставляют мощные рычаги для импрувмента.
2. Анализ глубинных причин получаемых результатов основан на том, что учителя принимают на себя персональную ответственность за текущее положение дел.
3. Очень важно анализировать сильные стороны команды педагогов.
4. Список глубинных причин отчетных результатов необходимо сократить, оставив только те, что непосредственно отвечают за конкретный результат учеников.
5. Поставьте стратегическую, измеримую, достижимую, актуальную и ограниченную во времени цель, или SMART-цель, и составьте план действий по методике BFK·Фокус.
Главы 4, 5 и 6 были посвящены тому, как использовать агрегированную и дезагрегированную информацию о прогрессе и успеваемости учеников, чтобы на каждом уровне школьной системы выявить наиболее значимые сильные стороны и вызовы. После того как педагоги, занятые на каждом уровне системы, должным образом обнаружили свои самые главные сильные стороны и самые значимые вызовы, следующим шагом становится исследование глубинных причин их возникновения.
Изучение глубинных причин необходимо потому, что они дают мощные рычаги для импрувмента. В последние годы педагоги проводят за изучением достижений учеников больше времени, чем когда бы то ни было, но изучать отчетные данные и предпринимать действия – это разные вещи. Известное выражение «анализ парализует» точно описывает то, чем нередко оканчивается анализ данных. Этот паралич вызван обилием источников данных. во многих случаях изучение результатов, достигнутых учащимися, – в особенности по успеваемости – дает неоднозначную картину. сложно понять, что является причиной представленных в отчете результатов: усилия ныне действующей команды учителей или результаты, достигнутые учениками в прошлые периоды. Даже когда данные не так противоречивы, уязвимых точек может оказаться больше, чем команда в силах отследить.
Для преодоления этого «паралича» и перехода к действиям рабочая группа учителей должна (1) максимально сократить список проблем и (2) точно определить причины получения результатов, представленных в отчете.
Изучать данные и предпринимать действия – это разные вещи.
Если выполнить эти два пункта, вероятность того, что изучение отчетных данных приведет к осмысленным действиям, основанным на них, значительно повысится. Этот шаг в фокусе на системный процесс разработан именно для того, чтобы подтолкнуть команду педагогов к действию. В данной главе мы опишем эту фазу процесса и расскажем о ней на примере группы учителей 5-х классов Независимого школьного округа Хьюстон (Houston Independent School District – HISD).
Глубинные причины – это факторы, которые помогут добиться значительных организационных результатов. В нашем случае это значит, что они помогут наилучшим образом использовать сильные стороны и наиболее эффективно решать проблемы, выявленные в результате процедур, описанных в главах 4, 5 и 6. Глубинные причины – это те факторы образовательного процесса, на которые педагоги могут оказывать значительное влияние. То есть в данном случае речь не идет о таких факторах, как социально-экономическое положение учеников или недостаток родительской поддержки: на эти факторы преподаватели не могут оказывать ощутимого воздействия.
Первостепенный мотив изучения глубинных причин полученных в отчетах результатов заключается в том, что они служат мощным рычагом для действия. Если члены рабочей группы понимают, какие из их действий привели к качественным результатам, они могут при помощи подобных действий добиться еще больше качественных результатов. Аналогично, если члены группы преподавателей понимают, какие их действия привели к результатам, далеким от желаемых, эти действия могут быть модифицированы или устранены в целях повышения качества преподавания и в конечном итоге улучшения результатов учащихся.
Возможно, самое большое различие между педагогами наших дней и учителями, преподававшими 20 лет назад, касается вменяемой им ответственности: в прошлом она распространялась на то, что делали сами учителя, – на планирование уроков, составление программы курсовых работ, непосредственное преподавание в классе и т. д. Сегодня в их сферу ответственности входит то, что делают их
Один из важнейших аргументов «за» анализ глубинных причин отчетных данных состоит в том, что такой анализ заставляет педагогов решить для себя вопрос ответственности. Анализ глубинной причины предполагает, что преподаватели в ответе как за хорошие, так и за плохие результаты, которые демонстрируют ученики их классов. Поэтому при анализе глубинных причин всегда ставится один и тот же вопрос: какие из моих действий привели к данному результату?
Один из важнейших аргументов «за» анализ глубинных причин отчетных данных состоит в том, что такой анализ заставляет педагогов решить для себя вопрос ответственности.
Чтобы попрактиковаться в
Во-вторых, начинать следует с сильных сторон, потому что учителя – и все работники сферы образования в целом – уделяют слишком мало внимания хорошему. На сильные стороны не обращают особенного внимания, считая их чем-то, «о чем нам не стоит беспокоиться». На самом же деле изучать глубинные основы позитивных результатов учителей чрезвычайно важно, поскольку именно успешные практики – это примеры того, как достигаются успешные результаты. Изучая, каким образом их действия способствовали высококачественным результатам, педагоги будут более склонны к анализу своих действий, приведших к плачевным результатам.
Анализ позитивных результатов начинается с причинноследственной диаграммы под названием «рыбий скелет», или диаграмма Исикавы. Эту диаграмму причинноследственных связей разработал доктор Каору Исикава, специалист по статистическим методам контроля качества из Японии. Диаграмма «рыбий скелет» – это аналитический инструмент, часто применяемый сторонниками концепции общего управления качеством (Total Quality Management – TQM) для системного изучения результатов и причин, которые вызвали эти результаты. Стандартная диаграмма Исикавы приведена на рис. 7.1.
Рис. 7.1. Диаграмма Исикавы («рыбий скелет»)
В начале анализа позитивных результатов определенной группы педагогов в овальную «голову» «рыбьего скелета» записывается конкретный успешный показатель. Большие и малые «кости», идущие за «головой», – строки, в которых записываются возможные факторы возникновения этой сильной стороны. Обычно большие вертикальные дуги – «ребра скелета» – обозначают крупные категории причин. Например, если наша диаграмма Исикавы посвящена результатам какого-то одного класса, одно «ребро» может относиться к практикам преподавания, а другое – допустим, к оценке. Когда крупные категории определены, под ними записываются подкатегории. Так, под методиками преподавания могут быть перечислены совместное обучение (в парах или группах), дифференцированное преподавание, преподавание для всей группы или учебные центры, т. е. различные стратегии, которые могли способствовать появлению конкретного показателя сильной стороны.
В нашей практике мы были фасилитаторами групп, применяющих полностью пустую диаграмму Исикавы (как на рис. 7.1). По реакции группы мы поняли, что педагоги обычно не размышляют о своей практике с точки зрения причинности. Чтобы сдвинуться с мертвой точки, мы начали экспериментировать с диаграммами, в которых уже были указаны некоторые из категорий и факторов. Оставленные пустые места давали возможность участникам добавить свои факторы, и действительно, скелет, на котором было немного «мяса», работал лучше, чем совершенно голый скелет. На рис. 7.2 приведен пример диаграммы, посвященной сильным сторонам образовательного процесса на уровне класса, в которую уже включены некоторые факторы. важно помнить, что при использовании диаграммы-скелета в такой форме ведущий должен настойчиво подталкивать участников к тому, чтобы они добавляли к ней свои факторы.
Итак, на практике частично заполненная диаграмма Исикавы используется для того, чтобы помочь педагогам выявить глубинные причины, связанные с конкретным показателем успеха. Обычно мы просим каждого педагога – участника рабочей группы, изучающей отчеты на уровне класса, рассматривать одну категорию факторов за одно занятие, начиная с тех, которые касаются методик преподавания. Основной вопрос здесь таков: есть ли среди применяемых вашей командой стратегий такие, которые вносят вклад в рассматриваемый успешный показатель? Если это стратегии, которых нет в вашей диаграмме, – добавьте их в пустые строки. После того как каждый член группы сделает это самостоятельно, участники делятся друг с другом своими результатами. Далее они в ходе обсуждения приходят к консенсусу относительно стратегий, которые действительно лежат в основе изучаемого успешного показателя. Затем процесс повторяется для трех других категорий факторов.
Рис. 7.2. Диаграмма Исикавы: для позитивных показателей
Для каждой из этих категорий требуется ответить на три ключевых вопроса:
• Существуют ли какие-то аспекты учебного плана или другие системные факторы, которые участвуют в формировании данного позитивного показателя?
• Существуют ли какие-то аспекты вашего общения с учениками, которые участвуют в формировании данного позитивного показателя?
• Существуют ли какие-то аспекты вашего профессионального развития как педагога, которые участвуют в формировании данного позитивного показателя?
После рассмотрения каждой категории факторов рабочая группа должна изучить финальный список глубинных причин и сократить его таким образом, чтобы в него входили только те факторы, которые, по мнению группы, вносят принципиальный вклад в достижение позитивного результата. Для каждого фактора, оставшегося в списке, группа должна иметь доказательство (в форме объективных данных или субъективного опыта) того, что данный фактор может быть отнесен к глубинным причинам. Полученный конечный список, в котором обычно остается от двух до четырех факторов, и есть список глубинных причин для рассматриваемого позитивного результата.
Только после того как команда педагогов сделала все для исследования своих успехов, она может переходить к изучению выявленных проблем. Поиск глубинных причин возникновения тех или иных проблем в точности повторяет описанный выше процесс, единственное отличие в том, что скелет диаграммы строится на факторах, формирующих не сильные, а проблемные стороны работы педагогов. Пример диаграммы Исикавы, посвященной негативным показателям на уровне класса, представлен на рис. 7.3.
Рис. 7.3. Диаграмма Исикавы: для негативных показателей
Но даже при изучении проблемных результатов участники рабочей группы должны помнить, что они обладают опытом достижения высоких результатов. Это знание чрезвычайно важно при принятии решений относительно выявленных проблем.
Чтобы завершить аналитический процесс, сфокусированный на системе в целом, рабочая группа задействует выявленные глубинные причины как для позитивных, так и для негативных результатов для разработки SMART-цели и плана действий по решению главной проблемы. Считается, что концепция в форме этой мнемонической аббревиатуры впервые была описана Дж. Т. Дораном в 1981 г. [Doran, 1981]. Концепция была использована в контексте управления проектами как инструмент оценки целей каждого проекта. Большинство педагогов обладает опытом в постановке SMART-целей, но им, скорее всего, все равно потребуется помощь и поддержка для формирования измеримой цели, которая была бы достижимой и при этом стоила усилий по ее достижению. На рис. 7.4 представлены некоторые дополнительные детали построения SMART-цели. SMART-цель – это цель, удовлетворяющая определенным требованиям, описанным в расшифровке акронима SMART.
Для достижения SMART-цели необходим план действий. Чтобы составить его, члены рабочей группы по импрувменту должны продумать каждый шаг, ведущий к достижению цели. Если шаги не будут детально расписаны, достижение цели окажется под угрозой. Большинство качественных планов включают описание самой цели, а также показатели оценки конечного результата, которые помогут определить, насколько успешно команда достигла своей цели. Чтобы процесс достижения цели был управляем, в план действий обычно входят такие составляющие, как описание конкретных шагов, доступные ресурсы, распределение ответственности, временные рамки, а также показатели успешности для каждого из шагов плана. Стандартная форма плана действий приведена на рис. 7.5.
Рис. 7.4. SMART-цели
Когда группа приступает к реализации этого последнего этапа фокуса на системе (BFK), члены группы должны продумать свою работу с выявленными проблемами. У команды педагогов есть по меньшей мере пять возможностей.
Рис. 7.5. SMART-цели: план действий
1. Примените стратегию, соответствующую сильным сторонам вашей работы.
• Каковы глубинные причины, способствующие проявлению ваших позитивных результатов?
• Существуют ли способы задействовать ваши сильные стороны для улучшения ситуации с негативными результатами?
2. Оцените свои негативные результаты с точки зрения их глубинных причин.
• Начните работать со всеми или с наиболее значимыми из глубинных причин, связанных с негативными результатами вашей работы.
• Поставьте конкретные цели и разработайте план действий для каждого уязвимого аспекта вашей работы.
3. Используя информацию о добавленной стоимости, найдите школы с аналогичными демографическими характеристиками, которые добиваются значительного прогресса там, где у вас проблема.
• Найдите школы с аналогичными демографическими характеристиками, которые демонстрируют значимый рост там, где ваша школа терпит неудачи.
• Свяжитесь с директорами таких школ.
• Вместе с представителями этих школ исследуйте методики, которые они используют для достижения значительного прогресса.
4. Используйте прогнозные результаты учеников, чтобы выявить учащихся, требующих наиболее серьезной помощи. Примечание: SAS включает прогнозную информацию в свои отчеты системы EVAAS.
• Выявите учащихся, в отношении которых прогнозируются плохие результаты в том направлении, где у вас наибольшие проблемы.
• Уделите таким ученикам больше внимания, давая им отдельные задания и обеспечивая дополнительную поддержку в наиболее сложных для них предметных областях.
5. Найдите креативный способ решить ваши самые большие проблемы.
Чтобы проиллюстрировать процесс, описываемый в данной главе, приведем пример анализа результатов рабочей группы по году обучения (класса).
Команда педагогов 5-х классов знакомого нам Независимого школьного округа Хьюстона (Houston Independent School District – HISD) изучила свои данные об успеваемости и добавленной стоимости, чтобы определить свои сильные и слабые стороны, а затем поэтапно проанализировала действия, которые привели к полученным результатам. Каждый из пяти учителей команды преподавали все четыре главных предмета: математику, литературу, естествознание и обществоведение. Поэтому данные по году обучения, которые они изучали, учитывали результаты преподавания всех членов группы. В данном случае участники наибольшее внимание уделили дезагрегированной отчетности, потому что эта информация оказалась наиболее прикладной и наиболее интересной.
На рис. 7.6 представлено четыре школьных диагностических отчета, которые содержат дезагрегированные результаты данной группы учителей. Отчеты, показанные на рис. 7.6, сформированы компанией SAS, которая предоставляет свои отчеты округам через систему оценки добавленной стоимости в образовании – EVAAS (Education Value-Added Assessment System), разработанной институтом SAS Institute, Inc.
Рис. 7.6. Диагностические отчеты школы: группа учителей 5-го класса
При изучении этих отчетов группа педагогов выявила интересную закономерность. Очевидно, что естествознание было для них успешным. Сводные результаты добавленной стоимости в этой предметной области были очень хорошими, и в дезагрегированных данных успех также явно прослеживался. Однако в других предметных областях педагогам не удавалось добиться прогресса среди учеников со средней успеваемостью (подгруппа 3), что видно в каждом из трех дезагрегированных отчетов на рис. 7.6. В отчете по естествознанию все пять подгрупп учеников демонстрируют прогресс, превышающий ожидания, а прогресс учеников со средней успеваемостью превышает прогресс остальных подгрупп. В трех других предметных областях прогресс средней подгруппы оказывается ниже прогресса остальных подгрупп. Таким образом, для данной группы учителей сильной стороной оказалось преподавание естествознания в целом и преподавание его ученикам со средней успеваемостью в частности. Проблемным для нее стал слабый рост средних учеников в трех других предметных областях.
Далее команда учителей начала анализировать свои позитивные показатели, используя для этого диаграмму Исикавы («рыбий скелет»), представленную на рис. 7.7.
Участники совместного анализа отчетов сошлись на том, чтобы в верхней овальной части записать: «Высокий уровень прогресса в естествознании, в особенности среди учеников со средней успеваемостью». В ходе последовательного рассмотрения всех категорий факторов в диаграмме учителя обсуждали, чем учебный план и практики преподавания, используемые при обучении естествознанию, отличались от учебного плана и практик преподавания трех других предметных областей. Среди факторов, касающихся преподавания, участники выделили постановку интересных и привлекательных для учеников целей. Поскольку масштабные вопросы учебного плана по естествознанию были разделены на очень четкие и сжатые подпункты, учителям было несложно ставить перед учениками ясные и интересные цели, соответствующие академическим нормативам штата.
Рис. 7.7. Диаграмма Исикавы: для позитивных показателей группы учителей 5-го класса
В категории факторов, касающихся учебного плана, педагоги рабочей группы выделили соответствие учебных ресурсов потребностям учеников. Здесь речь шла о тщательно проработанном и удобно сегментированном учебном плане по естествознанию. Чтобы сделать этот фактор более четко выраженным, его записали как «Сильно сегментированный учебный план». Эта формулировка выражала разницу между учебным планом по естествознанию и учебными планами по трем другим преподаваемым предметам. Именно ясность и конкретность сегментированного учебного плана по естествознанию делали преподавание этого предмета сфокусированным и прицельным – как для всех учеников в целом, так и для учеников со средней успеваемостью, которая часто оказывается обделенной вниманием педагогов.
Среди факторов, касающихся оценки, команда выделила регулярное использование описательной обратной связи, из-за чего завязалась дискуссия о том, как качество ресурсов учебного плана по естествознанию помогает ученикам конкретно описывать степень своего понимания предмета и сравнивать его с ожидаемым уровнем понимания.
Составленная по окончании аналитической работы диаграмма Исикавы для данной группы педагогов представлена на рис. 7.8.
Рис. 7.8. Завершенная диаграмма Исикавы: для позитивных показателей
Переходя к анализу негативных результатов, команда педагогов уже знала, куда двигаться. Учителя начали с диаграммы Исикавы на уровне класса, представленной на рис. 7.9.
Рис. 7.9. Диаграмма Исикавы: для негативных показателей на уровне класса
По множеству параметров обсуждение негативных результатов привело к прямо противоположным по сравнению с анализом позитивных результатов выводам. В качестве результата отчетов, на который направлен фокус анализа, участники команды записали: «Слабый прогресс среди учеников со средней успеваемостью по математике, литературе и обществоведению». Среди факторов, относящихся к научению, педагоги выделили «Неопределенные цели обучения», потому что по сравнению с целями в естествознании повседневные цели по другим трем предметам были гораздо более расплывчатыми и неопределенными. Из факторов, связанных с учебным планом, они выделили такой: «Несоответствие учебных ресурсов потребностям учеников». О том, что учебные планы по математике, литературе и обществоведению не отвечают нуждам учеников, наши учителя узнали, только когда сравнили их с учебным планом по естествознанию. Они также добавили в эту категорию факторов строку о том, что учебные планы плохо сегментированы, чтобы подчеркнуть разницу между материалами учебного плана по естествознанию и материалами учебных планов по другим трем предметам. Среди факторов оценки команда педагогов выделила «Нерегулярное использование описательной обратной связи». И снова качество и применимость обратной связи, предоставляемой ученикам, оказались в прямой зависимости от ясности и четкости постановки учебных целей. Результат проведенного анализа представлен на рис. 7.10.
Рис. 7.10. Завершенная диаграмма Исикавы: для негативных показателей
Проведя оценку своей работы с учениками со средней успеваемостью по математике, литературе и обществоведению, члены рабочей группы были готовы ставить цели для улучшения своей педагогической практики. Было очевидно, что им требуется пересмотреть материалы учебных планов, связанные с проблемными результатами в трех предметных областях. Поскольку обществоведение оказалось самой слабой предметной областью, пятеро педагогов решили начать процесс улучшения с пересмотра учебных целей по этому предмету.
В завершение своей работы по анализу отчетных данных рабочая группа поставила SMART-цель и план действий на ближайший учебный год. Их SMART-целью было добиться от учеников из 2-го, 3-го и 4-го квинтилей прогресса по обществоведению, превышающего ожидаемые уровени не менее чем на величину одной стандартной ошибки. в рамках своего плана действий они договорились о еженедельных встречах, на которых им предстояло, во-первых, разрабатывать для учеников более четкие учебные цели по этому предмету, а во-вторых, делиться результатами по учебным целям, поставленным неделей ранее. Участники группы должны были в конце каждого квартала сравнивать результаты квартальных тестов средних учеников с результатами учеников такого же уровня, достигнутыми годом ранее.
Анализ глубинных причин на уровнях школы и округа выглядит примерно так же. Есть только два отличия:
(1) работать приходится с агрегированными данными и
(2) диаграммы Исикавы выглядят несколько иначе, отражая другие виды работы, в которых задействованы руководители школ и округов. Тем не менее в обоих случаях ключевой задачей становится помощь педагогам – участникам, принимающим на себя ответственность за результаты их школы или округа.
На уровне округа рабочая команда педагогов должна больше всего внимания уделять масштабным паттернам, которые отражают качество научения в крупных сегментах учащихся округа. Аналогично на уровне школы она должна работать с масштабными паттернами, отражающими качество научения в крупных сегментах учащихся школы. Концентрируясь на масштабных паттернах, команды педагогов могут изменять ситуацию с успеваемостью в больших сегментах учеников.
Шаблоны диаграмм Исикавы для школ и округов, посвященных сильным сторонам и вызовам школьного образования, приведены в заключительном разделе этой главы. Они очень похожи на диаграммы, составленные для уровня класса, но несколько отличаются от них степенью вовлеченности руководителей. Стоит повторить, что действенность работы на этих уровнях полностью зависит от готовности руководителей школ и округов принять на себя ответственность за текущее состояние системы. Во многих случаях сложности возникают из-за того, что руководители не позаботились правильно организовать коллегиальные дискуссии. Также глобальная трудность может состоять в том, что руководство не приобрело опыта решения некоей проблемы до того, как она стала масштабной. В любом случае принятие на себя ответственности – это первый шаг на пути решения насущной проблемы.
Действенность работы полностью зависит от готовности руководителей школ и округов принять на себя ответственность за текущее состояние системы.
После выявления рабочими группами глубинных причин успехов и провалов округа или школы необходимо поставить SMART-цель и составить план действий по решению ключевой проблемы. Путь к решению проблем в большинстве случаев лежит через эффективное использование сильных сторон работы организации для преодоления слабых.
Основная цель этой главы – представить читателю концепцию анализа глубинных причин как позитивных, так и негативных отчетных результатов. Понимая, почему школа или округ получают тот или иной результат, можно применить свои сильные качества как рычаги для преодоления препятствий и решения проблем в организации. Первым шагом для этого является взятие на себя ответственности за достигаемые организацией результаты. С осознанием ответственности появляются и средства для импрувмента. В главе 8 мы приведем несколько примеров деятельности окружных, школьных и классных рабочих групп, которые использовали данные об успеваемости и добавленной стоимости соответствующего уровня, чтобы инициировать в своих организациях масштабные действия для улучшения образовательного процесса.
• Кто сможет выступить лидером и помочь команде пройти через этот процесс?
• Кого вы включите в рабочую группу? Это могут быть учителя, руководители и вспомогательный персонал.
• Сколько времени вы отведете на проведение анализа?
• Какие факторы (см. Инструментарий для преподавателей и руководителей) могли лечь в основу сильных качеств вашей организации?
• Какие факторы действительно привели к достижению хороших результатов?
• Какие факторы (см. Инструментарий для преподавателей и руководителей) могли лечь в основу проблемных пунктов в работе вашей организации?
• Какие факторы действительно стали причиной неудовлетворительных результатов?
• Смогли ли вы ограничиться разумным количеством целей? Чтобы цели были достигнуты, надо поставить одну или две цели.
• Являются ли ваши цели стратегическими, измеримыми, достижимыми, актуальными и ограниченными во времени одним учебным годом?
• Как ваш план действий поможет вам в достижении вашей SMART-цели? Изучите практические шаги, которые вам предстоит предпринять, ресурсы, которые вам могут понадобиться, круг участников и временной график.
• Системная диаграмма Исикавы (см. рис. 7.11 и 7.12).
Рис. 7.11. Системная диаграмма Исикавы: для позитивных показателей
Рис. 7.12. Системная диаграмма Исикавы: для негативных показателей
• Диаграмма Исикавы на уровне школы (см. рис. 7.13 и 7.14).
Рис. 7.13. Диаграмма Исикавы (уровень школы): для позитивных показателей
Рис. 7.14. Диаграмма Исикавы (уровень школы): для негативных вызовов
Рис. 7.15. SMART-цели: пример измерения результата
• SMART-цели: план действий (см. рис. 7.15).
Цикл импрувмента на основании анализа данных о добавленной стоимости
Ключевые тезисы главы 8
1. Используйте информацию о добавленной стоимости для решительных действий, начните с внедрения плана импрувмента.
2. Следите за реализацией вашего плана и при необходимости корректируйте свои действия.
3. Оцените успешность реализации вашего плана импрувмента.
4. Получив свежие данные, начинайте все сначала.
Когда Бобби Мур заступил на свою новую должность в качестве директора Канаанской средней школы сельской местности штата Огайо, он фактически не знал, что его ожидает. Он возглавил школу, в которой большинство детей успешно проходили тестирование штата, преподавательский состав был сплоченным и работал сообща, и при этом учителя отлично справлялись с задачей построения прочных взаимоотношений с учениками. Но, получив школьные отчеты по добавленной стоимости, Бобби понял, что что-то было неладно: почти во всех отчетах преобладал красный цвет. Почти по всем главным предметам результаты учеников оказались ниже ожидаемых. Единственным исключением были результаты по математике за 6-й класс. Бобби понял, что ему и его подчиненным предстоит большая работа.
В начале своего первого года на новом посту Бобби постарался донести до всего преподавательского состава информацию, содержащуюся в школьных отчетах по добавленной стоимости и успеваемости, но при этом нельзя было допустить, чтобы учителя проводили все свое время за обсуждением этих проблем. Бобби стремился помочь учителям своей школы направить все силы и помыслы на улучшение ситуации. Немало времени Бобби уделил совместному с педагогами изучению информации о добавленной стоимости и успеваемости на уровне школы и на уровне рабочих групп учителей, а также провел множество индивидуальных встреч с учителями для изучения их персональных отчетов. В эти первые дни коллектив школы смог воспользоваться множеством идей, описанных в главах 3–6 настоящей книги. К счастью, педагоги не остановились на достигнутом, и, в отличие от многих школ, не ограничились выявлением проблем, а занялись поиском их глубинных причин и, что самое важное, поиском решений. В следующие два года пришлось потрудиться. Учителя постоянно планировали, действовали, оценивали результаты и корректировали планы. За два года их отчеты по добавленной стоимости из почти красных постепенно стали почти зелеными.
Глава 8 опирается на первые семь глав книги и описывает одну из самых важных, но часто упускаемых из виду частей всего процесса импрувмента, которая включает действие, контроль результатов и при необходимости корректировку планов и стратегий, а также оценку успешности всего процесса улучшения результатов школ в целом.
Для иллюстрации важных идей Бобби Мур любит приводить примеры из фильмов. В одной из бесед он сравнил обучение в школе с фильмом «Рембо: Первая кровь-2». Бобби указал на миссию Рембо, которого отправили во Вьетнам, чтобы собрать доказательства того, что во вьет-конговском лагере удерживаются в плену американские военнослужащие, но в его задачу не входило их спасение. «Именно этим и заняты школы, – объяснил Бобби. – Наши дети – это пленные школ. Мы собираем доказательства того, что ребята испытывают трудности, и при этом не учатся и не повышают свой уровень, но мы никак не меняем наши стратегии преподавания и не спасаем их. Мы собираем данные и делаем фотографии, но мы оставляем все как есть». По мнению Бобби, действие – это недостающий элемент школьной реформы.
Одно из проведенных в школе изменений было связано с результатами дезагрегированных отчетов по добавленной стоимости. Когда Бобби и его преподаватели изучили данные Надлежащего годового прогресса (Adequate Yearly Progress – AYP) по подгруппам, они обнаружили, что ученики с ограниченными возможностями добивались хороших результатов в естествознании и обществоведении, но по математике и литературе их прогресс оказался ниже ожидаемого уровня. В чем же была разница между этими дисциплинами? Математике и литературе ребята с ограниченными возможностями учились в замкнутом помещении в цокольном этаже школы. А для изучения естествознания и обществоведения те же учащиеся присоединялись к общим группам 5-х и 6-х классов. Следовательно, в первую очередь нужно было сделать так, чтобы дети с ограниченными возможностями могли учиться по общей программе. Распространение успешных методов и отказ от неуспешных – это один из важнейших способов использования информации о добавленной стоимости для улучшения ситуации.
Кроме этого, преподавательский состав школы Бобби пришел к решению изменить основной рабочий график. Из каждой части рабочего дня было выделено по четыре минуты, в результате чего удалось найти время для дополнительных занятий. Это небольшое изменение в расписании дало возможность проводить пять дополнительных занятий в неделю, чтобы оказывать поддержку тем ученикам, чьи неудовлетворительные результаты требуют принятия оперативных мер. Учителя назвали эти занятия «Без нового материала». Эти дополнительные занятия по замыслу носили гибкий характер. Учителя совместно определяли, кому из учеников требуется помощь и по каким предметам, и в результате расписание дополнительных занятий постоянно менялось. Эта стратегия включала формирование педагогами собственной программы поэтапных оперативных мер. в результате внедрения этой модели поддержки потребность в занятиях после уроков отпала.
После внедрения описанных изменений Бобби и его сотрудники отметили более высокий уровень вовлеченности ребят с ограниченными возможностями, что можно было считать первым признаком того, что их план начинает приносить плоды. Но педагоги следили и за реализацией других аспектов своего плана, для этого они применяли способы формирующего оценивания, чтобы убедиться, что ученики достигают поставленных перед ними ежедневных или еженедельных учебных целей. Для учеников, которые смогли подтвердить освоение материала, дополнительные занятия «Без нового материала» становятся занятиями по совершенствованию знаний.
В отдельных случаях, когда первый уровень оперативных мер не давал результата, – целевые дополнительные занятия в период действия «Нет новым инструкциям» (NNI) – учителям следовало разработать новые, более индивидуализированные и прицельные оперативные меры. К таким мерам относились работа в малых группах и в некоторых случаях – увеличение объема домашних заданий. Если и эти меры не приносили результатов, то наступала очередь директора по индивидуальному обучению и школьного психолога. Совместно с этими специалистами учителя разрабатывали дополнительные способы, призванные помочь ученикам освоить материал. Работая над программой, эксперты встречались каждые три недели, чтобы изучить результаты учеников и обсудить дополнительные оперативные меры.
История Канаанской школы показывает, как руководитель вместе со своими сотрудниками может улучшить результаты своих учеников. важная составляющая этого процесса – контроль. Контроль, или мониторинг, о котором идет речь в данном случае, имеет две разновидности: контроль процессов и контроль результатов.
Контроль процессов проводится, чтобы дать ответ на вопрос: согласуются ли наши действия с нашими планами? Цель такого контроля состоит в том, чтобы все члены команды отвечали за свою часть реализации разработанного плана. Очень важно понимать, что это не контроль сотрудников, а контроль, который руководитель осуществляет вместе с сотрудниками. один из лучших способов достичь этого – обеспечить прозрачность процесса планирования, ясно обозначить ожидаемые результаты и обеспечить поддержку грядущим изменениям. Когда педагоги понимают свои задачи и осознают, что результаты их работы важны, они с гораздо большей вероятностью будут чувствовать свою ответственность за результаты. Один из способов контроля внутри рабочей группы педагогов – посещение учителями уроков друг друга. Главная цель таких визитов – обеспечить коллегам дополнительную поддержку, когда они начинают экспериментировать с новыми методами преподавания.
Руководители школ и сами могут участвовать в процессе контроля, организуя соответствующие измерения и исследования, а также посещая проводимые учителями уроки. Цель всех этих действий – дать педагогам описательную обратную связь, касающуюся процесса реализации их плана. Техника посещений уроков основана на работе Кэролин Дауни и ее коллег [Downey, Steffy et al., 2004]. Посещения уроков директором не должны быть частью процесса формальной оценки учителей. Их основная цель – инициировать диалог и рефлексию относительно педагогических практик в контексте целей, стоящих перед школой.
Помимо контроля процессов обучения рабочие группы должны также осуществлять контроль результатов. В главе 1 мы затронули вопрос о важности сбалансированной системы оценивания учеников, которая включает как формирующие, так и итоговые показатели в интерактивном цикле. в этой модели процесс преподавания постоянно выдает результаты, которые можно оценивать и использовать для улучшения преподавания. Пожалуй, пора вернуться к циклу сбалансированного оценивания (см. рис. 8.1), потому что он представляет собой отличный пример того, как контроль краткосрочных и долгосрочных результатов связан с процессом улучшения преподавания.
Эта модель построена на результатах многолетних исследований формирующих педагогических практик (Formative instructional practices) [Hattie, 2009]. Подробное обсуждение этих практик выходит за рамки нашей книги, но мы рекомендуем школьным руководителям и педагогам ознакомиться с основополагающими принципами формирующих педагогических практик, потому что они иллюстрируют взаимосвязи между контролем и улучшением.
Рис. 8.1. Цикл сбалансированного оценивания
Педагоги Канаанской средней школы используют четыре метода контроля результатов своей работы: данные общего классного оценивания, успеваемость по результатам тестирования в масштабах штата, информацию о добавленной стоимости, а также результаты опросов родителей, учителей, учеников и членов сообщества. Применение разных методов контроля и подстройка учебных планов и методов преподавания в соответствии с результатами контроля – это ключевой фактор их успеха. Все четыре метода контроля так прочно вошли в практику школы, что, даже получив отличные результаты тестирования штата, учителя не празднуют победу, пока не изучат результаты отчетов по добавленной стоимости. И только получив подтверждение и из этого источника информации, они оценивают свои успехи и планируют дальнейшие улучшения.
Кейти Хартли, учительница математики 5-х классов в начальной школе сельской местности штата Огайо, была разочарована, увидев свои первые отчеты по добавленной стоимости. Они показывали, что в целом результаты ее учеников соответствовали ожиданиям, но, когда она изучила данные по подгруппам, то обнаружила, что ее ученики с высокой успеваемостью демонстрировали гораздо более быстрый рост. Тогда как отстающие ученики на самом деле не достигали ожидаемых результатов. размышляя над этим, Кейти стала подбираться к глубинным причинам сложившейся ситуации. Она нашла пробелы в своем учебном плане по математике, из-за которых он не полностью соответствовал стандартам штата для 5-го класса по математике и пришла к выводу, что может ежедневно делать больше, чтобы ускорить прогресс своих отстающих учеников. Для этого потребовалось внести кое-какие изменения. Они были нацелены на расширение текущей программы по математике и выразились в создании дополнительных параграфов, заполнивших пробелы в нынешней программе.
Кейти была твердо намерена ускорить прогресс в обучении, поэтому она уделила особое внимание тому, чтобы более эффективно использовать внутриклассный контроль, и привела формирующие и итоговые тестирования к стандартам штата по содержанию учебных курсов. При помощи формирующих оценок она контролировала освоение учениками материала ежедневно и еженедельно, по мере необходимости корректируя свои методики преподавания.
Эти нововведения принесли впечатляющие результаты. В конце года показатели добавленной стоимости выглядели совершенно иначе. Теперь все ее ученики демонстрировали рост, превосходящий ожидания, но, как ни странно, закономерность осталась прежней: ученики с высокой успеваемостью добивались более значительного прогресса, чем отстающие ученики (см. главу 6, в которой мы рассказывали, как выявить тенденции в ваших данных о добавленной стоимости). Она поняла, что тем, кто недостаточно хорошо усвоил предыдущий материал, нужно больше возможностей повторить его. Если с такими учениками не заниматься дополнительно и не давать им больше времени на упражнения по пройденному материалу, то они часто будут оказываться среди отстающих.
По результатам этого анализа Кейти решила ввести еще ряд изменений. На следующий учебный год она разработала специальные листы для повторения, в которых содержалось 20 заданий, нацеленных на усвоение отдельного математического навыка. Кроме того, ученики должны были делать упражнения снова и снова, пока материал не будет усвоен. Кейти также обратилась к старшим школьникам с просьбой помогать пятиклассникам в освоении математических навыков в часы, отведенные для самостоятельных занятий. Также Кейти внедрила программу арифметики, чтобы все ученики наконец достигли совершенства в простых арифметических расчетах. Без свободного владения навыком устного счета невозможно было ожидать от учеников эффективного решения более сложных математических задач.
В конце второго учебного года Кейти с нетерпением ждала отчетов по добавленной стоимости, чтобы узнать, изменилась ли ситуация в результате проведенных изменений. оказалось, что усилия были не напрасны. отчеты снова показали, что прогресс всех учеников превышал ожидания. Ее отстающие ученики теперь демонстрировали уверенный рост. Интересно, что все усилия, направленные на улучшение результатов отстающих учеников, принесли пользу и остальным ученикам. Ученики со средней и высокой успеваемостью, как и раньше, опережали по темпам роста отстающих учеников. Мы часто сталкиваемся с этим феноменом, когда учителя серьезно настроены улучшить свои практики преподавания. Изменения, нацеленные на ускорение прогресса в одной группе, часто приносят пользу как членам этой группы, так и всем остальным ученикам.
В случае Кейти Хартли информация о добавленной стоимости каждый год давала повод для гордости и поощрения, но также она служила стимулом к дальнейшим улучшениям. Отчеты по добавленной стоимости – это ценное отражение работы педагога. Благодаря им учителя получают возможность объективно оценить свою работу и изучить эффективность различных обучающих практик и контроля. Кейти добилась улучшений, но настоящими победителями в этой ситуации оказались ее ученики.
Для Кейти каждый новый учебный год означал новых учеников и новые отчеты по добавленной стоимости. Начало каждого года становилось возможностью не просто поразмышлять, а браться за дело снова и снова. Ритуал изучения данных о добавленной стоимости стал такой же важной традицией, как и составление новых информационных досок в классе.
Хизер Дзики, с которой мы встречались в главе 2, тоже стала опытным экспертом по применению цикла импрувмента на базе добавленной стоимости. Хизер – учитель 4-х классов в сельской школе штата Пенсильвания.
Когда Хизер впервые посмотрела на свои данные о добавленной стоимости, ей пришлось признать, что учит она в основном лишь средних учеников. По ее словам, когда она увидела свой учительский отчет по добавленной стоимости, в котором ученики были разбиты на подгруппы в соответствии со своей прошлогодней успеваемостью (см. пример в главе 6), результаты оказались «тревожными». Этот отчет подтвердил, что ученики с низкой и средней успеваемостью демонстрировали ожидаемый уровень прогресса, в то время как ученикам с высокой успеваемостью было очень далеко до нормативного уровня. «Мои лучшие ребята оказались за бортом, и это было для меня удивительно, потому что я была уверена, что уж они-то получают от моих уроков все, что им нужно, – рассказывает Хизер. – Конечно, они не стояли на месте, но их прогресс был ничтожен по сравнению с их потенциалом. И это заставило меня серьезно задуматься».
В беседах Хизер рассказала нам о некоторых изменениях, которые она осуществила после изучения своих отчетов по добавленной стоимости. Она начала использовать программу Words Their Way и проводить дифференцированные занятия по фонетике. На ее занятиях мы увидели этот новый подход в действии. во время фонетического обучения три подгруппы учеников трех разных уровней подготовки работали над словоформами, специально выбранными для них из разделов, оказавшихся для них наиболее трудными по итогам предыдущей недели. Хизер ввела эти изменения, так как согласно данным отчетов ее обучающие практики приносили наибольшую пользу средним ученикам, а она хотела, чтобы ее уроки были полезны также и для учеников с высокой успеваемостью, и для отстающих.
Кроме того, Хизер начала группировать учеников на основании данных оценки Динамичных индикаторов базовой грамотности (Dynamic Indicators of Basic Early Literacy Skills – DIBELS), а также – результатов неформального классного оценивания работ. «Мои новые “литературные кружки” формировались исходя из объективных данных, а не на основании интересов детей или моего субъективного выбора». Мы видели, как во время «литературных кружков» дети читали – самостоятельно или в группах, – уверенно помечая, какие из методик чтения они используют. в это время Хизер работала с небольшими группами учеников. Некоторым группам она предоставляла совершенствоваться самостоятельно, некоторым – активно помогала.
Хизер и директор ее школы Элизабет Шиндлдекер рассказали нам, что они долгое время использовали программу понимания прочитанного, которая не давала результатов, и поняли они это после изучения своих итогов по успеваемости и добавленной стоимости по литературе. И успеваемость, и прогресс были низкими. «Мы отказались от контрольных по прочитанным произведениям и от некоторых других традиционных методов, которые не давали той информации, которая была нам нужна». Они решили привлечь консультанта, который помог бы им найти новое направление, и теперь они иначе подходят к обучению чтению, используя самые действенные стратегии.
В настоящее время, когда они начали использовать новый учебный план по чтению и правописанию, им удалось не только улучшить результаты учеников по тестам штата, но и добиться того, что ученики стали более заинтересованными и более вовлеченными в учебу. «Информация о добавленной стоимости дает мне повод менять свои методики и позволяет мне видеть результаты этих изменений, как на карте», – говорит Хизер.
Учительские отчеты по добавленной стоимости помогли хизер осознать необходимость дифференцировать свои методики преподавания, чтобы соответствовать разнообразным потребностям ее учеников. Эти перемены оказались не напрасны. «Успешные ребята быстро наверстали упущенное, и теперь и средние, и отстающие, и успешные ученики добивались прогресса», – рассказывает Хизер. Но этими изменениями дело не ограничилось. отчеты по добавленной стоимости по другим предметам показали, что наибольший прогресс наблюдается по литературе. Несмотря на то что результаты в математике были вполне удовлетворительными, Хизер решила попробовать их улучшить, применив ряд новых подходов.
Хизер продемонстрировала в действии подход к импрувменту на основе информации о добавленной стоимости. Сначала она, руководствуясь своими отчетными данными, изменила методики обучения чтению. Позже она внесла изменения и в методики преподавания математики. «Не бойтесь менять свои методы работы, – советует Хизер. – Большинство изменений меняют ситуацию в лучшую сторону. Будьте гибкими и не бойтесь пробовать новое – и вы действительно добьетесь значительных успехов».
Успех таких учителей, как Бобби, Хизер и Кейти, вовсе не случаен. Все случаи преобразования на уровне школ и классов, описанные нами в этой книге, имеют общую основу: продуманное и целенаправленное применение пятиэтапного цикла улучшений преподавательской практики на основе данных о добавленной стоимости. хотя каждый из наших партнеров использовал цикл по-своему, первым шагом для них стало погружение в анализ данных о добавленной стоимости. На втором этапе они не пожалели времени на толкование полученных ими результатов и выявления своих сильных и слабых сторон. Далее – на третьем этапе – они сообща работали над определением глубинных причин своих самых главных успехов и неудач. На четвертом этапе они применили полученную информацию для разработки плана импрувмента. И наконец, они начали реализовывать план, контролировать результаты и при необходимости корректировать свои педагогические методы. Но на этом работа не заканчивалась. Следующий учебный год они начали с того, чтобы, получив свежие данные об успеваемости и добавленной стоимости, оценить эффективность своей прошлогодней программы и снова начать цикл анализа и совершенствования. всех преподавателей, описанных в наших историях успеха, объединяет упорное стремление улучшить обучение, смелость изменять устоявшиеся методы работы и пробовать новые стратегии. Мы верим, что и вы, будучи учителем, руководителем или администратором, сможете применить этот цикл, чтобы создать собственные истории успеха.
• Что потребуется для реализации вашего плана импрувмента?
• Какие пункты плана вызывают наибольшее беспокойство?
• Как вы планируете преодолевать ожидаемые трудности?
• Какие ресурсы необходимо задействовать, чтобы получить ожидаемые результаты?
• Кто будет отвечать за контроль реализации вашего плана?
• Что конкретно вы планируете делать, чтобы контролировать внедрение изменений на протяжении школьного года?
• Как вы построите совместную работу и как разделите обязанности по контролю реализации плана импрувмента?
Протокол обсуждения для рабочих групп по профессиональному научению
Анкета самооценивания для руководителей школ
Три века назад – 22 октября 1707 г. – недалеко от юго-западного побережья Англии четыре британских военных корабля налетели на рифы. Это кораблекрушение унесло жизни почти двух тысяч человек. Не было никакого сражения, просто адмирал ошибся в расчетах при определении положения эскадры в Атлантическом океане, и флагманское судно разбилось о скалы у берегов Англии. Моряки других кораблей флотилии, слепо следуя за головным кораблем, также один за другим потерпели крушение.
На тот момент понятия широты и долготы уже были давно известны, но мореплаватели еще не изобрели надежного способа вычислять долготу. Никто не мог определить, насколько далеко на запад или на восток уплыло судно. В тот злополучный день туман усугубил ситуацию, и все закончилось трагедией.
Эта катастрофа побудила британское правительство пообещать награду в один миллион долларов (в сегодняшних деньгах) тому, кто решит проблему долготы. Чтобы оценивать предлагаемые решения, был сформирован специальный Совет по долготе. Все надежды возлагались на астрономов и других передовых ученых того времени. Однако в итоге проблема долготы была решена английским часовым мастером Джоном Харрисоном, который разработал портативное устройство для хранения времени. И тем не менее совет по долготе долгое время не признавал решения, предложенного механиком, считая, что проблема долготы должна быть решена силами астрономов.
Сегодня мы сталкиваемся с похожей ситуацией. Многие преподаватели не признают важной роли статистики в решении педагогических задач. Анализ данных о добавленной стоимости в определенной мере оказался статистическим решением задачи повышения академической успеваемости учеников. Так же как мореплавателям нужны были точные показатели широты и долготы, современным педагогам нужны показатели как прогресса, так и успеваемости, чтобы задавать ученикам направление и указывать конечную цель. Так же как и мореплавателям, нам нужны оба показателя.
Мощь современных компьютеров в совокупности с получаемыми сегодня результатами тестирования учеников щедро обеспечивают нас информацией, правильное толкование и применение которой помогает нам в принятии мудрых решений, касающихся практик преподавания и обучающих программ. Если перефразировать известное выражение об оружии, то можно сказать, что не данные меняют практики – их меняют люди. Вы можете увидеть множество примеров в этой книге, которые подтверждают, что анализ данных о добавленной стоимости помогает увидеть способы изменить ситуацию к лучшему и повысить эффективность обучения. Он подтверждает известную всем ученикам истину: учитель имеет значение.
Целью своей работы с отчетностью по добавленной стоимости мы ставили улучшение ситуации. в этой книге мы описали многоэтапный процесс, опирающийся на информацию о добавленной стоимости, который поможет директорам и учителям обмениваться эффективными практиками, строить прочные взаимоотношения и разрабатывать стратегии по повышению успеваемости учеников. Мы также рассказали, что место жительства и семейное окружение ребенка определяют его местонахождение, но не говорят нам о том, куда он направляется. Зачем учителю продолжать работать с классом, в котором преобладают отстающие дети из неблагополучных семей, если поощряется лишь высокая успеваемость? Анализ данных о добавленной стоимости уравнивает шансы всех учеников (и всех учителей), отвечая на вопрос «что вы делали с вверенными вам учениками?», а не на вопрос «что за ученики вам достались?». Это инструмент XXI века, который позволяет измерять продуктивность.
Не окажется ли анализ данных о добавленной стоимости преходящей тенденцией – подобно подвесным проекторам, современным математическим концепциям и «управлению на местах»?[12] Это маловероятно – ведь информация, получаемая в ходе такого анализа, очень ценна для принятия ключевых решений. Конечно, существует опасность того, что эта могущественная информация будет использоваться исключительно как инструмент оценки преподавателей, а не как дополнительный ресурс для повышения качества преподавания.
Приведем практический пример. Недавно на собрании большой группы реформаторов один из выступающих спросил: «Кто из вас считает, что можно взять такой сложный процесс, как развитие интеллектуального капитала в ребенке, оценить его при помощи ежегодного тестирования, проанализировать вклад конкретных учителей в полученный результат, а затем на этом основании нанимать и увольнять учителей и устанавливать их зарплату?». Почти все собравшиеся подняли руки, потому что всем нам хочется быстро найти ответственных или виновных. Все становится проще, если вы можете свести какой-то процесс к понятным всем числам от 1 до 10. Однако очень вредно считать, что вся сложность преподавания может быть сведена к этим оценкам, потому что это совершенно не так.
Может ли анализ данных о добавленной стоимости помочь в вопросах отчетности, определения уровня заработной платы и оценки педагогов? Безусловно да! Было бы ошибкой сводить его лишь к чему-то одному из перечисленного или к какому-то одному улучшению. Так же как качество изображения повышается при использовании в его создании большего количества пикселей, так и наша оценка преподавания становится более точной при использовании в ней множества показателей.
В результате развернувшейся за время написания этой книги инициативы «Гонка за первенство» («Race to the Top» – RttT), один из пунктов которой непосредственно связан с эффективностью учителей и школьных руководителей, сегодня анализ данных о добавленной стоимости становится важнейшим свидетельством эффективности нашей работы. Появившаяся в 80-х годах прошлого столетия надбавка за эффективность, и даже само понятие продвижения по карьерной лестнице часто отходили на второй план, потому что в их основе лежали только субъективные данные. Фонд Билла и Мелинды Гейтс запустил «Проект показателей эффективного преподавания», целью которого является помощь в выявлении факторов, оказывающих наибольшее влияние на обучение. Они проводят эксперименты, и вычисления на основе данных о добавленной стоимости становятся богатым источником информации и независимых показателей. они ищут различные взаимосвязи, например, связь между ученическим восприятием учителя и академическим прогрессом этого ученика. Они используют цифровые панорамные камеры в классах, чтобы попытаться найти ответ на вопрос «что делают учителя, чтобы добиться прогресса?».
Мы считаем, что последовательный подход к импрувменту, который мы пропагандируем в этой книге, будет способствовать распространению концепции анализа данных о добавленной стоимости для повышения эффективности педагогов. Анализ отчетов по добавленной стоимости должен помогать находить, расследовать и исправлять, а не просто называть, обвинять и стыдить. Конечно, это потребует значительных усилий по преобразованию, а также ресурсов, включая такой важный из них, как руководство.
Точно так же как учитель имеет значение, имеет значение и руководство. Без эффективного лидерства невозможно формирование культуры преобразований к лучшему, о которой мы говорим в этой книге. Идет ли речь о директорах школы? В конце концов, именно они решают, какие использовать отчетные данные, выделять ли время на совместную работу и обсуждения, создавать ли рабочие группы, проводить ли исследования и наказывать ли провинившихся. Школьная культура в большой степени находится под влиянием директора школы. Однако работа команды оптимистично настроенных и готовых к реформам педагогов, построенная исключительно вокруг личности директора, оказывается довольно сложной и дает неустойчивые результаты. Конечно же, наиболее эффективной моделью работы является тесное сотрудничество и взаимодействие руководителей, учителей и других участников образовательного процесса, действующих в целях повышения успеваемости учащихся.
Задача лидера – добиться доверия, особенно в отношении использования отчетных данных. Нам встречались лидеры, способные инициировать и вести дискуссии на тему улучшений. Такие лидеры формируют доверительную атмосферу, в которой сотрудники испытывают энтузиазм и любопытство, а также применяют данные о добавленной стоимости, позволяющие действовать и добиваться выдающихся результатов в обучении. Это лидеры, которые в первую очередь концентрируются на сильных сторонах и в то то же время способны инициировать обсуждения или предпринимать конкретные действия, благодаря чему в итоге происходят реальные изменения к лучшему. Невозможно переоценить важность настоящего лидерства в деле формирования атмосферы, которая придает силы, вселяет надежды, поощряет обсуждения и поддерживает действия, приносящие реальную пользу ученикам.
Наш опыт работы в школьных округах помогает нам выявлять педагогов, постоянно добивающихся значительного прогресса – ежегодно для различных групп учеников. В результате многочисленных бесед с такими педагогами и проведения ряда исследований мы пришли к нескольким важным выводам. Дело в том, что мастерство педагога не является неким набором стандартных действий, которые, будучи сформулированы на бумаге и затем реализованы на практике, гарантированно приведут к повышению успеваемости учеников. Учеба не должна быть противоположностью таких понятий, как энтузиазм и интерес, и ее результаты не ограничиваются правильным выбором варианта ответа при прохождении теста. Мы получили множество подтверждений тому, что эффективный педагог – это тот, кто способен построить прочные взаимоотношения с учениками, кто имеет все основания ожидать от них продуктивности, на чьем уроке царит дисциплина, но кто умеет проявить гибкость, чтобы добиться наилучших результатов в обучении. Хорошую работу педагога можно сравнить с последовательностью кинокадров, образующих в совокупности фильм, а не набор разрозненных изображений. То есть эффективная педагогическая деятельность – это процесс.
Будут ли ученики трудиться усерднее, если они видят в учителе товарища и наставника, действительно радеющего за их результаты? Конечно, будут. Однако учитель должен найти баланс между товариществом и наставничеством. Например, можно быть в наилучших отношениях с учениками, не предъявляя им никаких требований, но это вряд ли принесет им пользу. В то же время если учитель превращает обучение в постоянную гонку за продуктивностью, то атмосфера в классе становится напряженной и ученики нередко теряют мотивацию, опускают руки. Эффективные педагоги при помощи четких последовательных действий формируют атмосферу, которая дает прекрасные результаты научения школьников.
Могут ли другие учителя у них научиться? Конечно, могут. Одно из важнейших преимуществ анализа данных о добавленной стоимости в том, что в сочетании с другими источниками информации он позволяет выявить этих великих учителей и учиться у них. От школы к школе можно обнаружить огромное разнообразие эффективных педагогических стратегий и методов. Великие учителя есть везде, главное – найти их, предоставить возможность таким учителям использовать свой талант на пользу другим, а их коллегам – учиться у них. Работа таких педагогов идеально соответствует семиэтапному процессу оценивания (см. с. 33), который мы описали на страницах этой книги. это личности, способные помочь другим мыслить критически. Для этого целесообразно использовать приведенные выше диаграммы Исикавы, чтобы определить конкретные глубинные причины отчетных результатов и найти способы улучшить ситуацию.
Мы бы хотели завершить книгу рассказом об одном профессоре, известном своими высокими ожиданиями в отношении работ своих учеников. Когда ученик этого профессора сдает ему первый вариант работы, он получает его обратно с предписанием упростить ее и сделать более понятной. Второй вариант работы возвращается от профессора с такими же инструкциями. Только после трех возвратов профессор соглашается впервые прочитать работу!
Мораль здесь в том, что совершенствование – это процесс. Наша пошаговая структура импрувмента позволяет педагогам искать доказательства, задавать вопросы, делать предположения, формулировать теории, предпринимать действия – и повторять это снова и снова, чтобы помочь ученикам в их учебе. Возможности для улучшений – это постоянно расширяющееся пространство, которое открывается педагогам, действующим на основании самой достоверной из доступной им информации.
Агрегированные данные: сведенные в один массив данные, собранные по отдельным организациям системы.
Агрегированный отчет по добавленной стоимости: сравнивает показатели прогресса учеников по годам обучения во всех школах округа.
Анализ данных о добавленной стоимости: статистическая методология, применяемая для измерения прогресса учеников.
Влияние школы или средний NCE-прирост: средний показатель влияния, оказываемого школой на прогресс учеников конкретного года обучения в конкретной предметной области.
Дезагрегированные данные: данные, разбитые на меньшие части, позволяющие анализировать результаты по малым подгруппам. Данные по целому году обучения (классу) могут быть детализированы по подгруппам учащихся каждого учителя.
Импрувмент: постоянный процесс повышения качества школьного образования.
Когорта: группа или подгруппа людей или предметов. Пример когорты учеников – группа учеников, состоящая из всех учеников школы определенного года обучения.
Наблюдаемые баллы: фактические баллы, набранные учениками по итогам тестирования.
Научение (learning): постоянное изменение самого себя вследствие переживаемого личного опыта прочитанного, услышанного, увиденного, содеянного и т. д., т. е. изменение себя вследствие устойчивой ежеминутной рефлексии как самонаучения через переживание как единицы психического развития.
Паттерн: устойчивый случай (образец), типичный образец.
Прогресс: повышение способности учеников к научению, выражающееся в величине прироста показателей, достигнутого учеником за академический год.
Прогресс выше ожидаемого: классификация перформанса, относящаяся к учителю, школе или округу, которые добиваются роста успеваемости учеников, значительно превышающего ожидаемые уровни прогресса.
Прогресс ниже ожидаемого: классификация перформанса, относящаяся к учителю, школе или округу, рост успеваемости в которых оказывается ниже ожидаемых уровней.
Стандарт прогресса: установленные вышестоящими инстанциями стандарты ожидаемой величины прогресса для конкретного года, с которыми сравнивается величина прогресса ученика за данный год.
Стандартная ошибка: статистический показатель, указывающий степень неопределенности относительно оценивания среднего роста успеваемости. В общем случае чем меньше величина стандартной ошибки, тем более точной является оценка. При использовании данных о результатах тестов группы учеников для определения показателя прогресса этот показатель всегда сопровождается показателем стандартной ошибки.
Школьный диагностический отчет: отчет, содержащий сравнительные данные о прогрессе учеников, организованные по году обучения и предметной области. Отчет показывает прогресс по сравнению с уровнем успеваемости прошлых периодов. Также отчеты могут быть сформированы для подгрупп, разделенных в соответствии с показателем надлежащего годового прогресса (adequate yearly progress – AYP).
Школьный отчет по добавленной стоимости: предоставляет агрегированные показатели прогресса учеников школы по предметам, по которым проводится тестирование. отчет показывает прогресс учеников по году обучения и предмету.
Эквиваленты кривой нормального разброса (NCE): баллы NCE представлены на шкале с равными интервалами от 1 до 99. Свойство равноинтервальности шкалы NCE позволяет манипулировать результатами групповой успеваемости за несколько лет.
Bill & Melinda Gates Foundation. Speech to the National Conference of State Legislatures. 2009, July. Retrieved from <http:// www.gatesfoundation.org/speeches-commentary/Pages/bill-gates-2009-conference-state-legislatures.aspx>.
Boston Public Schools. High school restructuring. Boston: Author, 1998. March 9.
National Commission on Excellence in Education. A nation at risk: The imperative for educational reform. Washington, DC: U.S. Government Printing Office, 1983.
U.S. Department of Education. Race to the top program executive summary. CFDA No. 84.395. 2009. Retrieved from <http://www. ed.gov/programs/racetothetop/index.html>.
University of Tennessee Value-Added Research and Assessment Center. Graphical summary of educational findings from the Tennessee Value-Added Assessment System. Knoxville: University of Tennessee, 1997.
Performance
Надлежащий ежегодный прогресс. –
Концепция зоны безопасности (safe harbor) была принята в рамках закона No Child Left Behind Act (NCLB). Это своего рода льгота, которая позволяет одной или нескольким группам школьников в рамках школы иметь результаты тестов ниже установленного норматива при условии, что эти школьники демонстрируют достаточный ежегодный прогресс в учебе, а показатели школы в целом соответствуют нормативам надлежащего годового прогресса (AYP). –
No Child Left Behind Act (NCLB) – закон принят конгрессом США в 2001 г., поддерживает реформу образования, предполагающую внедрение стандартов и установление измеримых целей, которые призваны улучшить индивидуальные результаты обучения учащихся. –
Всеобщие промежуточные оценки – система оценок в масштабе штата или школьного округа. Такая промежуточная оценка успеваемости получается путем расчета на основании текущих оценок учеников либо производится по результатам специальных тестов. Тестирование или расчеты проводятся в установленные для каждой дисциплины интервалы – ежеквартально, каждые шесть недель или по окончании каждого блока учебной программы. –
Поздняя среда (late-start Wednesday) – традиция, принятая в ряде американских школ, когда учеников один раз в неделю просят приходить в школу на 30 минут позже. Эти полчаса перед занятиями преподавательский состав школ использует для обучения новым практикам и совместного решения вопросов повышения уровня образования. –
Собрания сообществ по профессиональному научению (professional learning communities) – различные форматы внутреннего совместного обучения и повышения эффективности работы школ. Часто имеют форму рабочих групп, в которых обсуждаются и совершенствуются учебные программы и учебные задания для учащихся. –
BFK – Battelle for Kids.
Американская частная компания – разработчик программного обеспечения, названная в соответствии со своим главным продуктом – Statistical Analysis System (система статистического анализа). –
Эквивалент кривой нормального распределения (Normal Curve Equivalent – NCE) – способ стандартизации баллов, полученных на экзаменах (тестах), разработан в 1976 г. компанией RMC Research Corporation для Департамента образования США. –
Ее можно найти на сайте компании SAS: <www.sas.com/en_us/industry/ k-12-education/evaas.html>.
Site-Based Management (SBM) – «Управление на местах» – популярная в 1990-х годах концепция децентрализации управления и передачи полномочий принятия решений школьным советам. –