• Карта сайта
  • Сделать стартовой
  • Добавить в избранное

  •   ГЛАВНАЯ СТРАНИЦА МАТЕРИАЛЫ НОВОСТИ ТЕХНОЛОГИИ ЭЛЕКТРОННЫЕ КУРСЫ

    РЕКЛАМА

    Статьи и обзоры

    Методики оценки обучения: теория и практика

    Эта статья – отголосок постоянно ведущихся дебатов в области оценки: о том, какой именно метод надо применять, чтобы лучше учесть все задействованные процессы. Рассмотрены имеющиеся в настоящий момент методы оценки, как в теории, так и на практике. Особое внимание уделено комплексным методикам, связанным с практикой оценки и то, какую поддержку они находят в теории. Кроме того, обсуждаются возможности использования автоматизированных систем для улучшения процесса оценки, расширение диапазона и повышение точности собираемых данных. Приводятся также рекомендации для следующих исследований.

    Введение

    Оценка – составная часть большинства моделей педагогического дизайна (instructional design - ID). Средства оценки и методологическая помощь определяют эффективность педагогических действий. Несмотря на важность, есть свидетельства, что оценки учебных часто неполны или вообще отсутствуют (Carnevale & Schulz, 1990; Holcomb, 1993; McMahon & Carter, 1990; Rossi et al., 1979). Возможные объяснения неадекватности оценки бывают следующими: недостаточность выделенного бюджета, нехватка времени, отсутствие экспертизы, слепое доверие образовательной методике, отсутствие методов и инструментов (см. например, McEvoy & Buller, 1990).

    Частично это можно объяснить тем, что задача оценки сложна сама по себе. При оценке обучения мы вынуждены учитывать множество сложных факторов, учитывая влияние наряду с преподаванием и передачей знания, еще и организационные факторы. Эта сложность связана с динамикой этих факторов и их взаимодействием при множественности измерений и атрибутов – организационных целей и целей обучения, тренерами, ситуациями учебного процесса, педагогическими технологиями.

    Задачи оценки включают много целей на разных уровнях. Это и оценка обученности студентов, и оценка учебного материала, и оценка процесса проведения обучения, и возврат от инвестиций, и много другое. Для решения этих задач может потребоваться участие многих людей из различных подразделений организации. Кроме того, не все цели могут быть четко определены, а зачастую – и меняются на ходу.

    Ниже показано, как различные методики оценки обучения учитывают сложность этих факторов. Кроме этого, высказывается мнение, какие технологии могут быть использованы для поддержки этого процесса. В следующем разделе обсуждаются различные подходы к оценке обучения и связанные с ними модели. Потом представлены исследования процесса оценки на практике. В последней главе обсуждаются возможности автоматизированных систем оценки. И в заключении приведены рекомендации для будущих исследователей.

    Методики оценки обучения

    Наиболее часто используемые методики оценки уходят своими корнями в систематические методики педагогического дизайна (СПД модели). Таковы типизированные методологии разработки образовательных систем, появившиеся в США в 50-х и 60-х годах, представленные в работах  Gagne and Briggs (1974), Goldstein (1993), и Mager (1962). Оценка в систематических методиках обычно является завершающей стадией, перед которой ставится цель определить: как можно улучшить процесс (формативная оценка) или сделать вывод о его ценности и эффективности (суммативная оценка) (Gustafson & Branch, 1997). Более поздние СПД модели включают оценку непосредственно в процесс (например, Tennyson, 1999).

    Можно определить следующие шесть основных методик образовательной оценки (Bramley, 1991; Worthen & Sanders, 1987):

  • Оценка по цели
  • Оценка, независящая от цели
  • Оценка реакции
  • Системная оценка
  • Профессиональное интервью
  • Квазилегальная оценка

    Целевые и системные методики наиболее часто используются в оценке обучения (Philips, 1991). Множество систем оценки учебных программ основываются именно на этих двух методиках. Самая авторитетная система была предложена Киркпатриком (Kirkpatrick)  (Carnevale & Schulz, 1990; Dixon, 1996; Gordon, 1991; Philips, 1991, 1997). Работа Киркпатрика породила генерацию множества сопутствующих работ (Bramley, 1996; Hamblin, 1974; Warr и др., 1978). Модель Киркпатрика (1959) следует методике оценки по цели и основана на четырех простых вопросах, которые трансформируются в четыре уровня оценки. Эти четыре уровня широко известны как реакция, усвоение, поведение и результат. С другой стороны, многие модели используют системную методику. Такими являются: CIPP-модель (контекст, ввод, процесс, продукт) (Worthen & Sanders, 1987); Методика валидации обучения (TVS) (Fitz-Enz, 1994); IPO-модель (ввод, процесс, вывод, итог) (Bushnell, 1990).

    Таблица 1 представляет сравнение некоторых системных моделей (CIPP, IPO и TVS) с целевой моделью (Киркпатрик). Модель, основанная на цели, может помочь практикам в обдумывании задач оценки в диапазоне от чисто технических вопросов до скрытых политических идей. С другой стороны, эти модели не определяют шаги, необходимые для достижения целей и не нацелены на использование результата для улучшения обучения. Трудность для практиков в таких моделях представляет и выбор и применение правильных оценочных процедур (количественных, качественных, или смешанных). Из-за их очевидной простоты, «тренеры сломя голову бросаются использовать такие модули, вместо того, чтобы потратить немного времени на обдумывание своих требований и ресурсов, или для определения того, как применить модель и полученные результаты» (Bernthal, 1995, стр. 41). Обычно, многие организации не используют модель целиком, и заканчивают оценку обучения на уровне реакции, или, в лучшем случае, на уровне усвоения. Как только уровень оценки повышается, так сразу увеличивается сложность. Именно этим можно объяснить, почему используются только первый и второй уровни.

    Киркпатрик (1959)CIPP-модель (1987)IPO-модель (1990)TVS-модель (1994)
    1. Реакция: сбор данных о реакции участников в конце учебной программы 1. Контекст: получение информации о ситуации для выбора необходимости обучения и определения задач программы1. Ввод: оценка показателей эффективности системы, таких как: квалификация тренеров, доступность материалов, уместность обучения и т.д.1. Ситуация: сбор данных перед обучением для определения текущих уровней производительности и качества в организации и определения необходимых в  будущем уровней
    2. Усвоение: какие именно задачи обучения выполнены

    2. Ввод: определение образовательных стратегий, наиболее подходящих для достижения требуемого результата2. Процесс: определение  плана, дизайна, процесса разработки и проведения учебной программы2. Интервенция: определение несоответствия между текущей и требуемой производительностью, и поиск подходящего решения по обучению для исправления ситуации
    3. Поведение: оценка того, какие изменения в производительности труда явились результатом обучения3. Процесс: оценка внедрения учебной программы3. Вывод: сбор информации о результатах учебного процесса3. Влияние: оценка различий между данными до обучения и после обучения
    4. Результат: оценка соотношения затраты/выгода для учебной программы, т.е. организационное влияние в терминах уменьшения затрат, увеличения качества, уменьшения количества работающих, и т.д.4. Продукт: сбор информации о результатах учебного процесса в интерпретации их стоимости и значимости4. Итоги: долговременные результаты, связанные с улучшением основных корпоративных показателей – доходность, конкурентоспособность и т.д.4. Значение: измерение разности в качестве, продуктивности, сервисе или продажам, в общем все, что можно выразить в долларах


    Таблица 1. Основанные на цели и системе методики оценки обучения

    С другой стороны, системные модели (такие, как CIPP, IPO, и TVS), возможно дают больше для оценки общего контекста и ситуации, но не обеспечивают требуемую детализацию. Системные модели, возможно, не отражают динамического взаимодействия между дизайном и оценкой обучения. Лишь немногие из таких моделей обеспечивают детальное описание тех процессов, которые происходят на каждом шаге. Ни одна не дает инструментов для оценки. Кроме того, эти модели не нацелены на совместный процесс оценки, то есть на различие ролей и уровня ответственности людей во время ее проведения.

    Современная практика оценки обучения

    Значимость оценки становится важной, если понять например, что в то время, как американская промышленность тратит до 100 миллиардов долларов на обучение и развитие, и при этом «не более 10 процентов этих затрат реально трансформируются в работу» (Baldwin & Ford, 1988, стр.63). Это может быть объяснено отчетом, что не все учебные программы бывают полностью оценены (Carnevale & Shulz, 1990). Американское общество обучения и развития (ASTD) выяснило, что только 45 процентов опрошенных организаций определяют реакцию обучающихся (Bassi & van Buren, 1999). В целом, 93% учебных курсов оцениваются по уровню 1, 52% - по уровню 2, 31% - по уровню 3 и только 28% - по четвертому уровню. Эти данные ясно показывают тренд процесса оценки в сторону простого и поверхностного анализа.

    Эта ситуация, кажется, ничем не отличается и в Европе, если судить по двум проектам Европейской комиссии, в процессе которых были собраны данные по текущим процессам оценки в Европе. Первый из них – это проект Обеспечение добавленной стоимости через оценку (Promoting Added Value through Evaluation - PAVE), который проводился в рамках программы Леонардо Да Винчи в 1999 году (Donoghue, 1999). Были обследованы образцы организаций (малой, средней и большой), которые должны соответствовать некоторым требованиям по обучению и оценке, согласно стандартам Инвестирования в людей (Investors in People - IiP) для Великобритании (Sadler-Smith и др., 1999). Анализ ответов в процессе опроса в этих организациях показал, что формативная и суммативная оценка не имеют широкого распространения. С другой стороны, непосредственная и контекстная оценки используются более часто. В основном ответственными за оценку являются менеджеры, наиболее часто используемые методы – неформальная обратная связь и опросники. В основном респонденты оценивали влияние на производительность сотрудников (уровень усвоения). Менее трети респондентов оценивали влияние обучения на организацию (уровень результата). Оперативные причины оценки обучения назывались более часто, чем стратегические. Однако, информация, полученная в результате оценки, большей частью использовалась в качестве обратной связи отдельными людьми, реже для ревизии учебного процесса, и совсем редко – для оценки возврата от инвестиций. Также были выявлены статистически значимые эффекты влияния размера организации на практику оценки. Маленькие фирмы могут расширить оценку только в той степени, в которой им позволяют внутренние ресурсы организации. Возможно, менеджеры тут отвечают за все аспекты обучения (Sadler-Smith и др., 1999).

    Второе исследование проводилась в рамках проекта Продвинутых методик дизайна для персонального учебно-интерактивного инструментария (Advanced Design Approaches for Personalized Training-Interactive Tools - ADAPTIT). ADAPTIT – это европейский проект в рамках программы Технологии информационного общества, которая предоставляет методики дизайна и инструменты для педагогических дизайнеров в соответствии с последними достижениями когнитивистики и принципами стандартизации (Eseryel & Spector, 2000). Была проведена серия опросов в различных отраслях, включая транспорт, обучение, бизнес и производство. Участников спрашивали, какие действия они предпринимают в процессе оценки, включая производство внутренних продуктов, таких как лист изменений или план оценки. В целом, практики систематической и планируемой оценки не было нигде, так что говорить о различиях между формативной и суммативной оценки вообще не было смысла. Формативная оценка, кажется, выражена в неявном виде, в то время как суммативная оценка вообще полностью не производилась. Большинство действий было направлено на оценку успешности обучающихся (т.н. ассесмент), и очень мало результатов оценки любого типа было использовано для ревизии педагогического дизайна (Eseryel и др., 2001). Здесь важно отметить то, что большинство участников выражало потребность в оценочном ПО для поддержки своей практики.

    Использование компьютера для автоматизации процессов оценки

    Чтобы оценка имела глобальное и все более увеличивающееся влияние на разработку учебных программ, необходимо все шире вовлекать в нее внутренние ресурсы и персоналии: педагогических дизайнеров, тренеров, менеджеров по обучению и менеджеров по персоналу. Несмотря на то, что использование внешних специалистов дает преимущество достоверности, это выбор в силу времени и бюджета часто является непрактичным. Таким образом, мнение о том, что оценка – удел специалистов, приводит к тому, что оценка отсутствует вообще. Эти ограничения делают внутреннюю оценку предпочтительной и выгодной в плане стоимости. Однако, есть опасения, что внутренняя команда не обладает возможностями, требуемыми для проведения оценки, а если они все же делают ее – то как минимизировать «уклон» внутренних оценщиков. Поэтому, как необходимо использовать автоматизированные экспертные системы, как руководство при дизайне обучающих программ (Spector и др., 1993), так и нужно создавать такие системы для оценки обучения. Мотивацию использования технологий для поддержки процесса оценки обеспечивают недостаток педагогических дизайнеров для процесса экспертизы, необходимость увеличения производительности и требования по стандартизации. Такие системы могут также помочь в минимизации «уклона» внутренних оценщиков.

    Ross & Morrison (1997) определили две категории функций автоматических систем оценки, которые могут быть успешно внедрены. Во-первых, это автоматизация процесса планирования, путем оповещения экспертов и выдачи руководящих указаний, во-вторых, автоматизация процесса сбора данных.

    При автоматизации планирования может быть использована операционная или процедурная модель с планированием шагов для руководства оценщиками в плане проведения необходимых оценочных процедур. Экспертная программа собирает ключевую информацию от оценщиков и выдает рекомендации в соответствии с возможными стратегиями. Входной информацией для экспертной системы является:

  • Задача оценки (формативная или суммативная)
  • Тип целей оценки (когнитивная, аффективная, поведенческая, влияния)
  • Уровень оценки (реакция, усвоение, поведение, влияние на организацию)
  • Вид целей обучения (декларативное знание, процедуральное обучение, поведенческое)
  • Тип учебного мероприятия (в учебном классе, технологичное, смешанное)
  • Размер и тип групп участников (индивидуальное, малая группа, полная группа)

    На основе этих данных, экспертная система предлагает руководящие указания по возможным направлениям оценочного дизайна, подходящий набор методов, техники анализа данных, отчетные формы и стратегии распространения данных. Такие экспертные заключения могут быть реализованы в форме гибкой общей стратегии и руководящих рекомендаций («мягкая» методика советов). Учитывая сложность природы оценки, «мягкая» методика более подходит, чем «строгая», поскольку решения принимает не человек.  она призвана заменить человека, принимающего решения. Действительно, системы на основе «мягких» советов более успешны в тех случаях, когда они заменяют экспертизу с участием человека, особенно когда процесс состоит из сложных процедур (Spector и др., 1993).

    Для увеличения эффективности подобная система может также включать функцию автоматического сбора данных. Функциональность систем автоматического сбора данных может включать интеллектуальный подсчет результатов тестирования для процедурального и декларативного знания, автоматизацию интерпретаций индивидуальных профилей, интеллектуальные советы в процессе обучения (Bunderson и др., 1989). Эти приложения могут увеличивают возможности диагностики слабых и сильных сторон учебных программ и  формулировке соответствующих заключений. Особенно это важно при формативной оценке, поскольку означает, что учебная программа может непрерывно динамически улучшаться, по мере ее разработки.

    Автоматизированное планирование оценки и сбора данных, будучи включенным в стандартный набор инструментов педагогического дизайна, может стать очень эффективным и интегрированным решением для учебных организация. В такую систему полезно было бы также включить обеспечение оценки учебных материалов на основе обратной связи. И вообще, оценочные данные, индивидуальные показатели прогресса и ревизия элементов могут быть включены в учебную программу в качестве учебных объектов. Инструмент педагогического дизайна ADAPTIT – одна из таких систем, обеспечивающая интегрированное решение для учебных организаций (Eseryel и др., 2001).

    Выводы

    Различие методик, о которых рассказано выше, показывает, что процессы оценки обучения сложны и не всегда хорошо структурированы. И поскольку действия по оценке в процессе обучения включают множество различных задач, соответствующих разными уровням, то оценка должна видеться, по возможности, итогом совместной деятельности педагогических дизайнеров, менеджеров по обучению, преподавателей, линейных менеджеров, а возможно и кого-то еще.

    Есть потребность в унифицированной модели оценки, описывающей как теорию, так и практику и исследования, и объединяющей в себе как коллаборативную природу, так и сложность оценки. Ни одна из существующих моделей не может соединить вместе эти два аспекта оценки. Имеющиеся модели неприменимы в широком смысле и не могут обеспечивать инструментарий, который помог бы организациям в создании систем и процедур оценки. Неудивительно, что организации испытывают проблемы при разработке целостных оценочных методик. Только небольшой процент может похвастаться тем, что внедрил такой процесс оценки, как обратну¦ связь, в разработку учебных программ. Действия по оценке обычно ограничиваются опросными листками и тестированием студентов, без надлежащей ревизии учебного материала на основе результатов оценки. Возможно, одной из причин неполноты оценки является недостаток опыта. В этом случае организации, возможно, следовало бы нанять внешних экспертов, но это затратно по деньгам и времени. Реальность требует использования внутренних ресурсов и собственного персонала организации, в этом случае использование экспертных систем может быть очень успешным, так как обеспечивает экспертную поддержку и увеличивает мощь и эффективность оценки. Такие экспертные системы могут быть не менее успешны, чем внешние оценщики.

    Жесткие, полностью автоматизированные системы имеют очевидные преимущества, но их разработка и распространение сильно отстают от концептуального развития. Будущие исследования должны сосредоточиться на преодолении барьеров в оценке обучения, на том, как обучение должно быть оценено, как оценку интегрировать в процесс разработки, как управлять коллаборативным процессом оценки и в чем ему можно помочь. Это будет хорошей помощью как в разработке унифицированной теории оценки, так и в создании автоматизированных оценочных систем.

    Список литературы

  • Baldwin, T. T., & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Review, 26(3), 201-213.
  • Bassi, L. J., & van Buren, M. E. (1999). 1999 ASTD state of the industry report. Alexandria, VA: The American Society for Training and Development.
  • Bramley, P. (1996). Evaluating training effectiveness. Maidenhead: McGraw-Hill.
  • Bernthal, P. R. (1995). Evaluation that goes the distance. Training and Development Journal, 49(9), 41-45.
  • Bunderson, C. V., Inouye, D. K., & Olsen, J. B. (1989). The four generations of computerized educational measurement. In R. L. Linn (Ed.). Educational measurement (3rd ed.) (pp. 367-407). New York: Macmillan.
  • Bushnell, D. S. (March, 1990). Input, process, output: A model for evaluating training. Training and Development Journal, 44(3), 41-43.
  • Carnevale, A. P., & Schulz, E.R. (July, 1990). Return on investment: Accounting for training. Training and Development Journal, 44(7), S1-S32.
  • Dixon, N. M. (1996). New routes to evaluation. Training and Development, 50(5), 82-86.
  • Donoghue, F. (1999). Promoting added value through evaluation of training. Dublin: European Commission Leonardo-PAVE Project.
  • Eseryel, D., Schuver-van Blanken, M., & Spector, J. M. (2001). Current practice in designing training for complex skills: Implications for design and evaluation of ADAPT-IT. In C. Montgomerie & J. Vitelli (Eds.), Proceedings of ED-MEDIA 2001: World Conference on Educational Multimedia, Hypermedia, & Telecommunications (pp. 474-479). Tampere, Finland: Association for Advancement of Computing in Education.
  • Eseryel, D., & Spector, J. M. (2000). Assessing adaptive instructional design tools and methods in ADAPT-IT. In M. Crawford & M. Simonson (Eds.), Annual Proceedings of Selected Research and Development Papers Presented at the National Convention of the Association for Educational Communications and Technology (Vol. 1) (pp. 121-129). Denver, CO: Association for Educational Communications and Technology.
  • Fitz-Enz, J. (July, 1994). Yes…you can weigh training’s value. Training, 31(7), 54-58.
  • Gagne, R., & Briggs, L. J. (1974). Principles of instructional design. New York: Holton, Rinehart & Winston.
  • Goldstein, I. (1993). Training in organizations: Needs assessment, development, & evaluation. Monterey, CA: Brooks-Cole.
  • Gordon, J. (August, 1991). Measuring the “goodness” of training. Training, 28(8), 19-25.
  • Gustafson, K. L, & Branch, R. B. (1997). Survey of instructional development models (3rd ed.). Syracuse, NY: ERIC Clearinghouse on Information and Technology.
  • Hamblin, A. C. (1974). Evaluation and control of training. Maidenhead: McGraw-Hill.
  • Holcomb, J. (1993). Make training worth every penny. Del Mar, CA: Wharton.
  • Kirkpatrick, D. L. (1959). Techniques for evaluating training programs. Journal of the American Society of Training Directors, 13, 3-26.
  • Mager, R. F. (1962). Preparing objectives for programmed instruction. San Francisco, CA: Fearon Publishers.
  • McEvoy, G. M., & Buller, P. F. (August, 1990). Five uneasy pieces in the training evaluation puzzle. Training and Development Journal, 44(8), 39-42.
  • McMahon, F. A., & Carter, E. M. A. (1990). The great training robbery. New York: The Falmer Press.
  • Phillips, J. J. (1991). Handbook of training evaluation and measurement methods. (2nd ed.). Houston, TX: Gulf.
  • Phillips, J. J. (July, 1997). A rational approach to evaluating training programs including calculating ROI. Journal of Lending and Credit Risk Management, 79(11), 43-50.
  • Rossi, P.H., Freeman, H. E., & Wright, S. R. (1979). Evaluation: A systematic approach. Beverly Hills, CA: Sage.
  • Ross, S. M., & Morrison, G. R. (1997). Measurement and evaluation approaches in instructional design: Historical roots and current perspectives. In R. D. Tennyson, F. Scott, N. M. Seel, & S. Dijkstra (Eds.), Instructional design: Theory, research and models. (Vol.1) (pp.327-351). Hillsdale, NJ: Lawrence Erlbaum.
  • Sadler-Smith, E., Down, S., & Field, J. (1999). Adding value to HRD: Evaluation, investors in people, and small firm training. Human Resource Development, 2(4), 369-390.
  • Spector, J. M., Polson, M. C., & Muraida, D. J. (1993) (Eds.). Automating instructional design: Concepts and issues. Englewood Cliffs, NJ: Educational Technology Publications, Inc.
  • Tennyson, R. D. (1999). Instructional development and ISD4 methodology. Performance Improvement, 38(6), 19-27.
  • Warr, P., Bird, M., & Rackcam, N. (1978). Evaluation of management training. London: Gower.
  • Worthen, B. R., & Sanders, J. R. (1987). Educational evaluation. New York: Longman.

    Автор: Денис Эзерил (Deniz Eseryel), Университет Сиракуз

  • РЕКЛАМА

    СИСТЕМА УПРАВЛЕНИЯ ОБУЧЕНИЕМ WEBTUTOR
    Готовое решение для создания корпоративного Учебного Портала!!
    Система дистанционного обучения и тестирования
    Учебный портал
    Автоматизация работы корпоративного учебного центра
    Автоматизация процедур оценки персонала

    Более 500 российских компаний уже выбрало WebTutor!
    См. также:
    Дополнительная информация о продукте
    Демо-версия



    Copyright © 2003 www.distance-learning.ru
    e-mail: info@distance-learning.ru

    Дизайн: vladalex.ru
    Rambler's Top100 Рейтинг@Mail.ru