Понятие экспертизы в последнее десятилетие получило достаточно широкое распространение в практике: «экспертиза инновационного проекта», «экспертиза опытно-экспериментальной работы», «экспертиза авторских программ», «экспертиза урока». В регионах формируется многоуровневая система экспертной службы: экспертные советы создаются и работают в отдельных образовательных учреждениях, в районных органах управления и информационно-диагностических центрах, в институтах повышения классификации. Экспертная деятельность рассматривается и как важная составляющая профессиональной деятельности: экспертные функции вводятся в должностные обязанности целого ряда специалистов. Разрабатываются и реализуются учебные программы профессиональной подготовки экспертов.

В этой связи возникает вопрос о том, не является ли понятие экспертизы очередным модным словом, описывающим хорошо известные, традиционные процедуры и явления.

Экспертная деятельность - особый вид профессиональной деятельности, которому и посвящена данная работа. (Мкртычян, 2002)

I. Общая характеристика методов экспертной оценки

Экспертные методы, или ме-тоды понимания (по традиции, они часто фигурируют под названием «клинические методы»). К ним относятся проективные и диалоговые методы. Экспертные методы в большей степени рассчитаны на професси-ональный опыт, психологическую интуицию самого психодиагноста. Эти методы оказываются незаменимыми везде, где не разработаны (или неизвестны) стандартизованные процедуры. Они часто оказы-ваются более эффективными по отношению к психическим явлени-ям, плохо поддающимся объективации (субъективные переживания личностные смыслы, глубинные слои опыта), по отношению к чрез-вычайно изменчивым явлениям, для которых трудно создать фикси-рованную операциональную модель (динамика целей, состояний, на-строений, многоплановых отношений в группе). Если их применяет эксперт высокой квалификации, они оказываются более надёжным средством в случае индивидуальной диагностики. Кроме того, не сле-дует забывать, что глубокий экспертный анализ - необходимый пер-вичный этап в разработке всякой стандартизованной процедуры. По мере стандартизации экспертные методы также подлежат количествен-ному обоснованию. (Бодалев, 2000)

Основные понятия

Эксперт - 1. сведущее лицо, приглашаемое в спорных или трудных случаях экспертизы

2. специалист, дающий заключение при рассмотрении определенного вопроса.

Экспертиза - исследование и разрешение при помощи сведущих людей какого-либо вопроса, требующего специальных знаний, например, врачебная, бухгалтерская, судебно-медицинская, педагогическая экспертизы.

Экспертиза психологическая - привлечение специалистов-психологов для решения вопросов в практике судебно-следственных органов, органов здравоохранения, социального обеспечения, образования и трудоустройства.

Экспертная оценка - мотивированное экспертное суждение. Возможны индивидуальные, групповые и коллективные экспертные оценки. Индивидуальные оценки могут быть получены с помощью ранжирования, бальной и парной оценок.

Метод групповых экспертных оценок (коллективная экспертная оценка, метод «Дельфи» О.Хелмера) применяется для принятия важных экспертных заключений. Для получения обобщенного суждения экспертов, проверки согласованности ранжирования используют коэффициент ранговой корреляции Ч.Спирмена либо коэффициент конкордации.

Экспертная система - система искусственного интеллекта, включающая базу знаний с набором правил и механизмов вывода, позволяющая на основании правил и представляемых пользователем фактов распознать ситуация, поставить диагноз, сформулировать решение или дать рекомендацию для выбора действия. Знания экспертов являются источником формирования баз данных.

Экспертное заключение - документ, принимаемый в результате экспертной оценки.

Экспертный метод - комплекс логических и математических процедур, направленный на получение от экспертов информации, ее анализ и обобщение с целью подготовки и принятия компетентного решения. Суть метода состоит в проведении экспертами анализа проблемы с качественной и количественной обработкой результатов индивидуальных экспертных оценок.

Этапы экспертной оценки - взаимосвязанные между собой процедуры, с помощью которых реализуется экспертный метод. Начальный этап включает определение цели и задач, которые должны быть решены экспертами, меры ответственности и прав рабочей группы, сроков проведения экспертизы, подбор экспертов для проведения экспертизы, определение их компетенции. Следующий этап - важнейший заключительный этап экспертной оценки, обеспечивающий основу для компетентного решения.

Ситуация экспертизы - ситуация, когда субъект привлекается к диагностике (например, уровня психического развития человека, причин отклоняющегося поведения подростка, состояния преступника в момент совершения преступления, профессиональной пригодности и т.д.) обязательным (принудительным) образом по административному запросу воспринимает ее как экзамен. (Белобрыкина, 2005)

Статус эксперта - совокупность прав и обязанностей, полномочия и ответственность эксперта. (Крулехт, 2002)

Основные этапы экспертизы

Метод экспертных оценок имеет логически взаимосвязанные этапы, которые являются основными этапами экспертизы.

Начальный этап (организация экспертизы) включает:

§ Определение цели и задачи экспертизы, постановку проблемы.

§ Определение меры ответственности, прав и полномочий рабочей группы экспертов.

§ Установление сроков проведения экспертизы.

§ Подбор экспертов, формирование экспертных групп (при необходимости определение их компетентности)

Основной этап экспертизы связан со сбором данных, проведением исследовательской работы и экспертной оценкой, анализом имеющегося материала. Технология экспертизы, использование совокупности методов и критериев оценки зависят от характера экспертизы, области ее применения.

Экспертная оценка является результатом аналитической деятельности, основана на умении видеть и разрешать противоречия, прогнозировать, предвидеть и находить нестандартные решения.

Завершающий этап экспертизы - опрос экспертов (индивидуальный или групповой; личный, очный или заочный; устный или письменный), оформление документа (отчет, справка, рецензия и пр.), принятие экспертного заключения - основы для компетентного управленческого решения. (Крулехт, 2002)

Г.А. Мкртычян предлагает другую последовательность этапов экспертизы. В связи с оформлением нового опыта в ходе экспертизы выделяются и развернуто осуществляются следующие этапы:

§ Фиксация сведений о новом опыте.

§ Его феноменально-концептуальная реконструкция

§ Построение исходной абстракции как средства экспертизы

§ Конкретизация абстракции как средства экспертизы

§ Конкретизация абстракции с последующим контрольным сопоставлением концептуальной реконструкции с феноменально-процессуальной.

Предлагаемая О.С. Анисовым схема экспертной деятельности состоит из следующих этапов: (Мкртычян, 2002)

Рис.1. Этапы экспертной деятельности

Признаки и особенности экспертизы

Известно, что в каждой конкретной сфере деятельности экспертиза имеет свои специфические задачи, методику, критерии, организацию и процедуру проведения. Однако представляется возможным выделение ряда общих признаков, объединяющих разнообразные специальные виды экспертизы и позволяющих рассматривать ее как достаточно самостоятельный вид профессиональной деятельности.

Первый такой признак связан с характером инициирования. Потребность в проведении экспертизы возникает в реальной профессиональной деятельности при решении задач, требующих специальных (экспертных) знаний. Инициирование экспертизы осуществляется заказчиком, имеющим общей целью использование экспертного знания для решения определенных экспертных задач.

Рис.2. Взаимоотношения различных составляющих экспертной деятельности

Как видно из рис.2. экспертная деятельность может осуществляться при наличии трех основных составляющих:

- объекта экспертизы

- заказчика экспертизы

- эксперта

В качестве объекта экспертизы выступает реально выполняемая профессиональная деятельность, в ходе которой возникают затруднения, проблемы, вопросы, для разрешения которых необходимо привлечение эксперта как носителя специального знания.

Вторая особенность любой экспертизы заключается в требованиях к уровню специальной подготовленности эксперта. Общепризнанно, что статус эксперта предполагает высокий уровень профессионализма. Высокий профессионализм экспертов является необходимым условием и основанием объективности экспертного заключения.

И третья принципиальная особенность экспертизы связана с характером использования экспертного заключения. Несмотря на всю значимость и авторитетность такого заключения, оно имеет сугубо рекомендательных характер может быть принято полностью, частично или отвергнуто инстанцией, принимающей решение. Обусловлено это рядом обстоятельств:

1. Экспертное исследование зачастую имеет локальную, узкоспециальную направленность.

2. При принятии управленческого решения анализируются и обобщаются не только результаты экспертных исследований, но и весь комплекс условий реализации данной профессиональной деятельности. (Мкртычян, 2002)

II. Запрос и область применения экспертного метода в психодиагностике

В педагогике область применения научно-педагогической экспертизы весьма обширна. Онп связана прежде всего с необходимостью компетентно оценить предлагаемые новые учебникии учебные пособия. Прежде чем они увидят свет и будут изданны массовым тиражом, целесообразность публикации оценивают рецензенты.

Для оценки актуальности, научной новизны, теоретической и практической значимости научных исследований по педагогике диссертационные советы, где происходят защиты диссертаций, назначают оппонентов, выполняющих экспертные функции. Их положительные заключения являются основанием для присвоения научных степеней.

Экспертной оценки требуют и стандарты образования. Согласно Закону Российской Федерации «Об образовании» государственные образовательные стандарты разрабатываются на конкурсной основе и утверждаются на уровне правительства по заключению экспертов. Экспертная оценка служит исходным основанием для научного прогнозирования путей развития системы образования, принятия как государственных, региональных программ, так и программ развития конкретных образовательных учреждений.

Экспертиза может проводится по представленным документам. Значимость экспертных оценок в образовании, необходимость научно-педагогической экспертизы возросли в последние годы. Это связано с теми изменениями, которые произошли в системе образования. Способность принять верное управленческое решение на основе научно-обоснованной экспертной оценки - одно из важнейших профессиональных умений менеджера образования как специалиста.

Новым в педагогической практике является аттестация и аккредитация дошкольных учреждений, механизм осуществления которых основан на научно-педагогической экспертизе.

Диагностическая оценка фактических результатов позволяет регулировать и корректировать педагогический процесс, поведение и деятельность всех участников. (Крулехт, 2002)

III. Требования к методам экспертной оценки и эксперту

Требования к методам экспертной оценки

а) должны быть однозначно сформулированы цели, предмет и область применения методики. Предмет, диагностический конструкт (концепт), должен быть сформулирован в теоретических понятиях и соотнесен на теоретическом уровне с системой релевантных концеп-тов. Должна быть четко выделена область применения, под которой подразумевается особая социальная среда или сфера общественной практики (производство, медицина, семейная жизнь и т. п.), контин-гент испытуемых (пол, возраст, образование, профессиональный опыт, должностное положение). Должны быть конкретизированы цели ис-пользования результатов: для прогноза успешности профессиональ-ной деятельности, для психологического вмешательства, для приня-тия правовых, административных решений, для прогноза стабильно-сти коллектива и т. п.; инструкции по применению снабжаются указанием на тре-буемую квалификацию экспертов, их необходимое количество для получения надежных данных по методу независимых оценок;

б) инструкции по применению должны пройти специальные ис-пытания на однозначность их выполнения экспертами по отношению к некоторому эталонному набору данных (текстов, рисунков, звуко-или видеозаписей и т. п.);

в) процедура обработки результатов должна включать в себя та-кое документирование промежуточных этапов обработки, которое позволило бы перепроверить конечный результат другому эксперту;

г) пользователи-разработчики должны иметь возможность вос-произвести нормативное исследование по измерению экепертжж со-гласованности на эталонном наборе данных;

д) головная организация должна вести банк данных, обеспечивая подготовку пользователей и их переподготовку (в соответствии с пе-ресмотренными стандартами методики).

Любая методика, неудовлетворяющая перечисленным выше тре-бованиям, не может считаться профессиональной психодиагностичес-кой методикой. Методики должны проходить аттестацию в рамках головных методических организаций в обязанности которых входит составление библиотек «аттестованных психодиагностических мето-дик». Вся инструктивная литература по методикам, не прошедшим аттестацию, не может считаться пригодной для применения в практи-ческой психологии. Это не исключает возможность применения не-аттестованных методик в исследовательских целях. (Бодалев, 2000)

Общие требования, предъявляемые к эксперту

Достоверность экспертной оценки зависит от компетенции эксперта. Независимо от уровня экспертизы ее должны давать наиболее квалифицированные специалисты. Общие требования, предъявляемые к эксперту:

§ Компетентность

§ Креативность, развитые творческие способности. Позволяющие анализировать проблемные ситуации и находить пути разрешения противоречий

§ Отсутствие склонности к конформизму, принятию мнению большинства

§ Научная объективность

§ Аналитичность, широта и конструктивность мышления

§ Позитивное отношение к инновациям, отсутствие консерватизма, т.е стремления придерживаться однажды выбранной позиции.

Для независимой экспертизы весьма важна этика поведения эксперта, прежде всего его честность, неподкупность, ответственность.

Наиболее простым способом оценки компетентности экспертов является анкетирование, разработанное в логике «постадийного развертывания вопроса» (Г.Гэллап)

§ Вопрос-фильтр, позволяющий выявить осведомленность опрашиваемого в проблеме

§ Вопрос, направленный на выявление общего отношения опрашиваемого к проблеме (открытый, не предусматривающий вариантов выбора ответа)

§ Вопрос для получения ответа по конкретному аспекту проблемы (закрытый, предполагающий варианты готовых ответов)

§ Вопрос, позволяющий выявить причины взглядов, мотивацию его суждений (полузакрытый)

§ Вопрос на выявление устойчивости взглядов опрашиваемого на проблему (в закрытой форме) (Крулехт, 2002)

Мкртычян выделяет следующие профессионально важные качества эксперта:

§ Профессиональные мотивы, цели, интересы

§ Профессиональные способности

§ Профессиональные самосознание

§ Профессиональный тип мышления

А также соответствующие профессиональные способности, охватывающие прежде всего сферу интеллектуальных действий эксперта:

1. Исследовательско-аналитические способности, обеспечивающие планирование и проведение эмпирических исследований, анализ их результатов.

2. Рефлексивные способности, понимаемые в данном контексте как способности к умственной реконструкции и моделирования эмпирического опыта.

3. Прогностические способности, обеспечивающие создание обоснованных прогностических моделей инновационного процесса и его участие в проектировании развития образовательного процесса.

4. Способности к диалоговому общению, взаимодействию, сотрудничеству со всеми участниками экспертного процесса. (Мкртычян, 2002)

Литература

1. Абрамова Г.С. Практическая психология. Учебник для студен-тов вузов -- Изд. 6-е., перераб. и доп. -- М : Акаде-мический Проект, 2001. -- 480с.

2. Белобрыкина О.А. Теория и практика психологической службы в образовании. - Новосибирск: НГПУ, 2005. - 508 с.

3. Введение гуманитарной экспертизы образовательных программ /Науч. рук. темы Д.А.Леонтьев. - М., 2004. http://www.prpc.ru/expert/pr_02.

4. Гуружапов В.А. Вопросы экспертизы современных образовательных технологий. Анализ и экспертиза в образовании //Психологическая наука и образование. - 1997, № 2 /http://www.psyedu.ru/view.php?id=308

5. Крулехт М.В., Тельнюк И.В. Экспертные оценки в образовании. - М.: Академия, 2002. - 112 с.

6. Ларичев О.И. Структуры экспертных знаний. «Психологический журнал»; 1995, № 3.

7. А.К. Маркова. Психология профессионализма.

8. Мкртычян Г.А. Психология экспертной деятельности в образовании: Теория. Методология. Практика. - Н.Новгород: НГЦ, 2002. - 182 с.

9. Общая психодиагностика /Под ред. Бодалева А.А., Столина В.В. СПб.: «Речь», 2000. - 440 с.

10. Об организации обучения в первом классе четырехлетней начальной школы: Инструктивное письмо. - М., 2003.

11. Попов Э.В. Экспертные системы: Решение неформализованных задач в диалоге с ЭВМ. - М.: Школа-Пресс, 1987. - 288 с.

12. Семаго М.М., Семаго Н.Я., Ратинова Н.А., Ситковская О.Д. Экспертная деятельность психолога образовательного учреждения. - М.: Айрис-Пресс, 2004. - 128 с.

13. Статистические методы анализа экспертных оценок /Под ред. Т.В.Рябушкина. -- М.: МГУ, 1977. - 384 с.

14. Тихомиров O.K., Гурьева Л.П. Психологическая экспертиза компьютеризованной психодиагностической деятельности. «Психологический журнал», 1992, № 1.

15. Швалб Ю.М. Психологическая экспертиза в системе образования //Правоведение. - 1971, № 2. - С.117-119.