Определение степени трудности тестовых заданий является обязательной процедурой, с которой начинается анализ качества разрабатываемого теста. Основная цель анализа трудности заданий сводится к выбору оптимальных по сложности заданий, которые затем можно было бы упорядочить по нарастанию сложности. Тест не должен включать слишком легкие и слишком трудные задания. Обычно, если задачу решает большинство, ее помещают (как легкую) в начале теста. Если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста.

Трудность задания определяется числом правильных ответов на данное задание в сравнении с общим объемом выборки по формуле:

где - количество испытуемых, давших правильный ответ, - общее количество испытуемых.

Чем легче задание, тем выше этот показатель (А. Анастази,1982). Для большинства тестов принято, что задания с от 0,8 до 0,2 считаются удовлетворительными. То есть задачи, с которыми не справилось более 80% и менее 20% испытуемых, в тест не включают как мало полезные. Анастази считает, что уровень трудности должен иметь некоторый разброс, но в среднем он должен составлять 0,5. Именно в этом случае, тест обеспечивает лучшую дифференциацию результатов (см. ниже о дискриминативности теста).

Если при составлении теста необходимо расположить его задания в порядке возрастания трудности, то тогда необходимо сравнить насколько одна задача трудней другой. Для этого используют статистические критерии, специально предназначенные для оценки значимости различий. В данном случае, чаще используют критерий хи-квадрат Мак-Немары:

([b - c]-1)

= , где

b + c

где b - количество решивших первую задачу, но не решивших вторую,c - количество решивших вторую задачу, но не решивших первую.

При ?2 > 6,63 6,63 - это критическое значение критеря хи-квадрат с 1 степенью свободы и при ? = 1%. различия в индексах трудности двух задач следует считать достоверными.

Задание 1. Расчет индекса трудности заданий

Цель задания: овладение приемами расчета индекса трудности заданий и их сравнения.

Оснащение: микрокалькулятор, таблица первичных результатов (таблица №1).

Таблица №1

Первичные результаты исследования с помощью теста Равена

Испытуемый

Номер задания

Частота решаемости

Порядок работы:

Рассчитываем индексы трудности всех 12 задач.

По формуле ,

Номер задания	1	2	3	4	5	6	7	8	9	10	11	12
частота решения (Nn)	20	16	19	20	11	15	11	8	13	18	16	17

U1=20/20=1 U2=16/20=0,8 U3=19/20=0,95 U4=20/20=0,55 U5=11/20=0,55 U6=15/20=0,75

U7=11/20=0,55 U8=8/20=0,4 U9=13/20=0,65 U10=18/20=0,9 U11=16/20=0,8 U12=17/20=0,85

Выделяем задачи, индекс трудности которых оказался оптимальным или близким к оптимальному для данной выборки испытуемых. : № 2,№ 5,№ 6,№ 7,№ 8,№ 9,№ 11

Форма протокола

Номер задания	1	2	3	4	5	6	7	8	9	10	11	12
Индекс трудности	1	0,8	0,95	1	0,55	0,75	0,55	0,4	0,65	0,9	0,8	0,85
ранг трудности	1,5	6,5	3	1,5	10,5	8	10,5	12	9	4	6,5	5

Проранжировать задания по принципу возрастающей трудности.

Индекс трудности	1	1	0,95	0,9	0,85	0,8	0,8	0,75	0,65	0,55	0,55	0,4
ранг трудности	1,5	0,5	3	4	5	6,5	0,55	8	9	10,5	10,5	12
Номер задания	1	4	3	10	12	2	11	6	9	5	7	8

Сравнить индексы трудности самой трудной и самой легкой задачи, используя критерий Мак-Немары. Самые легкие задачи № 1 и № 4,так как их решили все. Самая трудная задача № 8,решили восемь человек. Сравним индексы трудности

([b - c]-1)2 ([12 - 0]-1)

= = = 10,083

b + c 12 + 0

Оформить протокол и сделать выводы о том, индекс трудности каких заданий оказался оптимальным для данной выборки испытуемых; какие задачи были самой легкой и самой трудной для них; какова достоверность различий между самой трудной и легкой задачей.

Вывод:10,083 больше, чем 6,63 значит, различия в индексах трудности следует считать достоверным.

2. ДИСКРИМИНАТИВНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ
Теоретическая справка

При разработке теста необходимо стремиться к тому, чтобы его задания как можно тоньше измеряли тестируемое свойство. Например, если в результате обследования почти все испытуемые получают примерно одинаковые результаты, то это означает, что тест измеряет очень грубо. Чем большее количество градаций результатов можно получить при помощи теста, тем выше его разрешающая способность. Мера тонкости измерения (или степень диффиренцируемости результатов) теста называется в психометрике дискриминативностью. Дискриминативность теста измеряется показателем дельта Фергюсона:

где N - количество испытуемых , n - количество заданий, fi - частота встречаемости каждого показателя.

Наименьшая дискриминативность теста при ? = 0, наибольшая при ? = 1.

Задание 2. Расчет индекса дискриминативности заданий.

Цель задания: овладение навыком расчета индекса дискриминативности.

Оснащение: микрокалькулятор, таблица первичных результатов (таблица №2).

Первичные результаты исследования по субтесту «Арифметические задачи», которые выполняли 122 испытуемых.

Таблица №2

Количество баллов	0	1	2	3	4	5	6	7	8	9	10	11	12
Частота встречаемости	0	0	1	4	1	3	4	5	6	4	8	7	11
Количество баллов	13	14	15	16	17	18	19	20	21	22	23	24	25
Частота встречаемости	6	10	8	9	7	6	5	5	4	4	0	3	1

Порядок работы:

1. Составьте таблицу.

2. Подсчитайте, как часто встречаются значения показателей для данного теста.

3. Возведите эти числа в квадрат и проссумируйте: ? f?.

4. Прибавьте 1 к количеству заданий: n + 1.

5. Возведите в квадрат количество испытуемых: N?.

6. Помножьте количество заданий на результат шага 4: n N?

7. Теперь у нас есть все элементы формулы. Подставьте их и рассчитайте коэффициент.

8. Сделайте вывод о дискриминативности субтеста «Арифметические задачи».

Рассчитываем по формуле : Фергюсона:

X	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25
	0	0	1	4	1	3	4	5	6	4	8	7	11	6	10	8	9	7	6	5	5	4	4	0	3	1
2	0	0	1	16	1	9	16	25	36	16	64	49	121	36	100	64	81	49	36	25	25	16	16	0	9	1

N - количество испытуемых N=122, n - количество заданий n=25, fi - частота встречаемости каждого показателя. ? f?=812

? = (25+1) х (122-812) = 0,98

25х122

Вывод: ? = 0,98 данный показатель указывает на высокую дискриминативность, так как наибольшая дискриминативность при ? = 1. Показатель ? = 0,98 приближается к единице.

3. НАДЕЖНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ

Теоретическая справка

Под надежностью теста понимается степень точности, с которой тест измеряет определенное свойство или качество. Надежность теста - это характеристика точности его как измерительного инструмента, его устойчивость к действию помех (как внешних, так и внутренних). Эмпирическое определение надежности теста является обязательным условием его допуска для использования в практической деятельности психолога.

Задание 3. Расчет коэффициентов надежности

Цель задания: овладение приемами расчета коэффициентов надежности заданий при помощи расщепления теста на две части (надежность частей теста).

Оснащение: микрокалькулятор, таблица первичных результатов (таблица №3).

Таблица №3

Первичные результаты исследования с помощью теста Равена (n=36, N=80).

Номер задачи	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18
fi	78	80	77	79	80	76	60	56	63	70	58	45	79	80	68	50	72	41
Номер задачи	19	20	21	22	23	24	25	26	27	28	29	30	31	32	33	34	35	36
fi	33	44	26	44	12	27	73	65	41	52	37	14	22	15	49	18	27	8

Порядок работы:

1. Разделить задачи из Таблицы №3 на две части - нечетные (X) и четные (Y).

2. Вычислить средние арифметические для каждой части (). Результаты вычислений занесите в следующую таблицу:

Вычисляем средние арифметические для каждой части ().

	Хi	Хi -	(Хi - )2	Yi	Yi -	(Yi - )2	(Хi - ) (Yi -)
1	78	25	625	80	32	1024	800
2	77	24	576	79	31	961	744
3	80	27	729	76	28	784	756
4	60	7	49	56	8	64	56
5	63	10	100	70	22	484	220
6	58	5	25	45	-3	9	-15
7	79	26	676	80	32	1024	832
8	68	15	225	50	2	4	30
9	72	19	361	41	-7	49	-133
10	33	-20	400	44	-4	16	80
11	26	-27	729	44	-4	16	108
12	12	-41	1681	27	-21	441	861
13	73	20	400	65	17	289	340
14	41	-12	144	52	4	16	-48
15	37	-16	256	14	-34	1156	544
16	22	-31	961	15	-33	1089	1023
17	49	-4	16	18	-30	900	120
18	-26	676	8	-40	1600	1040
	=53		? =8629	=48		? =9926	? =7358

= 955/18=53 = 864/18= 48;

3. Вычислить стандартные отклонения для каждой части (, ) по формуле:

где- разность между значениями варианты и средней арифметической величиной нечетной и четной частей теста, - количество задач в нечетной и четной частях теста.

Вычисляем стандартные отклонения для каждой части (, ) по формуле:

n - количество задач в нечетной и четной частях теста = 18

(для нечетной части теста)= ,22,5

( для четной части) = = = 24,1624,2

4. Вычислить коэффициент полной корреляции между частями теста используя формулу

Пирсона:

где- разность между значениями варианты и средней арифметической величиной нечетной части теста, - разность между значениями варианты и средней арифметической величиной четной части теста.

Вычисляем коэффициент полной корреляции между частями теста используя формулу

Пирсона:

, == = 0,7950,8

0,8 коэффициент полной корреляции между частями теста.

5. Вычислить коэффициенты надежности, используя следующие формулы:

а) Спирмана - Брауна: где - коэффициент корреляции по Пирсону, - стандартные отклонения нечетных и четных задач, - общее количество задач в тесте.

6. Сделайте вывод о надежности теста Равена.

а) Спирмана - Брауна:

= = 0,88 0,9

б) Фланагана:

= = =

Вывод: тест Равенна можно считать надежным, так как коэффициенты надежности приближаются к единице.

4. СТАНДАРТИЗАЦИЯ ТЕСТОВЫХ ШКАЛ

Теоретическая справка

Стандартизация тестовых шкал - это создание таких критериев (таблиц), по которым можно будет преобразовывать первичные результаты выполнения теста в относительные оценки.

Например, испытуемый выполнил 16 заданий теста математических достижений из 32 и получил за это 16 баллов из 32 максимально возможных. Таким образом, получается, что он выполнил половину всех заданий, - 50% . Значит ли это, что его достижения можно оценить как СРЕДНИЙ УРОВЕНЬ? Ответ на этот вопрос будет зависеть от того, с чем именно мы будем сравнивать полученный испытуемым результат, с чем будем его соотносить. Если соотносить с максимально возможным баллом, то действительно можно будет сказать, что у испытуемого средний уровень математических достижений. Ну, а сели сравнить с результатами других испытуемых? Например, одинаковых с ним по возрасту, полу, социальному положению и т.п.? Вполне может оказаться, что в этом случае наш испытуемый имеет низкий или высокий уровень достижений. Все будет зависеть от того, сколько еще людей из сравниваемой выборки набрали такие же результаты, сколько - набрали ниже, сколько - набрали выше. Таким образом, во-первых, необходимо иметь данные о результативности выполнения теста определенной выборкой испытуемых, с которой мы будем соотносить наши результаты. А во-вторых, эти данные о результативности мы должны как-то разделить на равные уровни по степени результативности. При этом количество уровней может быть разным - 5 уровней результативности, 9, 10 или 100. И затем, сравнив полученные конкретным испытуемым баллы, мы можем определить его место в той выборке, с которой его соотносим. В данной работе предлагается познакомиться с методами разделения распределения результативности выполнения теста на отдельные уровни.

1.Наиболее простым способом нормирования (разделения распределения на уровни) является шкала процентилей. Процентиль - это точка на числовой шкале, состоящей из 100 уровней. Ранг показателя в процентилях определяется процентным отношением в нормативной группе тех испытуемых, которые получили более низкий показатель. Например, 15 процентиль (Р15)означает, что 15% из нормативной выборки получили показатели ниже данного. Вычисление процентиля немногим сложнее, чем его определение. Оно выражается следующей формулой:

Pp = L + ,

где Pp - искомая величина на шкале процентилей, L - фактическая нижняя граница интервала оценок, содержащего частоту n, pn - произведение общего количества данных n на относительную частоту (т.е.p/100), f cum - накопленная к L частота, f - частота оценок в интервале, содержащем оценку n.

Расчет рекомендуется проводить по следующему алгоритму:

а) Упорядочить полученные результаты по возрастанию.

б) Каждому первичному результату приравнять его частоту, т.е.количество испытуемых получивших такой же результат;

в) Произвести накопление частот

г) Подставить значения в формулу.

ПРИМЕР
Преподаватель предложил 125 учащимся контрольное задание, состоящее из 40 вопросов. В качестве оценки теста выбиралось количество вопросов, на которые были получены правильные ответы. Распределение частот различных результатов приводится в таблице № 4. Необходимо определить каков 25-й процентиль в группе 125 оценок, т.е. чему равен Р5. Р5 - это точка, ниже которой лежат 25% 125 оценок.

Таблица № 4.

Оценки по тесту и их частоты.

оценки

по тесту

частота

накопленная

частота

fcum

125

124

123

120

115

106

Вычисление любого процентиля упростится, если построить распределение накопленных частот. Накопленные частоты к любой заданной оценке представляют собой суммарное количество частот на этой оценке и ниже ее. В третьем столбце таблицы указаны накопленные частоты для 125 оценок контрольного задания. Так, например тестовую оценку 33 и меньше получило 106 учащихся.

Вычисление Р5 можно выполнить за 5 шагов:

Шаг 1. = 0,25, n = 0,25n =0,25X125 = 31,25

Шаг 2. Найти фактическую нижнюю границу разряда оценок, содержащую испытуемого с оценкой 31,25 снизу: так как 16 человек имеют оценки 28 или меньше, а 34 - оценки 29 или меньше, то частота 31,25 лежит в интервале разряда оценок 28,5- 29,5.

L = 28,5

Шаг 3. Вычесть накопленную к L частоту из 31,25

31,25 - 16 = 15,25

Шаг 4. Разделить результат 3-го шага на частоту f в интервале, содержащем оценку 31,25

= 0,85

Шаг 5. Прибавить результат 4-го шага к L

Р5 = 28,5 + 0,85 = 29,35

Шкала процентилей позволяет оценить отдельный индивидуальный результат относительно других индивидуальных результатов в исследуемой выборке. Самым большим недостатком шкалы процентилей является то, что она не отражает формы первичного распределения результатов. Распределение процентилей всегда равномерно (прямоугольно), тогда как распределение для многих тестов приближается к нормальному и небольшие отклонения от среднего значения сильно увеличиваются процентилями, а относительно большие отклонения, наоборот, сжимаются. Процентили могут таким образом исказить результаты и поэтому их использование не рекомендуется.

2. Наиболее распространенными преобразованиями первичных оценок являются центрирование и нормирование посредством среднеквадратических отклонений (z-преобразование). Под центрированием понимается линейная трансформация величин признака, при которой средняя величина распределения становится равной нулю. Так, если при обследовании группы испытуемых с помощью вновь разрабатываемого теста, средний результат по группе равен 17 «сырых» баллов, то эта величина может быть выбрана в качестве центра отсчета шкалы, в обе стороны от которой симметрично располагаются значения больше и меньше среднего. Для z-преобразования применяется следующая формула:

где- разность между первичным результатом тестового измерения и средней арифметической величиной, - стандартное отклонение для данной выборки.

Неудобство дальнейшей работы со стандартной шкалой состоит в том, что приходится оперировать отрицательными и положительными величинами, а также нулем.

От стандартной z-шкалы легко осуществить переход к любой другой, более удобной шкале. Для этого используется линейное преобразование типа

где a>0,0, константы a и b - произвольные действительные числа, выбор которых определяется исключительно удобством дальнейшей работы со шкалой.

В практике психологического тестирования используют ряд так называемых нормализованных шкал: T-шкала, шкала Векслера, шкала Амтхауэра, шкала стенов, шкала станайнов и др.

Задание № 4 Стандартизация тестовых шкал

Оценки по тесту и их частоты

оценки

по тесту

частота

накопленная

частота

fcum

125

124

123

120

115

106

На основе данных таблицы рассчитываем процентили: Pp = L + ,

Шаг 1. Рр =5/100х125=6,25

Шаг 2. Находим нижнюю границу разряда оценок содержащую испытуемого с оценкой 6,25 снизу: так как 6 человек имеют оценки 27 или меньше, а 16 человек - оценки 28 или меньше, то частота 6,25 лежит в интервале (27-28) следовательно, L=(27+28)/2=27,5.

Шаг 3. Вычитаем накопленную к L частоту из 6,25 6,25-6=0,25,где 6= f cum

Шаг 4. Разделим результаты третьего шага на частоту f в интервале, содержащим оценку 6,25 0,25/10=0,05, где f = 10.

Шаг 5.Р5=27,5+0,025=27,52527,53

Таким, образом, 5 % испытуемых имеют оценку 27,53 и ниже

Р10=27,5+(12,5-6)/10=27,5+0,65=28,15

Р20=28,5+(25-16)/18=28,5+0,5=29

Р30=29,5+(37,5-34)/24=29,5+0,145 29,65

Р40=29,5+(50-34)/24=29,5+0,66 30,17

Р50=30,5+(62,5-58)/23=30,5+0,195 30,7

Р60=30,5+(75-58)/23=30,5+0,74 31,24

Р70=31,5+(87,5-81)/17=31,5+0,38 31,88

Р80=32,5+(100-98)/8=32,5+0,25= 32,75

Р90=33,5+(112,5-106)/9=33,5+0,72= 34,2

Р95=34,5+(118,75-115)/5=34,5+0,75= 32,25

Р100=38

Задание 4. Построение шкалы процентилей

Цель задания: овладение приемами стандартизации тестовых шкал на примере построения шкалы процентилей.

Оснащение: микрокалькулятор, таблица первичных результатов (таблица № 4).

Порядок работы:

1. На основе данных таблицы № 4, рассчитать P1, P5, P10, P20, P30, P40, P50, P60, P70, P80, P90, P95, P100.

2. На основе полученных данных построить шкалу процентилей.

24 38

P1 P100

Задание 5. Построение нормализованных шкал

Цель: овладение приемами преобразования первичных результатов в нормализованные шкалы.

Оснащение: микрокалькулятор, таблица первичных результатов (таблица №4).

Порядок работы:

1. Произвести линейное преобразование первичных результатов (z-трансформацию):

1) вычислить среднюю арифметическую величину ();

2) рассчитать среднеквадратическое (стандартное) отклонение по формуле:

где - разность между значениями варианты и средней арифметической величиной, - частота варианты, - количество вариант.

1. Произвести линейное преобразование первичных результатов (z-трансформацию):

Частота
1	38	7	49	49
1	37	6	36	36
3	36	5	25	75
5	35	4	16	80
9	34	3	9	81
8	33	2	4	32
17	32	1	1	17
23	31	0	0	0
24	30	-1	1	24
18	29	-2	4	72
10	28	-3	9	90
3	27	-4	16	48
1	26	-5	25	25
0	25	-6	36	0
2	24	-7	49	98

= 465/15=31 = 727

2) рассчитаем среднеквадратическое (стандартное) отклонение по формуле:

====7,206

2) произвести линейное преобразование по формуле:

Результаты вычислений занести в таблицу.

	z	T	IQ	Z
38	0,96	59,6	114,4	109,6
37	0,83	58,3	112,5	108,3
36	0,69	56,9	110,4	106,9
35	0,55	55,5	108,3	105,5
34	0,41	54,1	106,2	104,1
33	0,28	52,8	104,2	102,8
32	0,14	51,4	102,1	101,4
31	0	50	100	100
30	-0,14	48,6	97,9	98,6
29	-0,28	47,2	95,8	97,9
28	-0,41	45,9	93,8	95,9
27	-0,55	44,5	91,7	94,5
26	-0,39	43,1	89,6	93,1
25	-0,83	41,7	87,5	91,7
24	-0,96	40,4	85,6	90,4

1) T-шкала ;

2) Шкала Векслера ;

3) Шкала Амтхауэра .