Данный статистический метод позволяет дать оценку исследуемому явлению в виде обобщенного мнения специалистов (экспертов) по изучаемому вопросу или проблеме. Эксперты могут оценивать (выражать свое мнение) как в условных единицах (баллах, очках и т.д.), так и располагая элементы явления в определенной последовательности (по шкале порядка). Считается, что объективная оценка явления (например, мастерство спортсмена) дана в том случае, если мнения экспертов согласованы, т.е. близки по смыслу. Степень согласованности экспертов можно оценить по величине так называемого коэффициента конкордации (W).
Порядок вычислений:
1. Заполнить сводную таблицу, мнения экспертов (первые пять строк таблицы 19).
2. Вычислить сумму рангов, полученных каждым спортсменом (строка 6).
3. Вычислить среднюю арифметическую сумму рангов:
4. Рассчитать отклонение суммы рангов каждого спортсмена от средней арифметической суммы рангов (строка 7).
5. Возвести отклонение суммы рангов каждого спортсмена в квадрат и суммировать полученные числа, найти S=642 (строка 8).
6. Определить коэффициент конкордации:
где m - число экспертов,
S - сумма квадратов отклонений сумм рангов, полученных каждым спортсменом (n), от средней суммы рангов.
В зависимости от степени важности мнений экспертов коэффициент конкордации лежит в пределах от 0 (при полном отсутствии согласованности) до 1 (при абсолютном единогласии экспертов).
Вывод (по вышеприведенному примеру):
Таким образом, можно считать, что мнения экспертов относительно технико-тактического мастерства фехтовальщиков вполне согласованы.
Экспертные оценки зависят от количества экспертов. При этом уменьшение их количества преувеличивает роль каждого из них, а при очень большом количестве экспертов трудно добиться согласованного мнения. Считается, что оптимальная численность экспертной группы должна равняться 15-20 специалистам.
Практическое задание:
Подгруппа студентов выступает в качестве экспертов, оценивая уровень развития воли пяти студентов группы (они не входят в экспертную группу) по 5-бальной шкале:
- 1 балл - никогда не проявляет волевые качества,
- 2 балла - довольно редко проявляет волевые качества,
- 3 балла - иногда проявляет волевые качества,
- 4 балла - часто проявляет волевые качества,
- 5 баллов - всегда проявляет волевые качества.
Определить уровень согласованности мнений.