МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

возникающие при выработке сложных решений:

Исходная статистическая информация зачастую бывает

недостаточно достоверной.
Некоторая часть информации имеет качественный характер и не поддается количественной оценке.
В процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств.
Существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.
любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации, а любое экономическое действие может приводить к многочисленным исходам.
В-шестых, при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов.

интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой

результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы.

ситуации, цели, решения и т. п.)

производят измерение их характеристик (вероятности

свершения событий, коэффициенты значимости целей, предпочтения решений и т. п.)

областях за определенный промежуток времени;
определение наиболее вероятных интервалов времени свершения

совокупности событий;
определение целей и задач управления с упорядочением их по степени важности;
определение альтернативных (вариантов решения задачи с оценкой их предпочтения;
альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;
альтернативные варианты принятия решений в определенной ситуации с оценкой их предпочтительности.

совещание
оперативная игра
сценарий
метод Дельфи

и основных положений работы.

2) Назначение руководителя экспертизы

3) Формирование рабочей

группы (РГ)

4) Разработка организации и методики проведения опроса

5)Проведение опроса

6) Обработка результатов

экспертов
Выбор из них экспертной комиссии в соответствии с компетентностью кандидатов.

экспертов. Основным содержанием опроса является:
постановка задачи и предъявление вопросов

экспер­там
информационное обеспечение работы экспертов
выработка экспертами суждений, оценок, предложе­ний
сбор результатов работы экспертов

Можно назвать три типа задач, которые решаются в процессе опроса:
оценка качественная или количественная заданных объектов
построение новых объектов
построение и оценка новых объектов

элементов, отражающих различные уровни некоторых подлежащих рассмотрению величин.

Факторы могут

быть:
количественные и качественные
дискретные и непрерывные.

Формализация информации и шкалы сравнений

на основе трех аксиом идентификации:

i либо есть j, либо есть

не j;
если i есть j, то j есть i;
если i есть j и j есть k, то i есть k.

Факторы в данном случае выступают как ассоциативные показатели, обладающие информацией, которая может быть формализована в виде бинарных оценок двух уровней: 1 (идентичен) или 0 (различен).

Номинальные шкалы

в определенной последовательности с учетом какого-либо существенного фактора (факторов), используются

порядковые шкалы.

Предположим, что необходимо расположить в определенной последовательности n объектов по какому-либо фактору (критерию). Представим это упорядочение в виде матрицы А где i, j = 1,2,…, n.

образом :

При использовании таких шкал для этих целей можно брать почти

все обычные статистические меры. Исключением являются те меры, которые предполагают знание «истинно» нулевой точки шкалы, которая вводится здесь условно.

Интервальные шкалы предполагают возможность трансформации оценок, полученных на одной шкале, в оценки на другой шкале при помощи уравнения x’=ax+b

которое присуще только шкале отношений. Наличие аддитивности выражается следующими аксиомами

:

если j = a и i > 0, то i + j > a;
i + j = j + i;
если i = a и j = b, то i + j = a + b;
(i + j) + k = i + (j + k).

метода измерения при обработке результатов опроса возникают следующие основные задачи:
построение

обобщенной оценки объектов на основе индивидуальных оценок экспертов
построение обобщенной оценки на основе парного сравнения объектов каждым экспертом
определение относительных весов объектов
определение согласованности мнений экспертов
определение зависимостей между ранжировками
оценка надежности результатов обработки

l показателям. Результаты оценки представлены в виде величин , где

j – номер эксперта, i – номер объекта, h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.

по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение

о том, что компетентность экспертов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

ранжирования так, что величины xij есть ранги.
Ранжировку можно представить

в виде матрицы парных сравнений, элементы которой определим следующим образом:

проблеме. В связи с этим возникает необходимость количественной оценки степени

согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации.

зависимости между ранжировками двух экспертов, связи между достижением двух различных

целей при решении одной и той же совокупности проблем или взаимосвязи между двумя признаками.

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции. Характеристикой взаимосвязи множества ранжировок или целей будет являться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена и Кендалла.

ранжировках отсутствуют связанные ранги, т. е. обе ранжировки дают строгое

упорядочение объектов.

Две ранжировки могут отличаться друг от друга только перестановкой рангов, но сумма натураль­ных чисел и их квадратов не зависит от порядка (пере­становки) слагаемых.

одинаковы и равны
Дисперсии для двух любых ранжировок (при отсутствии

связанных рангов) будут одинаковы и равны

суммы в правой части одинаковы и равны

вычисление коэффициентов Спирмена производится по более простой формуле. Кроме того,

коэффициент Спирмена дает более точный результат, поскольку он является оптимальной по критерию минимума средней квадрата ошибки оценкой коэффициента корреляции.

Отсюда следует, что при практических расчетах корреляционной зависимости ранжировок предпочтительнее использовать коэффициент ранговой корреляции Спирмена.

что полного согласия между экспертами нет, а потому данные, приведенные

в табл. 1П, следует подвергнуть более тщательному математическому анализу. С этой целью был использован метод средних арифметических рангов. Для этого прежде всего была подсчитана сумма рангов, присвоенных проектам (табл. 1П). Затем эта сумма была разделена на число экспертов, в результате был рассчитан средний арифметический ранг. По средним рангам строится итоговая ранжировка (упорядочение), исходя из принципа – чем меньше средний ранг, тем лучше проект.

и Б равноценными, они уступают лишь одному проекту – проекту

Сол. Поэтому проекты М–К и Б должны были бы стоять на втором и третьем местах и получить баллы 2 и 3. Поскольку они равноценны, то получают средний балл (2+3) / 2 = 5/ 2 = 2,5.
Наименьший средний ранг, равный 2,625, у проекта Б, следовательно, в итоговой ранжировке он получает ранг 1.
Следующая по величине сумма, равная 3,125, у проекта М–К. И он получает итоговый ранг 2. Проекты Л и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов с целью получения итоговой ранжировки), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в табл. 2П.

баллах, определить групповую оценку каждой альтернативы:

экспертов расхождения в их оценках неизбежны, однако величина этого расхождения

имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.
Для анализа разброса и согласованности оценок применяются статистические характеристики – методы разброса.

они перестанут изменяться.
В нашем примере достаточно 6ти шагов.
В результате получим

групповую оценку: