Тема 6. Методы экспертной оценки в исследовании систем управления Лекция 1

Методы экспертного оценивания и их применение
Методы “мозговой атаки” и “сценариев”
Метод

“Дельфи”
Метод “дерева целей”

темперамента, индивидуальных качеств, как правило, владеют различными мето­дами исследования. Соединение

этих методов может быть очень полезно в решении сложных исследовательских проблем. В этом и заключается суть "мозгового штурма". Другое его качество — соединение логики и интуиции, научной фантазии и скрупулезного расчета.

сессии коллективной генерации идей (КГИ), эти сессии можно распределить по

следующим группам:
1. Сессии КГИ, в результате которых получают окончательные ответы на поставленные вопросы. Обычно соответствующие про­блемы не являются комплексными и могут быть решены без про­ведения дополнительных исследований.
2. Сессии КГИ, в результате которых открывается возмож­ность формулировать план решения соответствующей задачи. Подобный план может опираться как на истинные, с точки зре­ния большинства, идеи, так и на идеи дискуссионные.
3. Сессии КГИ, в результате которых формулируются идеи, которые могут быть полезны при решении той или иной проблемы.
4. Сессии КГИ, в результате которых устанавливаются новые аспекты рассматриваемой проблемы.

Принцип формирования группы по способностям к научному вообра­жению и развитой

интуиции, антидогматическому мышлению, интеллектуальной раскованности, разнообразию знаний и научных интересов, позитивному скептицизму.
2. Отбор группы для генерации идей можно делать по результатам специ­ального тестирования, которое позволит выявить и учесть критерии этого принципа.
3. Все это нужно для того, чтобы создать в работе этой группы атмосфе­ру непринужденности, творчества, взаимоприемлемости.
4. Принцип строгого запрещения всякой критики.

мотивации разнообразных идей, снятия ограничений по обла­сти знаний, богатству опыта,

должностному статусу, возрасту, социальному положению.
7. Такая мотивация определяется подбором группы и организацией ее работы. В группу могут входить специалисты в различных областях знаний, разного опыта и научно — практического статуса. Разнообразие участников работы способствует генерации идей.
8. Принцип регламента времени на выдвижение идей.

ряд принципов, отражающих назначение и суть этого этапа.
1. Принцип полноты

анализа идей и их обобщения.
2. Принцип аналитического потенциала. 3. Принцип критериальной четкости в оценке и анализе идей.
4. Принцип дополнительной разработки идеи и ее конкретизации.
5. Принцип позитивизма в анализе идей.
6. Принцип конструктивизма, предполагающий ориентировать идеи на построение концепции, реальность, программу действий, осуществлять увязку идей.

На первом этапе он должен регулировать поле поиска, создавать творческую

атмосферу и мотивировать генерацию как можно большего количества идей.
На втором этапе "мозгового штурма" деятельность ведущего должна быть иной, потому что здесь главным становится не идея как таковая, а вы­явление возможности ее реализации, оценка эффективности, перспективности, практической значимости, оценка связей идей и возможностей их представления в обобщенном виде, конкретизация и дальнейшее развитие выска­занных идей.

изложенных в письменном виде, получили название сценариев.
Сценарий позволяет создать

предварительное представление о проблеме (системе) в ситуациях, когда не удается сразу отобразить ее формальной моделью. Сценарий — это текст со всеми вытекающими последствиями (синонимия, омонимия, парадоксы), связанными с возможностью неоднозначного его толкования разными специалистами.
Написание сценария – это метод, который пытается установить логическую последовательность событий, чтобы показать, как, исходя из существующей ситуации, может шаг за шагом развертываться будущее состояние.

выявление основных факторов фона и формулирование критериев для оценки верхних

уровней дерева целей.
Ценность сценария тем выше, чем меньше степень неопределенности, т.е. чем больше степень согласованности мнений экспертов в осуществимости события, системы и т. д. Поэтому нельзя упускать из поля зрения следующие вопросы:
1) насколько велика существующая неопределенность?
2) что следует сделать, чтобы ее уменьшить?
3) какова ожидаемая степень уменьшения неопределенности при продолжении разработки?

подходящей альтернативы управления.
Принципы, лежащие в основе метода:
1)принцип последовательного разрешения неопределенности

(итеративный процесс)
2)принцип содержательного и формального описания объекта управления.
Содержательное описание - фразами, обычным языком Формальное описание - определение дается формальным языком (это может быть математический аппарат).
3) принцип исследования сценариев в развитии.
Цель метода - получение научно обоснованного прогноза для принятия управленческих решений.
Сценарий - это гипотетическая картина последовательного развития во времени и пространстве событий, составляющих эволюцию объектов управления.

- внутренняя структура системы, взаимосвязь между ее элементами, закономерности ее

развития
внешние факторы - взаимодействие системы с системой более широкого класса (макро- и микросредой)
2)сценарные параметры - это непредсказуемые факторы, влияющие на систему
3)ограничение (каждая система находится в рамках, ограничивающих ее состояние - эквифинальность) :
естественные (обусловленные природной средой, в которой находится система, например, климатические условия и т.д.)
нормативные (связанные с правовой средой и всевозможными нормами поведения - культура, обычаи, традиции, мораль, религия, нравственность)
4)индикатор сценария - это критичный к предельным состояниям объекта управления параметр. Это параметр, который ограничивает состояние системы по каким-то определенным направлениям (какой порог нельзя переходить, чтобы не вызвать разрушение системы).

за которые развитие системы выйти не может по объективным причинам.

Т.е. это построение трубки прогноза.
Процедура:
задаются максимально возможные значения параметров тех факторов, которые положительно влияют на развитие системы, и минимальные значения тех факторов, которые препятствую ее развитию, и в этих условиях выбираются "идеальное" из допустимых управление и соответствующее ему состояние системы. Эта процедура называется "определение потенциала системы". Максимум - это максимально хорошее. Вероятность нахождения системы в граничащих состояниях (max и min) близка к нулю.
минимизируется действие положительных факторов и максимизируется действие отрицательных, т.е. определяется нижний предел развития системы.

мнений экспертов различных областей науки и техники и формировании массива

информации, отражающего индивидуальные оценки экспертов, основанные как на строго логическом анализе, так и на интуитивном опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики.

минимальное число эксперте при условии обеспечения ошибки результата прогнозирования не

более b, где: 0 < b < 1. Рекомендуют определять минимальное число экспертов по формуле:
Nmin= 0,5 (3 / b + 5).
Сбор и обработка индивидуальных мнений экспертов о прогнозах развития объекта производится, исходя из следующих принципов:
1) вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;
2) опрос экспертов проводится в несколько туров, в ходе которых вопросы и ответы все более уточняются;
3) все опрашиваемые эксперты знакомятся после каждого тура с результатами опроса;
4) эксперты обосновывают оценки и мнения, отклоняющиеся от мнения большинства;
5) статистическая обработка ответов производится последовательно от тура к туру с целью получения обобщающих характеристик.

и численность их должна удерживаться в благоразумных рамках.
2. Время между

турами опросов должно быть не более месяца.
3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.
4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной той или иной оценки, а также и для критики этих причин.
5. Должен проводиться систематический отбор экспертов.
6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.
7. Нужна формула согласованности оценок, основанная на данных самооценок.
8. Следует установить влияние различных видов передачи информации экспертам по каналам обратной связи.
9. Необходимо установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.

группы;
подготовка экспертизы;
проведение экспертизы;
статистическая обработка полученных ответов;
анализ результатов;
разработка сценария и мероприятий

по устранению выявленных недостатков;
подготовка и проведение повторных экспертиз;
подготовка рекомендаций по распределению ресурсов;
анализ результатов и принятие окончательного решения.

и относительно устойчивой структуры целей, проблем, направлений, т.е. такой структуры,

которая на протяжении какого-то периода времени мало изменялась при неизбежных изменениях, происходящих в любой развивающейся системе. Для достижения этого при построении вариантов структуры следует учитывать закономерности целеобразования и использовать принципы и методики формирования иерархических структур целей и функций.

взаимодополнение целей: цель А достигается только в случае достижения цели

Б, и наоборот;
2) безразличие целей: цель А достигается независи­мо от достижения цели Б;
3) взаимоисключение целей: достигается либо цель А, либо Б;
4) конкуренция целей: ограниченное количество ресурсов может быть направлено либо на достижение цели А, либо Б.

следующие этапы:
проверка экспертами структуры дерева целей;
получение от экспертов количественных и

качественных оценок целей;
получение от экспертов субъективных оценок возможности достижения целей и желательных средств их реализации;
получение от экспертов предсказаний и прогнозов в области развития смежных систем для учета внешних влияний;
расчетная обработка дерева целей.

Результаты расчетной обработки ложатся в основу дальнейшей работы по системному анализу, которая завершается построением окончательного варианта дерева целей. Эта работа включает следующие этапы:
анализ целей на их совместимость, взаимодополняемость, и конкурентность и установление окончательной структуры дерева целей;
установление относительной важности целей по их логическим связям и оценкам экспертов;
установление окончательных значений числовых показателей в целях, в соответствии с обработанными оценками экспертов;
оценка имеющихся ресурсов и их предварительное распределение на достижение отдельных целей;
отсечение всех ветвей дерева, которые не укладываются в ограничения по ресурсам и имеют низкие экспертные оценки.

Исследуется предназначение организации, общая цель системы, определяемая ее назначением.
Этап

2. Формируются качественные цели организации, осуществляемые в две стадии.
Этап 3. Производится ранжирование целей функционирования организации, осуществляемое для обоснования выбора целей функционирования, положенных в основу дальнейшего проектирования организации.
На четвертом этапе осуществляется построение дерева целей.