Метод экспертных оценок формулы. Оценка экспертная: особенности, методы проведения и результат. По форме участия экспертов

МИНИСТЕРСТВО ОБРАЗОВАНИЯ

РОССИЙСКОЙ ФЕДЕРАЦИИ

АЛТАЙСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Экономический факультет

Кафедра антикризисного управления, оценки бизнеса и инноваций

МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК

(курсовая работа)

Выполнила студентка

3 курса, группа 277

Стрекалова С.Б.

Работа защищена

Барнаул – 1999

Введение 3

Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ 5

1.1. Роль экспертов в управлении 5

1.2. Метод экспертных оценок 7

1.3. Организация экспертного оценивания 9

1.4. Подбор экспертов 9

1.5. Опрос экспертов 10

Глава 2. ФОРМАЛИЗАЦИЯ ИНФРОРМАЦИИ

И ШКАЛЫ СРАВНЕНИЙ 12

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК 16

3.1. Задачи обработки 16

3.2. Групповая оценка объектов 17

3.3. Оценка согласованности мнений экспертов 22

3.4. Обработка парных сравнений объектов 25

3.5. Определение взаимосвязи ранжировок 27

Заключение 31

Список литературы 32

ВВЕДЕНИЕ

Современная экономика предъявляет новые, более высокие требования к управлению. Вопросы совершенствования методов управления приобретают сейчас очень важное значение, поскольку именно в этой сфере имеются еще большие резервы роста эффективности народного хозяйства.

Существенным фактором повышения научного уровня управления является применение при подготовке решений математических методов и моделей. Однако, полная математическая формализация технико-экономических задач часто неосуществима вследствие их качественной новизны и сложности. В связи с этим все шире используются экспертные методы, под которыми понимают комплекс логических и математико-статистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ­кое применение в социально-политическом и научно-тех­ническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных про­грамм, в решении отдельных проблем управления.

В ходе развития общественного производства возрастают не только сложность управления, но и требования к качеству принимаемых решений. Для того, чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях руководителей и специалистов, знакомых с состоянием дел и перспективами развития в различных областях практической деятельности. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.

Целью нашей работы является изучение метода экспертных оценок - одного из важнейших этапов принятия грамотных управленческих решений.

1) изучение роли экспертизы в управлении;

2) рассмотрение порядка организации экспертного оценивания;

3) изучение видов шкал и порядка их использования;

4) подробное рассмотрение заключительного этапа экспертного оценивания – обработки экспертных оценок.

Реферат состоит из введения, трех глав, заключения и списка использованной литературы.

В первой главе рассматривается вопрос о необходимости экспертизы в управлении, рассмотрен метод экспертных оценок, этапы организации экспертного оценивания.

Вторая глава посвящена рассмотрению шкал сравнений, даны характеристики каждому виду шкал и порядок их использования при формализации информации.

В третьей главе рассматривается обработка экспертных оценок: задачи обработки, групповая оценка объектов, оценка согласованности мнений экспертов, обработка парных сравнений объектов и определение взаимосвязи ранжировок.

Так как целью данной работы является рассмотрение экспертного оценивания в теоретическом аспекте, то практическое применение не рассматривается.

В заключении рассматривается роль метода экспертных оценок в принятии управленческих решений.

Глава 1. ЭКСПЕРТИЗА В УПРАВЛЕНИИ

1.1. Роль экспертов в управлении

Современное общество развивается под постоянно усиливающимся воздействием научно-технической революции, которая вызывает коренные преобразования в производстве, глубокие изменения в структуре и экономике народного хозяйства. Происходящая научно-техническая революция по своему влиянию далеко выходит за пределы сферы материального производства, захватывая все стороны жизнедеятельности общества, предопределяя большинство решений, направленных на его рациональное экономическое и социальное развитие.

История развития науки, техники и производства показывает, что одновременно с последовательным замещением функций человека функциями машин увеличивается его роль в сфере управления. Непрерывный рост объема затрат на развитие науки, на создание новой техники и совершенствование производства существенно повышает значимость решений, принимаемых на всех уровнях управления народным хозяйством. Будущее науки. Техники и экономики в значительной мере зависит от качества и своевременности этих решений, а объективные тенденции научно-технического прогресса могут ускоряться или замедляться под их воздействием.

Особое значение в управлении сейчас приобретают методы оптимизации, основанные на применении формальных, чаще всего математических моделей, обеспечивающих экономию времени и средств при решении многих практических задач. Построение моделей помогает привести сложные и подчас неопределенные факторы, связанные с проблемой принятия решений, в логически стройную схему, определить, какие данные необходимы для оценки и выбора альтернатив.

В процессе управления возникает естественное стремление к отысканию решения, которое объективно является наилучшим из всех возможных. В качестве инструмента оптимизации сейчас широко используется математическое программирование. Успехи в применении математического программирования к решению различного рода хозяйственных, научных, технических и военных задач породили методологические воззрения, согласно которым кардинальное решение проблем управления возможно только тогда, когда все его аспекты отображаются в системе взаимосвязанных математических моделей.

Однако, формализация технико-экономических и управленческих решений осложняется рядом особенностей современного этапа научно-технического прогресса. Жизнь общества настолько сложна, что трудно рассчитывать на появление моделей, которые полностью отражали бы природу и количественные взаимосвязи социально-экономических процессов. Реальная действительность всегда сложнее самых тонких математических моделей, а ее развитие часто опережает формальное познание. Задачи управления требуют в качестве неотъемлемого элемента решения участия людей. И, наконец, сам процесс управления всегда предполагает ориентацию не только на числовые данные, но и на обычный здравый смысл. Использование математического программирования и вычислительной техники позволяет принимать решения, основанные на более полной и надежной информации. Но, несомненно и то, что при любых условиях для выбора рационального решения требуется нечто большее, чем хорошая математическая модель.

Принимая решения, мы обычно предполагаем, что информация, используемая для их обоснования, достоверно и надежна. Но для многих экономических и научно-технических задач, являющихся по своему характеру качественно новыми и неповторяющимися, это предположение либо заведомо не реализуется, либо в момент принятия решения его не удается доказать.

Наличие информации и правильность ее использования в значительной степени предопределяют оптимальность выбранного решения. Кроме данных, состоящих из числовых статистических величин, информация включает в себя другие, не поддающиеся непосредственному измерению величины, например, предположения о возможных решениях и их результатах. Практика показывает, что основные трудности, возникающие при поиске и выборе деловых решений, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся информации.

Основные трудности, связанные с информацией, возникающие при выработке сложных решений, можно подразделить на следующие группы.

Во-первых, исходная статистическая информация зачастую бывает недостаточно достоверной.

Во-вторых, некоторая часть информации имеет качественный характер и не поддается количественной оценке. Так, нельзя точно рассчитать степень влияния социальных и политических факторов на реализацию планов, оценить экономический эффект будущих изобретений и т.д. Но, поскольку эти факторы и явления оказывают существенное влияние на результаты решений, их нельзя не учитывать.

В-третьих, в процессе подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств.

В-четвертых, существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

В-пятых, одна из наиболее существенных трудностей при выборе решений состоит в том, что любая научная или техническая идея содержит в себе потенциальную возможность различных схем ее реализации, а любое экономическое действие может приводить к многочисленным исходам. Проблема выбора наилучшего варианта решения может возникнуть и потому, что обычно существуют ограничения в ресурсах, а следовательно, принятие одного варианта всегда связано с отказом от других решений.

В-шестых, при выборе наилучшего решения мы нередко сталкиваемся с многозначностью обобщенного критерия, на основе которого можно произвести сравнение возможных исходов. Многозначность, многомерность и качественное различие показателей являются серьезным препятствием для получения обобщенной оценки относительной эффективности, важности, ценности или полезности каждого из возможных решений.

В связи с этим одна из главных особенностей решения сложных проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых, специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Закономерность развития науки и техники состоит в том, что новые знания, научно-техническая информация накапливаются в течение длительного периода времени. Нередко это накопление идет в скрытой форме в сознании ученых и разработчиков. Они, как никто другой, способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют.

Опыт показывает, что использование несистематизированных суждений отдельных специалистов оказывается при решении многих сложных научных и технических проблем недостаточно эффективным вследствие многообразия взаимосвязей между основными элементами таких проблем и невозможности охвата их всех. При использовании традиционных процедур подготовки решений нередко не удается рассмотреть широкий диапазон факторов, учесть весь спектр альтернативных путей решения проблем.

Все это заставляет прибегать к комплектованию групп специалистов, представляющих в качестве экспертов различные области знаний. Применение групповой экспертизы позволяет не только рассмотреть множество аспектов и факторов, но и объединить различные подходы, с помощью которых руководитель находит наилучшее решение.

1.2. Метод экспертных оценок

Сущность метода экспертных оценок заключается в про­ведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и фор­мальной обработкой результатов. Получаемое в резуль­тате обработки обобщенное мнение экспертов принима­ется как решение проблемы. Комплексное использование интуиции (неосознанного мышления), логического мыш­ления и количественных оценок с их формальной обра­боткой позволяет получить эффективное решение проб­лемы.

При выполнении своей роли в процессе управления эксперты производят две основные функции: формируют объекты (альтернативные ситуации, цели, решения и т. п.) и производят измерение их характеристик (ве­роятности свершения событий, коэффициенты значимо­сти целей, предпочтения решений и т. п.). Формирование объектов осуществляется экспертами на основе логиче­ского мышления и интуиции. При этом большую роль играют знания и опыт эксперта. Измерение характери­стик объектов требует от экспертов знания теории изме­рений.

Характерными особенностями метода экспертных оце­нок как научного инструмента решения сложных нефор­мализуемых проблем являются, во-первых, научно обо­снованная организация проведения всех этапов экспер­тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение ко­личественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Эти две особенности отличают метод экспертных оценок от обычной давно из­вестной экспертизы, широко применяемой в различных сферах человеческой деятельности.

Экспертные коллективные оценки широко использо­вались в государственном масштабе для решения слож­ных проблем управления народным хозяйством уже в первые годы Советской власти. В 1918 году при Высшем совете народного хозяйства был создан Совет экспертов, задачей которого являлось решение наиболее сложных проблем реоргани­зации народного хозяйства страны. При составлении пятилетних планов развития народного хозяйства страны систематически использовались экспертные оценки ши­рокого круга специалистов.

В настоящее время в нашей стране и за рубежом ме­тод экспертных оценок широко применяется для решения важных проблем различного характера. В различных отраслях, объединениях и на предприятиях действуют постоянные или временные экспертные ко­миссии, формирующие решения по различным сложным неформализуемым проблемам.

Все множество плохо формализуемых проблем услов­но можно разделить на два класса. К первому классу относятся проблемы, вотношении которых имеется до­статочный информационный потенциал, позволяющий успешно решать эти проблемы. Основные трудности в решении проблем первого класса при экспертной оценке заключаются в реализации существующего информаци­онного потенциала путем подбора экспертов, построения рациональных процедур опроса и применения оптимальных методов обработки его результатов. При этом методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

1) эксперт является хранилищем большого объема ра­ционально обработанной информации, и поэтому он мо­жет рассматриваться как качественный источник инфор­мации;

2) групповое мнение экспертов близко к истинному ре­шению проблемы.

Если эти гипотезы верны, то для построения проце­дур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической стати­стики.

Ко второму классу относятся проблемы, в отношении которых информационный потенциал знаний недостаточен для уверенности в справедливости указанных гипотез. При решении проблем из этого класса экспертов уже нельзя рассматривать как «хороших измерителей». Поэтому необходимо очень осторожно проводить обработку результатов экспертизы. Применение методов осреднения, справедливых для «хороших измерителей», в данном случае может привести к большим ошибкам. Например, мнение одного эксперта, сильно отличающее­ся от мнений остальных экспертов, может оказаться правильным. В связи с этим для проблем второго класса в основном должна применяться качественная обработ­ка.

Область применения метода экспертных оценок весь­ма широка. Перечислим типовые задачи, решаемые ме­тодом экспертных оценок:

1) составление перечня возможных событий в различ­ных областях за определенный промежуток времени;

2) определение наиболее вероятных интервалов време­ни свершения совокупности событий;

3) определение целей и задач управления с упорядоче­нием их по степени важности;

4) определение альтернативных (вариантов решения за­дачи с оценкой их предпочтения;

5) альтернативное распределение ресурсов для решения задач с оценкой их предпочтительности;

6) альтернативные варианты принятия решений в опре­деленной ситуации с оценкой их предпочтительности.

Для решения перечисленных типовых задач в настоя­щее время применяются различные разновидности мето­да экспертных оценок. К основным видам относятся: ан­кетирование и интервьюирование; мозговой штурм; дис­куссия; совещание; оперативная игра; сценарий.

Каждый из этих видов экспертного оценивания обла­дает своими преимуществами и недостатками, определя­ющими рациональную область применения. Во многих случаях наибольший эффект дает комплексное примене­ние нескольких видов экспертизы.

Анкетирование и сценарий предполагают индивиду­альную работу эксперта. Интервьюирование может осу­ществляться как индивидуально, так и с группой экспер­тов. Остальные виды экспертизы предполагают коллек­тивное участие экспертов, в работе. Независимо от индивидуального или группового участия экспертов в ра­боте целесообразно получать информацию от множества экспертов. Это позволяет получить на основе обработки данных более достоверные результаты, а также новую информацию о зависимости явлений, событий, фактов, суждений экспертов, не содержащуюся в явном виде в высказываниях экспертов.

При использовании метода экспертных оценок воз­никают свои проблемы. Основными из них являются: подбор экспертов, проведение опроса экспертов, обра­ботка результатов опроса, организация процедур экспер­тизы.

1.3. Организация экспертного оценивания

Первым этапом организации работ по применению экс­пертного оценивания является подготовка и издание ру­ководящего документа, в котором формулируется цель работы и основные положения по ее выполнению. В этом документе должны быть отражены следующие вопросы:постановка задачи-эксперимента; цели эксперимента; обоснование необходимости эксперимента; сроки выполнения работ; задачи и состав группы управления; обязанности и права группы; финансовое и материальное обеспечение работ.

Для подготовки этого документа, а также для руко­водства всей работой назначается руководитель экспертизы. На него возлагается формирование группы управ­ления и ответственность за организацию ее работы.

После формирования группа управления осуществля­ет работу по подбору экспертной группы примерно в та­кой последовательности: уяснение решаемой проблемы; определение круга областей деятельности, связанных с проблемой; определение долевого состава экспертов по каждой области деятельности; определение количества экспертов в группе; составление предварительного спи­ска экспертов с учетом их местонахождения; анализ ка­честв экспертов и уточнение списка экспертов в группе; получение согласия экспертов на участие в работе; составление окончательного списка экспертной группы.

Параллельно с процессом формирования группы экспертов группа управления проводит разработку организации и методики проведения опроса экспертов. При этом решаются следующие вопросы: место и время проведения опроса; количество и задачи туров опроса; форма проведения опроса; порядок фиксации и сбора результатов опроса; состав необходимых документов.

Следующим этапом работы группы управления является определение организации и методики обработки данных опроса. На данном этапе необходимо определить задачи и сроки обработки, процедуры и алгоритмы об­работки, силы и средства для проведения обработки.

В процессе непосредственного проведения опроса экс­пертов и обработки его результатов группа управления осуществляет выполнение комплекса работ в соответст­вии с разработанным планом, корректируя его по мере необходимости по содержанию, срокам и обеспечению ресурсами.

Последним этапом работ для группы управления яв­ляется оформление результатов работы. На этом этапе производится анализ результатов экспертного оценива­ния; составление отчета; обсуждение и одобрение ре­зультатов; представление итогов работы на утвержде­ние; ознакомление с результатами экспертизы организа­ций и лиц.

1.4. Подбор экспертов

Для реализации процедуры экспертного оценивания не­обходимо сформировать группу экспертов. Общим тре­бованием при формировании группы экспертов является эффективное решение проблемы экспертизы. Эффектив­ность решения проблемы определяется характеристика­ми достоверности экспертизы и затрат на нее.

Достоверность экспертного оценивания может быть определена только на основе практического решения проблемы и анализа ее результатов. Использование экс­пертов как раз и обусловлено тем, что отсутствуют ка­кие-либо другие способы получения информации. Поэто­му оценка достоверности экспертизы может осуществ­ляться, как правило, только по апостериорным (послеопытным) данным. Если экспертиза проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления ста­тистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки до­стоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характе­ристик экспертов.

Определение характера зависимости достоверности от перечисленных факторов является еще одной пробле­мой процедуры подбора экспертов.

Сложной проблемой процедуры подбора является формирование системы характеристик эксперта, сущест­венно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свой­ства специалиста и возможные отношения между людь­ми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

Еще одной проблемой является организация процеду­ры подбора экспертов, т.е. определение четкой последо­вательности работ, выполняемых в процессе подбора экс­пертов и необходимых ресурсов для их реализации.

Максимальное число экспертов в группе проверяется на ограничение по финансовым ресурсам. Определив за­висимость между достоверностью, количеством экспер­тов и расходами на оплату, группа управления представ­ляет руководству эту информацию и формулирует воз­можные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего вы­полнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

Следующим этапом работы по подбору экспертов яв­ляется составление предварительного списка экспертов. При составлении этого списка проводится анализ ка­честв экспертов. Кроме учета качеств экспертов, опреде­ляются их местонахождение и возможности участия вы­бранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандида­тов в эксперты.

После составления списка экспертов им направляют­ся письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления состав­ляет окончательный список группы экспертов.

После составления и утверждения списка экспертам посылается сообщение о включении их в состав эксперт­ной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высы­лается анкета с необходимыми инструкциями для их за­полнения. Сообщением экспертам о включении их вэкс­пертизу заканчивается работа по подбору экспертов.

1.5. Опрос экспертов

Опрос – главный этап совместной работы группы управ­ления и экспертов. Основным содержанием опроса явля­ется:

Постановка задачи и предъявление вопросов экспер­там;

Информационное обеспечение работы экспертов;

Выработка экспертами суждений, оценок, предложе­ний;

Сбор результатов работы экспертов.

Можно назвать три типа задач, которые решаются в процессе опроса:

Оценка качественная или количественная заданных объектов;

Построение новых объектов;

Построение и оценка новых объектов.

При коллективной экспертизе используются следую­щие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.

Анкетирование может проводиться с обратной связью или без нее. При анкетировании с обратной связью опрос экспер­тов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

Главным в организации опроса является обеспечение максимума информации и максимума творческой актив­ности, самостоятельности эксперта. Необходимо стре­миться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому яв­лению, которой располагают как эксперты, так и орга­низаторы опроса, не лишая в то же время эксперта твор­ческой самостоятельности и активности.

Однако возможности эксперта по переработке инфор­мации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается чело­веком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она пред­ставляется в доходчивой, яркой и компактной форме.

Из этих психологических особенностей следует необ­ходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения за­писей, использования технических средств, а также не­обходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

Необходимо подчеркнуть противоречивость значения обмена экспертами информацией, так как получение такой информации таит опасность потери творческой не­зависимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невоз­можно, и при каждой экспертизе ее организаторы долж­ны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспер­тов.

Каждый из видов опроса имеет свои достоинства и недостатки в построении обмена информацией между экспертами и в организации их независимого творчества. Выбор того или иного вида опроса определяется многи­ми факторами, из которых основными являются:

Цель и задачи экспертизы;

Существо и сложность анализируемой проблемы;

Полнота и достоверность исходной информации;

Требуемые объем и достоверность информации, полу­чаемой в результате опроса;

Время, отведенное на опрос и экспертизу в целом;

Допустимая стоимость опроса, и экспертизы в целом;

Количество экспертов и членов группы управления, их характеристики.

Анкетирование является наиболее эффективным и самым распространенным видом опроса, ибо позволяет наилучшим образом сочетать информационное обеспече­ние экспертов с их самостоятельным творчеством.

Глава 2. ФОРМАЛИЗАЦИЯ ИНФОРМАЦИИ И ШКАЛЫ СРАВНЕНИЙ

Рациональное использование информации, полученной от экспертов, возможно при условии образования ее в форму, удобную для дальнейшего анализа, направленного на подготовку и принятие решений.

Возможности формализации информации зависят от специфических особенностей исследуемого объекта, надежности и полноты имеющихся данных, уровня принятия решения. Форма представления экспертных данных зависит и от принятого критерия, на выбор которого, в свою очередь, существенное влияние оказывает специфика исследуемой проблемы.

Формализация информации, полученной от экспертов, должна быть направлена на подготовку решения таких технико-экономических и хозяйственных задач, которые не могут быть в полной мере описаны математически, поскольку являются «слабоструктуризованными», т.е. содержат неопределенности, связанные не только с измерением, но и самим характером исследуемых целей, средств их достижения и внешних условий.

При анализе перспектив необходимо не только представить в виде косвенных оценок часть информации, не поддающуюся количественному измерению, и не только выразить с помощью таких оценок количественно измеримую информацию, о которой в момент подготовки решения нет достаточно надежных данных. Самое важное – формализовать эту информацию так, чтобы помочь принимающему решение выбрать из множества действий одно или несколько, наиболее предпочтительные в отношении некоторого критерия.

Если эксперт в состоянии сравнить и оценить возможные варианты действий, приписав каждому из них определенное число, значит, он обладает определенной системой предпочтений. В зависимости от того, по какой шкале могут быть заданы эти предпочтения, экспертные оценки содержат больший или меньший объем информации и обладают различной способностью к формализации.

Исследуемые объекты или явления можно опознавать или различать на основе признаков или факторов. Фактор – это множество, состоящее, по крайней мере, из двух элементов, отражающих различные уровни некоторых подлежащих рассмотрению величин. Уровень одних факторов может быть выражен количественно (в рублях, процентах, килограммах и т.д.) – такие факторы называются количественными. Уровень других нельзя выразить с помощью числа, их называют качественными.

Факторы условно разделяют на дискретные и непрерывные. Дискретными являются факторы с определенным, обычно небольшим, числом уровней. Факторы, уровни которых рассматриваются как образующие непрерывное множество, называют непрерывными. В зависимости от целей и возможностей анализа одни и те же факторы могут трактоваться или как дискретные, или как непрерывные.

Рассмотрим основные логические аксиомы, которые используются в эксперных методах при формализации информации с помощью различных шкал.

При использовании номинальных шкал исследуемые объекты можно опознавать и различать на основе трех аксиом идентификации :

1) i либо есть j , либо есть не j ;

2) если i естьj , то j есть i ;

3) если i естьj и j есть k , то i есть k .

Факторы в данном случае выступают как ассоциативные показатели, обладающие информацией, которая может быть формализована в виде бинарных оценок двух уровней: 1 (идентичен) или 0 (различен).

В случаях, когда исследуемые объекты можно в результате сравнения расположить в определенной последовательности с учетом какого-либо существенного фактора (факторов), используются порядковые шкалы , позволяющие устанавливать равноценность или доминирование.

Предположим, что необходимо расположить в определенной последовательности n объектов по какому-либо фактору (критерию). Представим это упорядочение в виде матрицы где i, j = 1,2,…, n .

Величины устанавливают соотношения между объектами и могут быть определены следующим образом :

Установим основные аксиомы, необходимые для соблюдения условий упорядочения. Соотношение означающее, что i предпочтительнее j , должно быть ассиметричным, т.е., если то и транзитивным, т.е., если то

Соотношение означающее, что i и j равноценны, называется соотношением эквивалентности. Такое соотношение должно быть

рефлексивным, т.е.

симметричным, т.е., если то

транзитивным, т.е., если и то

Кроме того, эти два соотношения должны быть совместимы, т.е., если и то а также, если и то

И, наконец, упорядочение должно быть связным, т.е. для любых i и j или или или

Использование порядковых шкал позволяет различать объекты и в тех случаях, когда фактор (критерий) не задан в явном виде, т.е. когда мы не знаем признака сравнения, но можем частично или полностью упорядочить объекты на основе системы предпочтений, которой обладает эксперт.

Любое множество A будем называть упорядоченным, если для любых двух его элементов X и Y установлено, что, либо X предшествует Y , либо Y предшествует X . Иногда не удается установить строгое предшествование для всех элементов множества, но можно произвести «групповое» упорядочение, когда упорядочиваются подмножества равноценных элементов. Далее можно поставить задачу сравнения и упорядочения этих подмножеств.

Использование порядковых шкал позволяет производить преобразования полученных от экспертов оценок, соответствующих всем монотонно возрастающим функциям. Так, например, положительные оценки могут либо быть заменены их квадратами, или логарифмами, или любой другой монотонно возрастающей функцией.

Для формализации оценок, полученных от экспертов, часто используют интервальные шкалы . При использовании таких шкал для этих целей можно брать почти все обычные статистические меры. Исключением являются те меры, которые предполагают знание «истинно» нулевой точки шкалы, которая вводится здесь условно.

Интервальные шкалы предполагают возможность трансформации оценок, полученных на одной шкале, в оценки на другой шкале при помощи уравнения

Разности между значениями на шкале интервалов становятся мерами на шкале отношений, т.е. на обычной числовой шкале, т.к. в результате вычитания можно избавиться от постоянного слагаемого b .

В ряде случаев при формализации экспертных оценок используется свойство аддитивности, которое присуще только шкале отношений. Наличие аддитивности выражается следующими аксиомами :

1) если j = a и i > 0, то i + j > a ;

2) i + j = j + i ;

3) если i = a и j = b , то i + j = a + b ;

4) (i + j ) + k = i + (j + k ).

Обычная ситуация, когда необходимо принять решение с учетом аддитивности, заключается в том, что имеется несколько (по крайней мере, два) качественных факторов. При наличии нескольких факторов, характеризующих конкретные объекты, существует множество реальных свойств и типов связей объектов.

Так, например, факторы (показатели), характеризующие эффективность создания и внедрения новой техники, по их объективному содержанию можно подразделить на технические, экономические и социальные. С другой стороны, эти факторы можно сгруппировать в соответствии с их ролью в процессе создания и внедрения новой техники, выделив, например, показатели, характеризующие затраты, качество, экономическую эффективность и т.д.

В зависимости от характера и цели исследуемой проблемы факторы, по которым различаются объекты, могут быть количественно сравнимы или несравнимы между собой, частично сравнимы (т.е. не любой с любым, а лишь некоторые из них), упорядочены по степени их важности и т.д. Несоизмеримость различных факторов обусловлена не только необходимостью применения разных единиц измерения, но и тем, что каждый фактор, выражая определенное свойство, одновременно является оценкой отношения к данному свойству со стороны принимающего решение.

В практике управления во всех его уровнях часто возникают ситуации, когда необходимо принять решение с учетом многих факторов. Вопрос о том, какие именно факторы следует считать наиболее важными, зависит от качественных особенностей объекта решения и целей, которым должно отвечать это решение.

Например, при рассмотрении нескольких вариантов плана или вариантов организационно-технических мероприятий следует принимать во внимание факторы времени, затрат, технических и социальных результатов, экономической эффективности и т.д. Обычно все разнообразие факторов пытаются привести к однозначной комплексной оценке, причем наиболее удобной и распространенной такой оценкой является денежная.

Однако, поскольку последствия любого решения, особенно решений, связанных с научно-техническим прогрессом, выходят за рамки стоимостных показателей, необходимы измерители, характеризующие значимость, полезность того или иного фактора (или их комплекса). Такие комплексные измерители широко применяются при оценке качества продукции, технико-экономического уровня производства, при оценке результатов деятельности научных организаций и в ряде других задач. Хотя вопрос о создании достаточно обоснованной формализованной системы таких измерителей еще далек от окончательного решения, можно указать некоторые общие черты, обеспечивающие подход к формализации этого процесса и к использованию того или иного логико-математического аппарата.

В случае, когда все факторы задаются по номинальной шкале, т.е. задаются по этой шкале некоторый признак a и исходное множество элементов M, цель состоит в выборе подмножества элементов M(a), обладающих этим признаком. В таких случаях производится сравнение элементов, точнее их свойств, с признаком – эталоном, а результат – разбиение множества – можно рассматривать как упорядочение по двухэлементной шкале, по которой каждому из элементов присваивается балл, равный либо нулю, либо единице.

В случае, когда факторы заданы по порядковой шкале или по нескольким порядковым шкалам, цель состоит в упорядочении элементов исходного множества, в выявлении с помощью экспертов скрытой упорядоченности, которая, по предположению, присуща этому множеству. Необходимым условием решения этой задачи является допущение о транзитивности. Чем полнее упорядочены элементы, тем легче применить логико-математические и комбинаторные методы к решению таких задач.

В зависимости от существа или важности того или иного фактора на этапе подготовки и принятия решений могут быть использованы различные шкалы. Такие факторы, как затраты, прибыль, время, могут быть оценены по порядковой или интервальной шкале (в рублях, днях или условных единицах). Для оценки же таких факторов, как срок окупаемости или сравнительная эффективность вариантов, может быть использована интервальная шкала; качественные или социальные факторы могут оцениваться по порядковым или номинальным шкалам.

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

3.1. Задачи обработки

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами - средства достижения це­лей, то установление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

3.2. Групповая оценка объектов

В данном параграфе рассмотрим алгоритмы обра­ботки результатов экспертного оценивания множества объектов. Пусть m экспертов произвели оценку n объек­тов по l показателям. Результаты оценки представлены в виде величин , где j – номер эксперта, i - номер объекта,h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирова­ния, то величиныпредставляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результа­тов оценки существенно зависит от рассмотренных мето­дов измерения.

Рассмотрим случай, когда величиныполучены мето­дами непосредственной оценки или последовательного сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно (воспользоваться средним значением оценки для каждого объекта

(5.1)

где - коэффициенты весов показателей сравнения объектов, - коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объ­ектов являются нормированными величинами

(5.2)

Коэффициенты весов показателей могут быть опреде­лены экспертным путем. Если - коэффициент веса h -го показателя, даваемый j -м экспертом, то средний ко­эффициент веса h -го показателя по всем экспертам ра­вен

(5.3)

Получение групповой экспертной оценки путем сум­мирования индивидуальных оценок с весами компетент­ности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на пред­положении о выполнении аксиом теории полезности фон Неймана-Моргенштерна как для индивидуальных, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как пра­вило, выполняются, поэтому получение групповой оцен­ки объектов путем суммирования с весами индивидуаль­ных оценок экспертов широко применяется на практике.

Коэффициенты компетентности экспертов можно вы­числить по апостериорным данным, т. е. по результатам оценки объектов. Основной идеей этого вычисления яв­ляется предположение о том, что компетентность экспер­тов должна оцениваться по степени согласованности их оценок с групповой оценкой объектов.

Алгоритм вычисления коэффициентов компетентно­сти экспертов имеет вид рекуррентной процедуры :

(5.4)

(5.5)

(5.6)

Вычисления начинаются сt =1. В формуле (5.4) началь­ные значения коэффициентов компетентности принима­ются одинаковыми и равнымиТогда по фор­муле (5.4) групповые оценки объектов первого приближе­ния равны средним арифметическим значениям оценок экспертов

(5.7)

(5.8)

и значение коэффициентов компетентности первого при­ближения по формуле (5.6) :

(5.9)

Используя коэффициенты компетентности первого приближения, можно повторить весь процесс вычисле­ния по формулам (5.4), (5.5), (5.6) и получить вторые приближения величин

Повторение рекуррентной процедуры вычислений оце­нок объектов и коэффициентов компетентности естест­венно ставит вопрос о ее сходимости. Для рассмотрения этого вопроса исключим из уравнений (5.4), (5.6) пере­менныеии представим эти уравнения в вектор­ной форме

где матрицыВ размерности и С размерностиравны

Величина в уравнениях (5.10) определяется по фор­муле (5.5).

Если матрицы В и С неотрицательны и неразложи­мы, то, как это следует из теоремы Перрона – Фробениуса, привекторы и - сходятся к собственным векторам матриц В и С , соответствующим макси­мальным собственным числам этих матриц

(5.12)

Предельные значения векторов х иk можно вычислить из уравнений :

(5.13)

гдемаксимальные собственные числа матриц В и С .

Условие неотрицательности матриц В и С легко вы­полняется выбором неотрицательных элементовмат­рицы Х оценок объектов экспертами.

Условие неразложимости матриц В и С практически выполняется, поскольку, если эти матрицы разложимы, то это означает, что эксперты и объекты распадаются на независимые группы. При этом каждая группа экс­пертов оценивает только объекты своей группы. Естест­венно, что получать групповую оценку в этом случае нет смысла. Таким образом, условия неотрицательности и неразложимости матриц В и С , а следовательно, и условия сходимости процедур (5.4), (5.5), (5.6) в практи­ческих условиях выполняются.

Следует заметить, что практическое вычисление век­торов групповой оценки объектов и коэффициентов ком­петентности проще выполнять по рекуррентным форму­лам (5.4), (5.5), (5.6). Определение предельных значе­ний этих векторов по уравнению (5.13) требует примене­ния вычислительной техники.

Рассмотрим теперь случай, когда эксперты произво­дят оценку множества объектов методом ранжирования так, что величины есть ранги. Обработка результа­тов ранжирования заключается в построении обобщен­ной ранжировки. Для построения такой ранжировки введем конечномерное дискретное пространство ранжи­ровок и метрикув этом пространстве. Каждая ранжи­ровка множества объектов j -м экспертом есть точка в пространстве ранжировок.

Ранжировку можно представить в виде матрицы парных сравнений, элементы которой определим следу­ющим образом :

Очевидно, что, поскольку каждый объект эквива­лентен самому себе. Элементы матрицыантисим­метричны.

Если все ранжируемые объекты эквивалентны, то все элементы матрицы парных сравнений равны нулю. Та­кую матрицу будем обозначатьи считать, что точка в пространстве ранжировок, соответствующая матрице, является началом отсчета.

Обращение порядка ранжируемых объектов приводит к транспонированию матрицы парных сравнений.

Метрикакак расстояние между i -й и j -й ранжировками определяется единственным образом фор­мулой

если выполнены следующие 6 аксиом :

1. причем равенство достигается, если ранжировки и тождественны;

2.

причем равенство достигается, если ранжировка «лежит между» ранжировками и. Понятие «лежит между» означает, что суждение о некоторой пареобъектов в ранжировке совпадает с суждением об этой паре либо в, либо в или же вва в

4.

где получается изнекоторой перестановкой объ­ектов, а из той же самой перестановкой. Эта ак­сиома утверждает независимость расстояния от перену­мерации объектов.

5. Если две ранжировки , одинаковы всюду, за исключением n -элементного множества элементов, явля­ющегося одновременно сегментом обеих ранжировок, то можно вычислить, как если бы рассматрива­лась ранжировка только этих n -объектов. Сегментом ранжировки называется множество, дополнение которо­го непусто и все элементы этого дополнения находятсялибо впереди, либо позади каждою элемента сегмента. Смысл этой аксиомы состоит в том, что если две ранжи­ровки полностью согласуются в начале и конце сегмента, а отличие состоит в упорядочении средних n -объектов, то естественно принять, что расстояние между ранжиров­ками должно равняться расстоянию, соответствующему ранжировкам средних n -объектов.

6. Минимальное расстояние равно единице.

Пространство ранжиро­вок при двух объектах можно изобразить в виде трех точек, лежащих на одной прямой. Расстояния между точками равны При трех объектах про­странство всех возможных ранжировок состоит из 13 то­чек.

Используя введенную метрику, определим обобщен­ную ранжировку как такую точку, которая наилучшим образом согласуется с точками, представляющими собой ранжировки экспертов. Понятие наилучшего согласова­ния на практике чаще всего определяют как медиану и среднюю ранжировку.

Медиана есть такая точка в пространстве ранжиро­вок, сумма расстояний от которой до всех точек - ран­жировок экспертов является минимальной. В соответст­вии с определением медиана вычисляется из условия

Средняя ранжировка есть такая точка, сумма квад­ратов расстояний от которой до всех точек – ранжиро­вок экспертов является минимальной. Средняя ранжи­ровка определяется из условия

Пространство ранжировок конечно и дискретно, по­этому медиана и средняя ранжировка могут быть только какими-либо точками этого пространства. В общем слу­чае медиана и средняя ранжировка могут не совпадать ни с одной из ранжировок экспертов.

Если учитывается компетентность экспертов, то ме­диана и средняя ранжировка определяются из условий :

где - коэффициенты компетентности экспертов.

Если ранжировка объектов производится по несколь­ким показателям, то определение медианы вначале про­изводится для каждого эксперта по всем показателям, а затем вычисляется медиана по множеству экспертов :

(j =1,2,…,m );

где - коэффициенты весов показателей.

Основным недостатком определения обобщенной ран­жировки в виде медианы или средней ранжировки яв­ляется трудоемкость расчетов. Естественный способ отыскания или в виде перебора всех точек простран­ства ранжировок неприемлем вследствие очень быстро­го роста равномерности пространства при увеличении количества объектов и, следовательно, роста трудоемко­сти вычислений. Можно свести задачу отыскания илик специфической задаче целочисленного программи­рования. Однако это не очень эффективно уменьшает вы­числительные трудности.

Расхождение обобщенных ранжировок при различ­ных критериях возникает при малом числе экспертов и несогласованности их оценок. Если мнения экспертов близки, то обобщенные ранжировки, построенные по критериям медианы и среднего значения, будут совпа­дать.

Сложность вычисления медианы или средней ран­жировки привела к необходимости применения более простых способов построения обобщенной ранжировки.

К числу таких способов относится способ сумм рангов.

Этот способ заключается в ранжировании объектов по величинам сумм рангов, полученных каждым объек­том от всех экспертов. Для матрицы ранжировок составляются суммы

Для учета компетентности экспертов достаточно умножить каждую i -ю ранжировку на коэффициент ком­петентности j -го эксперта В этом случае вы­числение суммы рангов для i -го объекта производится по следующей формуле :

(i =1,2,…,n ).

Обобщенная ранжировка с учетом компетентности экс­пертов строится на основе упорядочения сумм рангов для всех объектов.

Следует отметить, что построение обобщенной ранжи­ровки по суммам рангов является корректной процеду­рой, если ранги назначаются как места объектов в виде натуральных чисел 1, 2, ..., n . Если назначать ранги произвольным образом, как числа в шкале порядка, то сумма рангов, вообще говоря, не сохраняет условие мо­нотонности преобразования и, следовательно, можно по­лучать различные обобщенные ранжировки при различ­ных отображениях объектов на числовую систему. Нуме­рация мест объектов может быть произведена единст­венным образом с помощью натуральных чисел. Поэтому при хорошей согласованности экспертов построение обобщенной ранжировки по методу сумм рангов дает результаты, согласующиеся с результатами вычисления медианы.

Еще одним более обоснованным в теоретическом от­ношении подходом к построению обобщенной ранжиров­ки является переход от матрицы ранжировок к матрице парных сравнений и вычисление собственного вектора,соответствующего максимальному собственному числу этой матрицы. Упорядочение объектов производится по величине компонент собственного вектора.

3.3. Оценка согласованности мнений экспертов

При ранжировании объектов эксперты обычно расходят­ся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Дисперсионный коэффициент конкордации . Рас­смотрим матрицу результатов ранжировки n объектов группой изm экспертов (j =1,…,m ; i =1,…,n ), где - ранг, присваиваемый j -м экспертом i -му объекту. Составим суммы рангов по каждому столбцу. В резуль­тате получим вектор с компонентами

(i =1,2,…,n). (5.14)

Величины рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оп­тимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой :

, (5.15)

где - оценка математического ожидания, равная

Дисперсионный коэффициент конкордации определя­ется как отношение оценки дисперсии (5.15) к макси­мальному значению этой оценки

Коэффициент конкордации изменяется от нуля до еди­ницы, поскольку.

Вычислим максимальное значение оценки дисперсии для случая отсутствия связанных рангов (все объекты различны). Предварительно покажем, что оценка мате­матического ожидания зависит только от числа объек­тов и количества экспертов. Подставляя в (5.16) зна­чение из (5.14), получаем

Рассмотрим вначале суммированные поi при фиксиро­ванном j . Это есть сумма рангов для j -го эксперта. По­скольку эксперт использует для ранжировки натураль­ные числа от 1 до n , то, как известно, сумма натураль­ных чисел от 1 до n равна

(5.19)

Подставляя (5.19) в (5.18), получаем

(5.20)

Таким образом, среднее значение зависит только от числа экспертов m и числа объектов n .

Для вычисления максимального значения оценки дис­персии подставим в (5.15) значение из (5.14) и воз­ведем в квадрат двучлен в круглой скобке. В результате получаем

(5.21)

Учитывая, что из (5.18) следует

получаем

(5.22)

Максимальное значение дисперсии достигается при наибольшем значении первого члена в квадратных скоб­ках. Величина этого члена существенно зависит от рас­положения рангов - натуральных чисел в каждой стро­кеi . Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицыбудут расположены одинаковые числа. Следовательно, суммирование рангов в каждойi -u стро­ке дает m -кратное повторениеi -ro числа :

Возводя в квадрат и суммируя по i , получаем значение первого члена в (5.22) :

(5.23)

Теперь предположим, что эксперты дают несовпадающие ранжировки, например, для случая n =m все эксперты присваивают разные ранги одному объекту. Тогда

Сравнивая это выражение с приm =n , убеждаемся, что первый член в квадратных скобках формулы (9) ра­вен второму члену и, следовательно, оценка дисперсии равна нулю.

Таким образом, случай полного совпадения ранжиро­вок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в (5.22) и выпол­няя преобразования, получаем

(5.24)

Введем обозначение

(5.25)

Используя (5.25), запишем оценку дисперсии (5.15) в виде

Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (n -1), запишем окончательное выражение для коэффициента конкордации

(5.27)

Данная формула определяет коэффициент конкордации для случая отсутствия связанных рангов.

Если в ранжировках имеются связанные ранги, то максимальное значение дисперсии в знаменателе форму­лы (5.17) становится меньше, чем при отсутствии свя­занных рангов. Можно показать, что при наличии свя­занных рангов коэффициент конкордации вычисляется по формуле :

(5.28)

(5.29)

В формуле (5.28) - показатель связанных рангов в j -й ранжировке, - число групп равных рангов в j -й ран­жировке, - число равных рангов в k -й группе связан­ных рангов при ранжировке j -м экспертом. Если совпа­дающих рангов нет, то =0,=0 и, следовательно, =0. В этом случае формула (5.28) совпадает с форму­лой (5.27).

Коэффициент конкордации равен 1, если все ранжи­ровки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т. е. со­вершенно нет совпадения.

Коэффициент конкордации, вычисляемый по формуле (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распреде­ление частот для различных значений числа экспертов m и количества объектов n . Распределение частот для W при и вычислено в . Для боль­ших значений m и n можно использовать известные ста­тистики. При числе объектов n >7 оценка значимости коэффициента конкордации может быть произведена по критерию. ВеличинаWm (n -1 ) имеет распределе­ние сv=n –1 степенями свободы.

При наличии связанных рангов распределение с v=n -1 степенями свободы имеет величина :

(5.30)

Энтропийный коэффициент конкордации определяет­ся формулой (коэффициент согласия) :

где Н – энтропия, вычисляемая по формуле

(5.32)

а - максимальное значение энтропии. В формуле для энтропии - оценки вероятностей j -го ранга, при­сваиваемого i -му объекту. Эти оценки вероятностей вы­числяются в виде отношения количества экспертов , приписавших объекту рангj к общему числу экспер­тов .

Максимальное значение энтропии достигается при равновероятном распределении рангов, т. е. когда. Тогда

Подставляя это соотношение в формулу (5.32), получаем

(5.35)

Коэффициент согласия изменяется от нуля до едини­цы. При расположение объектов по рангам рав­новероятно, поскольку в этом случае . Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупно­сти показателей, либо полной несогласованностью мне­ний экспертов. При , что достигается при нулевой энтропии (H =0), все эксперты дают одинаковую ранжи­ровку. Действительно, в этом случае для каждого фик­сированного объекта все эксперты присваивают ему один и тот же ранг j , следовательно, , a Поэтому и H =0.

Сравнительная оценка дисперсионного и энтропийно­го коэффициентов конкордации показывает, что эти ко­эффициенты дают примерно одинаковую оценку согла­сованности экспертов при близких ранжировках. Одна­ко если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделениямнений на две противоположные группы. Объем вычис­лений для энтропийного коэффициента конкордации не­сколько больше, чем для дисперсионного коэффициента конкордации.

3.4. Обработка парных сравнений объектов

При решении задачи оценки большого числа объектов (ранжирование, определение относительных весов, бал­льная оценка) возникают трудности психологического характера, обусловленные восприятием экспертами мно­жества свойств объектов. Эксперты сравнительно легко решают задачу парного сравнения объектов. Возникает вопрос, каким образом получить оценку всей совокуп­ности объектов на основе результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи. Пусть m экспертов про­изводят оценку всех пар объектов, давая числовую оценку

(5.36)

Если при оценке пары экспертов высказались в пользу предпочтения экспертов высказались наобороти экспертов считают эти объекты равноценными, то оценка математического ожидания случайной величины равна

(5.37)

Общее количество экспертов равно сумме

(5.38)

Определяя отсюда и подставляя его в (5.37), полу­чаем

(5.39)

Очевидно, чтоСовокупность величин образует матрицу на основе которой можно по­строить ранжировку всех объектов и определить коэф­фициенты относительной важности объектов.

Введем вектор коэффициентов относительной важно­сти объектов порядкаt следующей формулой :

где - матрица математических ожиданий оценок пар объектов, - вектор коэф­фициентов относительной важности объектов порядка t . Величина равна

(5.41)

Коэффициенты относительной важности первого по­рядка есть относительные суммы элементов строк мат­рицы X . Действительно, полагая t =1, из (5.40) получаем

(5.42)

Коэффициенты относительной важности второго по­рядка (t =2} есть относительные суммы элементов строк матрицы X 2 .

(5.43)

Если матрица Х неотрицательна и неразложима, то при увеличении порядка величина сходится к максимальному собственному числу матрицы Х

а вектор коэффициентов относительной важности объек­тов стремится к собственному вектору матрицы X , соот­ветствующему максимальному собственному числу

Определение собственных чисел и собственных век­торов матрицы производится решением алгебраического уравнения

где Е-единичная матрица, и системы линейных урав­нений

гдеk – собственный вектор матрицы X , соответствующий максимальному собственному числу . Компоненты соб­ственного вектора есть коэффициенты относительной важности объектов, измеренные в шкале отношений.

С практической точки зрения вычисление коэффици­ентов относительной важности объектов проще произво­дить последовательной процедурой по формуле (5.40) при t =1, 2, … Как показывает опыт, 3-4 последователь­ных вычислений достаточно, чтобы получить значения и k , близкие к предельным значениям, определяемым уравнениями (5.46), (5.47).

Матрица неотрицательная, поскольку все ее элементы (5.39) неотрицательны. Матрица называется неразложимой, если перестановкой рядов (строк и одно­именных столбцов) ее нельзя привести к треугольному виду

(5.48)

где - неразложимые подматрицы матрицы X . Пред­ставление матрицы Х в виде (5.48) означает разбиение объектов на l доминирующих множеств

При 1 =n матрица Х неразложима, т. е. существует толь­ко одно доминирующее множество, совпадающее с ис­ходным множеством объектов. Разложимость матрицы Х означает, что среди экспертов имеются большие раз­ногласия в оценке объектов.

Если матрица Х неразложима, то вычисление коэф­фициентов относительной важностипо­зволяет определить, во сколько раз один объект превос­ходит другой объект по сравниваемым показателям. Вычисление коэффициентов относительной важности объектов позволяет одновременно построить ранжиров­ку объектов. Объекты ранжируются так, что первым объ­ектом считается объект, у которого коэффициент относи­тельной важности наибольший. Полная ранжировка определяется цепочкой неравенств

из которой следует

Если матрица Х является разложимой, то определить коэффициенты относительной важности можно только для каждого множества. Для каждой матрицы определяется максимальное собственное число и соответ­ствующий этому числу собственный вектор. Компоненты собственного вектора и есть коэффициенты относитель­ной важности объектов, входящих в множество. По этим коэффициентам осуществляется ранжировка объ­ектов данного множества. Общая ранжировка объектов дается соотношением

Таким образом, если матрица Х неразложима, то по результатам парного сравнения объектов возможно какизмерение предпочтительности объектов в шкале отно­шений, так и в шкале порядка (ранжирование). Если же матрица Х разложима, то возможно только ранжиро­вание объектов.

Следует отметить, что отношение предпочтения может быть выражено любым положительным числом С . При этом должно выполняться условие В частности, можно выбрать С =2 так, что если , то если то и если , то .

3.5. Определение взаимосвязи ранжировок

При обработке результатов ранжирования могут возник­нуть задачи определения зависимости между ранжиров­ками двух экспертов, связи между достижением двух различных целей при решении одной и той же совокуп­ности проблем или взаимосвязи между двумя призна­ками.

В этих случаях мерой взаимосвязи может служить коэффициент ранговой корреляции . Характеристикой взаимосвязи множества ранжировок или целей будет яв­ляться матрица коэффициентов ранговой корреляции. Известны коэффициенты ранговой корреляции Спирмена и Кендалла.

Коэффициент ранговой корреляции Спирмена опре­деляется формулой :

где - взаимный корреляционный момент первой и второй ранжировок, - дисперсии этих ранжиро­вок. По данным двум ранжировкам оценки взаимного корреляционного момента и дисперсии вычисляются по формулам :

(5.51)

(5.52)

где n – число ранжируемых объектов, - ранги в первой и второй ранжировках соответственно, - средние ранги в первой и второй ранжировках. Оценки средних рангов определяются формулами :

(5.53)

Вычислим оценки средних рангов и дисперсий в пред­положении, что в ранжировках отсутствуют связанные ранги, т. е. обе ранжировки дают строгое упорядочение объектов. В этом случае средние ранги (5.53) представ­ляют собой суммы натуральных чисел от единицы доn , поделенные на n . Следовательно, средние ранги для обе­их ранжировок одинаковы и равны

(5.54)

При вычислении оценок дисперсий заметим, что если раскрыть круглые скобки в формулах (5.52), то под зна­ком сумм будут находиться натуральные числа и их квадраты. Две ранжировки могут отличаться друг от друга только перестановкой рангов, но сумма натураль­ных чисел и их квадратов не зависит от порядка (пере­становки) слагаемых. Следовательно, дисперсии (5.52) для двух любых ранжировок (при отсутствии связанных рангов) будут одинаковы и равны

(i=1,2). (5.55)

Подставляя значение из (5.51) ииз (5.55) в формулу (5.50), получим оценку коэффициента ранго­вой корреляции Спирмена

(5.56)

Для проведения практических расчетов удобнее поль­зоваться другой формулой для коэффициента корреля­ции Спирмена. Ее можно получить из (5.56), если вос­пользоваться тождеством

В равенстве (5.57) первые две суммы в правой части, как это следует из выражения (5.55), одинаковы и рав­ны

Подставляя в формулу (5.56) значение суммы из (5.57) и используя равенство (5.58), получаем следу­ющую удобную для расчетов формулу коэффициента ранговой корреляции Спирмена :

(5.59)

Коэффициент корреляции Спирмена изменяется от –1 до +1. Равенство единице достигается, как это сле­дует из формулы (5.59), при одинаковых ранжировках, т. е. когда Значение имеет место при про­тивоположных ранжировках (прямая и обратная ран­жировки). При равенстве коэффициента корреляции ну­лю ранжировки считаются линейно независимыми.

Оценка коэффициента корреляции, вычисляемая по формуле (5.59), является случайной величиной. Для определения значимости этой оценки необходимо задать­ся величиной вероятности , принять решение о значи­мости коэффициента корреляции и определить значение порога по приближенной формуле

(5.60)

где n – количество объектов, - функция, обратная функции

для которой имеются таблицы . После вычисления порогового значения оценка коэффициента корреляции считается значимой, если.

Для определения значимости оценки коэффициента Спирмена можно воспользоваться критерием Стьюдента, поскольку величина

приближенно распределена по закону Стьюдента с n – 2 степенями свободы.

Если в ранжировках имеются связанные ранги, то коэффициент Спирмена вычисляется по следующей фор­муле :

(5.62)

где - оценка коэффициента ранговой корреляции Спирмена, вычисляемая по формуле (5.59), а величины равны

(5.63)

В этих формулахи - количество различных связан­ных рангов в первой и второй ранжировках соответст­венно.

Коэффициент ранговой корреляции Кендалла при от­сутствии связанных рангов определяется формулой :

гдеn – количество объектов, - ранги объектов, sign x – функция, равная

Сравнительная оценка коэффициентов ранговой кор­реляции Спирмена и Кендалла показывает, что вычис­ление коэффициентов Спирмена производится по более простой формуле. Кроме того, коэффициент Спирмена дает более точный результат, поскольку он является оп­тимальной по критерию минимума средней квадрата ошибки оценкой коэффициента корреляции.

Отсюда следует, что при практических расчетах кор­реляционной зависимости ранжировок предпочтитель­нее использовать коэффициент ранговой корреляции Спирмена.

ЗАКЛЮЧЕНИЕ

Динамизм и новизна современных народнохозяйственных задач, возможность возникновения разнообразных факторов, влияющих на эффективность решений, требуют, чтобы эти решения принимались быстро и в то же время были хорошо обоснованы. Опыт, интуиция, чувство перспективы в сочетании с информацией помогают специалистам точнее выбирать наиболее важные цели и направления развития, находить наилучшие варианты решения сложных научно-технических и социально-экономических задач в условиях, когда нет информации о решении аналогичных проблем в прошлом.

Использование метода экспертных оценок помогает формализовать процедуры сбора, обобщения и анализа мнений специалистов с целью преобразования их в форму, наиболее удобную для принятия обоснованного решения.

Но, следует заметить, что метод экспертных оценок не может заменить ни административных, ни плановых решений, он лишь позволяет пополнить информацию, необходимую для подготовки и принятия таких решений. Широкое использование экспертных оценок правомерно только там, где для анализа будущего невозможно применить более точные методы.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

Однако, уже и сегодня экспертные оценки в сочетании с другими математико-статистическими методами являются важным инструментом совершенствования управления на всех уровнях.

СПИСОК ЛИТЕРАТУРЫ:

2. Беклешев В.К., Завлин П.Н. Нормирование труда в НИИ и КБ. М.: Экономика, 1973. 203 с.

10. Добров Г.М., Ершов Ю.В., Левин Е.И., Смир­нов Л.П. Экспертные оценки в научно-техническом прогнози­ровании. Киев: Наукова думка, 1974. 263 с.

11. Евланов Л.Г. Принятие решений в условиях неопределен­ности. М.: ИУНХ, 1976. 196 с.

12. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978. 133 с.

13. Карданская Н. Принятие управленческого решения. М.: ЮНИТИ, 1999. 407 с.

14. Кемени Д., Снелл Д. Кибернетическое моделирование. М.: Советское радио, 1972. 234 с.

15. Кравченко Т.К. Процесс принятия плановых решений. М.: Экономика, 1974. 183 с.

16. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. 256 с. . 17. Михеев В.И. Социально-психологические аспекты управле­ния. Стиль и методы работы руководителя. М.: Молодая гвар­дия, 1975. 181 с.

18. Пфанцагль И. Теория измерений. М.: Мир, 1976. 278 с.

19. Тихомиров Ю.А. Управленческое решение. М.: Наука, 1996. 278 с.

20. Федоренко Н.П. Оптимизация экономики. М.: Наука, 1977. 236 с.

21. Ямпольский С.М., Лисичкин В.А. Прогнозирование научно-технического прогресса. М.: Экономика, 1974. 302 с.

Основная идея прогнозирования на основе экспертных оценок заключается в построении рациональной процедуры интуитивно-логического мышления человека в сочетании с количественными методами оценки и обработки получаемых результатов .

Сущность методов экспертных оценок заключается в том, что в основу прогноза закладывается мнение специалиста или коллектива специалистов, основанное на профессиональном, научном и практическом опыте .

Индивидуальные экспертные оценки - основаны на использовании мнений экспертов-специалистов соответствующего профиля.

1. Метод "интервью" предполагает беседу прогнозиста с экспертом по схеме "вопрос-ответ", в процессе которой прогнозист в соответствии с заранее разработанной программой ставит перед экспертом вопросы относительно перспектив развития прогнозируемого объекта. Успех такой оценки в значительной степени зависит от способности эксперта экспромтом давать заключение по самым различным вопросам.

2. Метод анкетного опроса заключается в том, что эксперту предлагается для заполнения анкета (опросный лист), содержащая перечень вопросов, каждый из которых логически связан с задачей исследования.

В анкете могут использоваться следующие типы вопросов:

· открытые – ответы на данные вопросы могут быть сформулированы в любой форме;

· закрытого типа – предлагаются варианты ответов, один из которых должен выбрать эксперт.

Использование в анкете вопросов закрытого типа предпочтительней, так как упрощает статистическую обработку результатов ответа и облегчает работу эксперта при заполнении анкеты. С другой стороны, перечень ответов на вопрос может и не содержать мнение эксперта. Поэтому при формировании перечня вариантов ответов на некоторые вопросы следует предусматривать возможность выдвижения экспертом своего варианта ответа или уклонение от ответа

3. Аналитический метод (аналитических записок) предусматривает тщательную самостоятельную работу эксперта над анализом тенденций, оценкой состояния и путей развития прогнозируемого объекта. Эксперт может использовать всю необходимую ему информацию об объекте прогноза. Свои выводы он оформляет в виде докладной записки. Основное преимущество этого метода - возможность максимального использования индивидуальных способностей эксперта. Однако он мало пригоден для прогнозирования сложных систем и выработки стратегии из-за ограниченности знаний одного специалиста-эксперта в смежных областях знаний.

Основное преимущество методов индивидуальных экспертных оценок состоит в возможности максимального использования индивидуальных способностей экспертов. Однако данные методы мало пригодны для прогнозирования наиболее общих стратегий из-за ограниченности знаний одного эксперта о развитии смежных областей науки и практики.

Примером использования экспертных оценок при планировании развития социально-экономических систем может служить многокритериальная задача выбора варианта решения, которая на сегодняшний день актуальна во многих сферах деятельности человека.

Процедура многокритериального выбора включает в себя следующие этапы:

1. Выявление наиболее существенных показателей (критериев), характеризующих исследуемый объект;

2. Определение способа количественной оценки показателей;

3. Определение допустимых границ изменения показателей;

4. Выбор метода поиска наилучшего варианта;

5. Решение задачи и анализ результатов.

В качестве целевой функции для оценки вариантов решений чаще всего используется аддитивная свертка критериев:

Или , (2.18)

где - весовые коэффициенты, характеризующие значимость критерия . Численные значения определяются экспертами, при этом, желательно соблюдение следующего условия:

Если критерии имеют различные единицы измерения, то их необходимо привести к единому безразмерному масштабу так, чтобы выполнялись следующие неравенства:

Пример . По мнению экспертов, основными показателями экономического и социального развития региона являются:

Валовый внутренний (региональный) продукт;

Уровень занятости населения;

Среднемесячная заработная плата.

Экспертная оценка значимости критериев по десятибалльной шкале представлена в табл. 2.2.

Руководству региона предложено четыре целевые программы развития региона, направленные на первоочередное финансирование:

1. Агропромышленного комплекса;

2. Предприятий пищевой промышленности;

3. Отраслей социально-культурной сферы;

4. Жилищного строительства.

Ожидаемые значения основных показателей, получаемые при реализации рассматриваемых целевых программ, приведены в табл. 2.3.

Таблица 2.2

Результаты экспертной оценки

Таблица 2.3

Ожидаемые значения основных социально-экономических показателей развития региона

Необходимо определить наиболее целесообразную программу развития региона.

Решение:

Определим значения весовых коэффициентов:

; ; .

Таким образом, в результате обработки экспертных оценок целевая функция имеет следующий вид:

Учитывая, что целевая программа №3 заведомо неэффективна по сравнению с программой №2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Так как значения показателей имеют различную размерность, то их необходимо привести к единому безразмерному масштабу. Это достигается делением элементов каждого столбца на максимальную величину в столбце:

На заключительном этапе определим значение целевой функции для предложенных программ:

Максимальное значение целевой функции соответствует программе №1. Следовательно, реализация данной программы наиболее целесообразна.

Наиболее достоверными являются коллективные экспертные оценки - предполагают определение степени согласованности мнений экспертов по перспективным направлениям развития объекта прогнозирования, сформулированным отдельными специалистами.

Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив развития данного объекта.

1. Суть метода коллективной генерации идей (мозговой атаки) состоит в использовании творческого потенциала специалистов при мозговой атаке проблемной ситуации, реализующей вначале генерацию идей, а затем их структурирование, анализ и критику с выдвижением контридей и выработкой согласованной точки зрения.

Метод коллективной генерации идей предполагает реализацию следующих этапов:

1. формирование группы участников "мозговой атаки" по решению определенной проблемы. Оптимальная численность группы находится эмпирическим путем. Наиболее продуктивными признаны группы, состоящие из 10-15 человек.

2. Группа анализа составляет проблемную записку, в которой формулируется проблемная ситуация и содержится описание метода и проблемной ситуации.

3. Этап генерации идей. Каждый участник имеет право выступать много раз. Критика предыдущих выступлений и скептические замечания не допускаются. Ведущий корректирует процесс, приветствует усовершенствование или комбинацию идей, оказывает поддержку, освобождая участников от скованности. Продолжительность "мозговой атаки" - не менее 20 мин и не более 1 ч в зависимости от активности участников.

4. Систематизация идей, высказанных на этапе генерации. Формируется перечень идей, выделяются признаки, по которым идеи могут быть объединены, идеи объединяются в группы согласно выделенным признакам.

5. На пятом этапе осуществляется деструктурирование (разрушение) систематизированных идей. Каждая идея подвергается всесторонней критике со стороны группы высококвалифицированных специалистов в составе 20-25 человек.

6. На шестом этапе дается оценка критических замечаний и составляется список практически реализуемых идей.

Метод "635" - одна из разновидностей "мозговой атаки". Цифры б, 3, 5 обозначают 6 участников, каждый из которых должен записать 3 идеи в течение 5 мин. Лист ходит по кругу. Таким образом, за полчаса каждый запишет в свой актив 18 идей, а все вместе - 108. Структура идей четко определена. Возможны модификации метода. Этот метод широко используется в зарубежных странах (особенно в Японии) для отбора из множества идей наиболее оригинальных и прогрессивных по решению определенных проблем.

2. Метод "Дельфи". Цель метода - разработка программы последовательных многотуровых индивидуальных опросов. Индивидуальный опрос экспертов обычно проводится в форме анкет-вопросников. Затем осуществляется их статистическая обработка на ЭВМ и формируется коллективное мнение группы, выявляются и обобщаются аргументы в пользу различных суждений. Обработанная на ЭВМ информация сообщается экспертам, которые могут корректировать оценки, объясняя при этом причины своего несогласия с коллективным суждением. Эта процедура может повторяться до 3-4 раз. В результате происходит сужение диапазона оценок и вырабатывается согласованное суждение относительно перспектив развития объекта.

Особенности метода "Дельфи":

а) анонимность экспертов - взаимодействие членов группы при заполнении анкет полностью исключается;
б) возможность использования результатов предыдущего тура опроса;

в) статистическая характеристика группового мнения.

3. Метод "комиссий" - основан на работе специальных комиссий. Группы экспертов за "круглым столом" обсуждают ту или иную проблему с целью согласования точек зрения и выработки единого мнения. Недостаток этого метода заключается в том, что группа экспертов в своих суждениях руководствуется в основном логикой компромисса.

Метод экспертных комиссий может быть организован в одной из следующих форм:

Как показала практика, метод «комиссий» имеет существенные недостатки:

Ольшое влияние такого психологического фактора как мнение авторитетных экспертов, к которому присоединяются остальные эксперты, не высказывая своей точки зрения;

Нежелание экспертов публично отказываться от ранее высказанных ими мнений;

При работе комиссий чаще всего происходит спор двух или трех наиболее авторитетных экспертов, в результате чего другие эксперты в дискуссии участие или не принимают или не учитываются высказанные ими мнения.

4. Метод суда – основан на организации работы коллектива экспертов в форме ведения судебного процесса. Использование этого метода целесообразно при наличии нескольких групп экспертов, каждая из которых отстаивает свою точку зрения. В данном случае в качестве «подсудимого» выступает объект прогнозирования. Лидеры групп, высказывающих альтернативные точки зрения, выступают в качестве обвинения и защиты (прокурор, адвокат). Отдельные эксперты играют роль свидетелей, предоставляя суду необходимую для принятия решения информацию. Роль судьи играет заинтересованное лицо (группа лиц). Так, например, в телевизионной передаче «Процесс», основанной на использовании метода суда для анализа и прогнозирования развития различных социально-экономических процессов, роль судьи играли зрители, голосуя в процессе передачи телефонными звонками за ту точку зрения, которую они поддерживали.

Метод морфологического анализа предполагает выбор наиболее приемлемого решения проблемы из числа возможных. Его целесообразно использовать при прогнозировании фундаментальных исследований. Метод включает ряд приемов, предполагающих систематизированное рассмотрение характеристик объекта. Исследование проводится по методу "морфологического ящика", который строится в виде дерева целей или матрицы, в клетки которой вписаны соответствующие параметры. Последовательное соединение параметра первого уровня с одним из параметров последующих уровней представляет собой возможное решение проблемы. Общее количество возможных решений равно произведению числа всех параметров, представленных в "ящике", взятых по строкам. Путем перестановок и различных сочетаний можно выработать вероятностные характеристики объектов.

Метод написания сценария - основан на определении логики процесса или явления во времени при различных условиях. Он предполагает установление последовательности событий, развивающихся при переходе от существующей ситуации к будущему состоянию объекта. Прогнозный сценарий определяет стратегию развития прогнозируемого объекта. Он должен отражать генеральную цель развития объекта, критерии оценки верхних уровней «дерева целей», приоритеты проблем и ресурсы для достижения основных целей. В сценарии отображаются последовательное решение задачи, возможные препятствия. При этом используются необходимые материалы по развитию объекта прогнозирования.

Прогнозный граф - это фигура, состоящая из точек-вершин, соединенных отрезками-ребрами. "Дерево целей" - это граф-дерево, выражающее отношение между вершинами-этапами или проблемами достижения цели. Каждая вершина представляет собой цель для всех исходящих из нее ветвей. "Дерево целей" предполагает выделение нескольких структурных или иерархических уровней.

Построение "дерева целей" требует решения многих задач: прогноза развития объекта в целом; формулирования сценария прогнозируемой цели, определение уровней и вершин "дерева", критериев и их весов в ранжировании вершин. Эти задачи могут решаться при необходимости методами экспертных оценок. Следует отметить, что данной цели как объекту прогноза может соответствовать множество разнообразных сценариев.

Сценарий обычно носит многовариантный характер и освещает три линии поведения: оптимистическую - развитие системы в наиболее благоприятной ситуации; пессимистическую - развитие системы в наименее благоприятной ситуации; рабочую - развитие системы с учетом противодействия отрицательным факторам, появление которых наиболее вероятно. В рамках прогнозного сценария целесообразно прорабатывать резервную стратегию на случай непредвиденных ситуаций.

Сценарий в готовом виде должен быть подвергнут анализу. На основании анализа информации, признанной пригодной для предстоящего прогноза, формулируются цели, определяются критерии, рассматриваются альтернативные решения.

Введение …………………………………………………………………………..3

Глава 1 Сущность, методы и процесс экспертных оценок ……………………5

1.1 Сущность экспертных оценок ………………………………………………5

1.2 Роль экспертов в управлении ………………………………………………..9

1.3 Процесс экспертного оценивания …………………………………………10

1.4 Методы экспертных оценок ………………………………………………..18

1.4.1 SWOT-анализ ……………………………………………………………...18

1.4.2 Метод SMART …………………………………………………………….20

1.4.3 Метод ранжирования и оценивания ……………………………………..21

1.4.4 Метод непосредственного оценивания …………………………………22

1.5 Оценка согласованности экспертов ……………………………………….23

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ» ...…………….24

Заключение ………………………………………………………………………32

Список использованных источников и литературы …………………………..33

Введение

В исследовании управления широкое распространение имеет метод экс­пертных оценок. Это объясняется сложностью многих проблем, их проис­хождением из "человеческого фактора", отсутствием надежных эксперимен­тальных или нормативных инструментов.

Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения.

Изучению возможностей и особенностей применения экспертных оценокпосвя­щено много работ. В них рассматриваются формы экс­пертного опроса (разные виды анкетирования, интер­вью), подходы к оцениванию (ранжирование, нормиро­вание, различные виды упорядочения и т.д.), методы об­работки результатов опроса, требования к экспертам и формированию экспертных групп, вопросы тренировки экспертов, оценки их компетентности (при обработке оценок вводятся и учитываются коэффициенты компе­тентности экспертов, достоверности их мнений), мето­дики организации экспертных опросов. Выбор форм и методов проведения экспертных опро­сов, подходов к обработке результатов опроса и т.д. за­висит от конкретной задачи и условий проведения экс­пертизы.

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Такие ситуации нередко возникают при разработке современных проблем управления общественным производством и, особенно, при прогнозировании и долгосрочном планировании. В последние годы экспертные оценки находят широ­кое применение в социально-политическом и научно-тех­ническом прогнозировании, в планировании народного хозяйства, отраслей, объединений, в разработке крупных научно-технических, экономических и социальных про­грамм, в решении отдельных проблем управления.

Глава 1 Сущность, методы и процесс экспертных оценок

1.1 Сущность экспертных оценок

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явле­ния трактуется как случайная величина, отражением за­кона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значи­мости того или иного события. При этом предполагает­ся, что истинное значение исследуемой характеристики находится внутри диапазона оценок, получаемых от груп­пы экспертов, и что обобщенное коллективное мнение является достоверным.

Однако в некоторых теоретических исследованиях это предположение подвергается сомнению. Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К пер­ вому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов - близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости на­званных предположений недостаточно; экспертов нельзя рассматривать как «хороших измерителей», и необходи­мо осторожно подходить к обработке результатов экс­пертизы, поскольку в этом случае мнение одного (еди­ничного) эксперта, больше внимания уделяющего иссле­дованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном должна применяться качественная обработка результатов. Использование методов осреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по форми­рованию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. Однако при разработке прогнозов и перспективных пла­нов целесообразно выявлять «редкие» мнения и подвер­гать их более тщательному анализу.

Другая проблема, которую нужно иметь ввиду при проведении системного анализа, заключается в следую­щем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении Дельфи-процедуры даже могут усиливаться). Иными словами, на экс­пертные оценки нужно смотреть как на некоторую «об­щественную точку зрения», зависящую от уровня науч­но-технических знаний общества относительно предмета исследования, которая может меняться по мере развития системы и наших представлений о ней. Следовательно, экспертный опрос - это не одноразовая процедура. Та­кой способ получения информации о сложной пробле­ме, характеризующейся большой степенью неопределен­ности, должен стать своего рода «механизмом» в слож­ной системе, т.е. необходимо создать регулярную систе­му работы с экспертами.

Следует обратить также внимание на то, что исполь­зование классического частотного подхода к оценке ве­роятности при организации проведения экспертных оп­росов бывает затруднительным, а иногда и невозможным (из-за невозможности доказать правомерность использо­вания представительности выборки). Поэтому в настоя­щее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории, размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятно­сти достижения цели. Одной из разновидностей экс­пертного метода является метод изучения сильных и слабых сторон организации, возможностей и угроз ее деятельности - метод SWOT-анализа.

Сбор экспертной информации зависит от выбора метода экспертных оценок. Обычно для сбора экспертной информации составляют специальные документы, например анкеты, утверждаемые соответствующими руководителями и затем рассылаемые экспертам.

Обработка экспертной информации осуществляется с помощью выбранного метода, как правило, с использованием вычислительной техники. Полученные в результате обработки данные анализируют и используют для решения задач анализа и синтеза систем управления.

Экспертные оценки используют для анализа, диагностики состояния, последующего прогнозирования вариантов развития:

1) объектов, развитие которых либо полностью, либо частично не поддается предметному описанию или математической формализации;

2) в условиях отсутствия достаточно представительной и достоверной статистики по характеристикам объекта;

3) в условиях большой неопределенности среды функционирования объекта, рыночной среды;

4) при средне- и долгосрочном прогнозировании новых рынков, объектов новых областей промышленности, подверженных сильному влиянию открытий в фундаментальных науках, (например, микробиологическая промышленность, квантовая электроника, атомное машиностроение);

5) в случаях, когда или время, или средства, выделяемые на прогнозирование и принятие решений, не позволяют исследовать проблему с применением формальных моделей;

6) отсутствуют необходимые технические средства моделирования, например, вычислительная техника с соответствующими характеристиками;

7) в экстремальных ситуациях.

Задачи, решаемые в процессе экспертных оценок систем управления, можно разделить на две группы:

1) задачи синтеза новых систем управления и их оценки;

2) задачи анализа (измерения) существующих систем управления по выбранным показателям и критериям эффективности.

К задачам первой группы относятся: формирование облика создаваемой системы; прогнозирование технико-экономических показателей стадий ее жизненного цикла; обоснование основных направлений реорганизации социальной системы управления; выбор оптимальных или удовлетворительных способов действий и исходов с использованием создаваемой системы управления и др.

Некоторая часть экспертной информации, получаемая в ходе решения данных задач, носит качественный характер и формируется в виде сложных суждений в описательном виде. Однако задачи синтеза, решаемые с помощью экспертных оценок, могут носить количественный характер, и их решение будет связано с обоснованием многочисленных параметров (характеристик) создаваемой системы.

К задачам второй группы относятся все задачи оценивания существующих или создаваемых вариантов систем управления с помощью заданных показателей и критериев эффективности. Примерами таких задач являются: определение структурных, функциональных или информационных характеристик системы; оценка её эффективности в ходе выполнения различных операций; определение целесообразности дальнейшей эксплуатации технических средств управления и связи и др. Значительная часть экспертной информации, используемой при решении таких задач, носит количественный характер или имеет форму элементарных суждений и обрабатывается с использованием различных статистических методов.

1.2 Роль экспертов в управлении

Экспертиза - это мнение, идея, решение или оценка, основанные на ре­ализации ценного опыта специалиста, глубоких знаниях предмета исследо­вания и технологиях качественного анализа.

Экспертиза бывает индивидуальная и групповая. При групповой экспер­тизе большое значение имеют подбор группы экспертов и методология ито­говой обработки результатов ее работы.

Заключение экспертов представляет собой документ, в котором фиксиру­ется ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную ("да", "нет"), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

В организации работы экспертов необходимо придерживаться следующих принципов:

1. Идеи, мнения и оценки должны укладываться в заранее подготовлен­ную схему. Это позволяет делать их обобщение, сравнение, выделе­ние существенного и пр. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать воз­можность ее модификации и дополнения.

2. Обработку экспертных заключений необходимо осуществлять не только в количественном обобщении, но и посредством качественного анализа, выделяя главное, существенное, важное, актуальное, ориги­нальное, новое и пр. Заключение экспертов может быть предметом экспертизы второго этапа.

3. Эксперты должны быть независимыми, т.е. освобождены от каких-либо организационных или концептуальных, а также психологичес­ких ограничений. В этом случае лучшим образом реализуются их опыт, знания, интуиция.

4. Работа экспертной группы должна быть целенаправленной. Понима­ние, зачем и почему проводится экспертиза, является важным элемен­том ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интел­лекта.

5. Существуют различные формы организации работы экспертной груп­пы: либо каждый эксперт делает экспертизу индивидуально, потом результаты суммируются и систематизируются, либо эксперты рабо­тают коллективно, взаимодействуя друг с другом.

6. Возможна параллельная и многоэтапная работа нескольких эксперт­ных групп. Сопоставление экспертиз дает важную информацию.

Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто ещё является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома".

Специалиста или группу специалистов, выступающих в роли экспертов, иногда отождествляют с измерительным прибором, имеющим случайные и систематические ошибки измерения.

Случайные ошибки обусловлены субъективностью мнений экспертов о рассматриваемом вопросе и могут отклоняться в ту или иную сторону от истинного значения. Влияние таких ошибок уменьшается путем усреднения достаточного количества оценок.

Систематическая ошибка присуща всему коллективу экспертов и не может быть устранена путем обработки получаемых оценок. Это говорит о том, что в отдельных случаях необходимо подходить весьма осторожно к результатам экспертного опроса, которые могут иногда выражать в целом ошибочную точку зрения, зависящую от уровня знаний и убеждений экспертов.

1.3 Процесс экспертного оценивания

К основным этапам процесса экспертного оценивания относят:

формирование цели и задач экспертного оценивания;

формирование группы управления и оформление решения на проведение экспертного оценивания;

выбор метода получения экспертной информации и способов ее обработки;

подбор экспертной группы и формирование при необходимости анкет опроса;

опрос экспертов (экспертизу);

обработку и анализ результатов экспертизы;

интерпретацию полученных результатов;

составление отчета.

Задачу на проведение экспертного оцениваний ставит ЛПР. Этап формирования цели и задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Формирование цели и задач экспертнoгo оценивания диктуется существом решаемой проблемы. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресурсы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей работой назначается руководитель экспертизы. Он определяет состав группы управления. Группа управления осуществляет обратную связь с экспертами либо методом Дельфи.

На группу управления возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет - опросников, содержательной интерпретации получаемых результатов.

Этот большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов как в области рассматриваемой проблемы, так и в других областях - психологии, математики, медицины, социологии.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

· оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по I проблемам исследования СУ;

· коллективная оценка кандидата в эксперты как специалиста в данной области

· самооценка кандидата в эксперты;

· аналитическое определение компетентности кандидатов в эксперты.

Однако всем этим методам присущи определенные недостатки, в том числе: отсутствие единой общепризнанной методики оценки; высокая трудоемкость оценки; возникновение проблем этического характера при использовании субъективных методов оценки.

В ходе указанной работы зачастую, применяют одновременно несколько способов: самооценки и коллективной оценкикачеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

В общем случае формирование экспертной группы предваряют следующие мероприятия:

· выявляется и формулируется проблема;

· определяется цель и область деятельности группы;

· составляется предварительный список экспертов;

· проводится анализ и отбор экспертов (на основе использования одного или нескольких способов отбора их);

· уточняется список экспертов; . получается согласие эксперта для участия в работе экспертной группы;

· определяется окончательный репрезентативный список экспертов. Всех потенциальных экспертов в зависимости от их качества и компетенции можно классифицировать на семь классов

Пример градации качества и компетентности экспертов

Выбор числа классов качества экспертов в данном случае обусловлен «правилом семерки», которым традиционно пользуются при решении проблем управления качеством.

Такая градация позволяет отобрать требуемых экспертов для работы в экспертной группе. Для получения достаточно объективных результатов исследования СУ отбор желательно осуществлять из числа экспертов, относящихся к 1-4-му классам качества. Кандидатов в эксперты более низких классов качества привлекать к экспертизам не целесообразно.

Независимо от избранного способа оценки качеств кандидатов эксперты должны соответствовать во всех случаях определенным требованиям, в числе которых:

Профессиональная компетентность и наличие практического и исследовательского опыта в области управления;

Креативность (умение решать творческие задачи); . научная интуиция;

Заинтересованность в объективных результатах экспертной работы;

Независимость суждений;

Деловитость «собранность» умение переключаться с одного вида деятельности на другой, коммуникативность, независимость суждений, мотивированность действий);

Объективность;

Нонконформизм;

Высокая общая эрудиция.

Проведение сбора мнений экспертов предполагает определение: места и времени сбора мнений; формы и методики сбора мнений; количества туров сбора мнений; состава и содержательной части документации; порядка занесения результатов мнений экспертов в документы.

Очень важным является определение формы сбора мнений экспертов. Среди всех известных форм сбора мнений можно отметить индивидуальные, коллективные (групповые) и смешанные. Таким образом, указанные формы различаются прежде всего по фактору участия экспертов в работе (индивидуальное или коллективное) и каждая из них имеет ряд разновидностей:

Анкетирование;

Интервьюирование;

Дискуссия;

Мозговой штурм

Совещание;

Деловая игра.

Все они обладают своими достоинствами и недостатками. Во многих случаях каждая их этих разновидностей используется совместно с другими, что зачастую обеспечивает больший эффект и объективность. Смешанная форма применяется при сборе мнений экспертов в случаях некоторой неясности проблемы, при разногласиях? индивидуальных мнений или разногласиях экспертов при коллективном обсуждении.

После проведения опроса группы экспертов осуществля­ется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получе­ние обобщенных данных и новой информации, содержа­щейся в скрытой форме в экспертных оценках. На осно­ве результатов обработки формируется решение проб­лемы.

Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости при­менения качественных и количественных методов обра­ботки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от клас­са проблем, решаемых экспертным оцениванием.

Все множество проб­лем можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется до­статочный уровень знаний и опыта, т. е. имеется необ­ходимый информационный потенциал. При решении про­блем, относящихся к этому классу, эксперты рассмат­риваются как хорошие в среднем измерители. Под тер­мином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для об­работки результатов группового экспертного оценивания проблем первого класса можно успешно применять ме­тоды математической статистики, основанные на осред­нении данных.

Ко второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевид­но, что применение методов осреднения результатов групповой экспертной оценки при решении проблем вто­рого класса может привести к большим ошибкам. По­этому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использую­щих принципы осреднения, а на методах качественного анализа.

Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам обработки результатов экспертизы для этого класса проблем.

В зависимости от целей экспертного оценивания и выбранного метода измерения при обработке результа­тов опроса возникают следующие основные задачи:

1) построение обобщенной оценки объектов на основе индивидуальных оценок экспертов;

2) построение обобщенной оценки на основе парного сравнения объектов каждым экспертом;

3) определение относительных весов объектов;

4) определение согласованности мнений экспертов;

5) определение зависимостей между ранжировками;

6) оценка надежности результатов обработки.

Задача построения обобщенной оценки объектов по индивидуальным оценкам экспертов возникает при груп­повом экспертном оценивании. Решение этой задачи за­висит от использованного экспертами метода измерения.

При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или неко­торой совокупности показателей. Желательно иметь чис­ленные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необхо­димо иметь оценки объектов, которые не только осуще­ствляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед дру­гим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных усло­виях можно решить путем обработки оценок экспертов.

Определение согласованности мнений экспертов про­изводится путем вычисления числовой меры, характери­зующей степень близости индивидуальных мнений. Ана­лиз значения меры согласованности способствует выра­ботке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мне­ний экспертов. Качественный анализ причин группиров­ки мнений позволяет установить существование различ­ных взглядов, концепций, выявить научные школы, опре­делить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

Обработкой результатов экспертного оценивания можно определять зависимости между ранжировками различных экспертов и тем самым устанавливать един­ство и различие в мнениях экспертов. Важную роль иг­рает также установление зависимости между ранжиров­ками, построенными по различным показателям сравне­ния объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевид­на. Например, если показателями сравнения являются различные цели, а объектами - средства достижения це­лей, то установление взаимосвязи между ранжировка­ми, упорядочивающими средства с точки зрения дости­жения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

Оценки, получаемые на основе обработки, представ­ляют собой случайные объекты, поэтому одной из важ­ных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

Обработка результатов экспертизы представляет со­бой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную свя­зано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгорит­мы обработки результатов экспертного оценивания.

1.4Методы экспертных оценок

1.4.1 SWOT-анализ

Особой разновидностью экспертного метода, пользующейся большой по­пулярностью, является оригинальный метод SWOT-анализа. Он получил та­кое название по первым буквам четырех английских слов, которые в рус­ском переводе означают: Сильные и Слабые стороны, Возможности и Угро­зы.

Эта методология может использоваться в качестве универсальной. Осо­бый эффект она имеет при исследовании процессов в социально-экономической системе, которой присуща динамичность, управляемость, за­висимость внутренних и внешних факторов функционирования, циклич­ность развития.

По методологии этого анализа проводится распределение факторов, ха­рактеризующих предмет исследования по этим четырем составляющим с учетом принадлежности этого фактора к классу внешних или внутренних факторов.

В результате появляется картина соотношения сильных и слабых сторон, возможностей и опасностей, которая подсказывает, как следует изменить си­туацию, чтобы иметь успех развития.

Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновре­менно характеризует и сильные, и слабые стороны предмета. Кроме того, факторы действуют ситуативно. В одной ситуации они выглядят достоинст­вом, в другой - недостатком. Иногда они бывают несоизмеримыми по своей значимости. Эти обстоятельства можно и необходимо учитывать.

Один и тот же фактор можно размещать в нескольких квадрантах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы, чтобы они стали управляемыми.

В каждом квадранте факторы не обязательно должны обладать одинако­вым весом, но они должны быть представлены в полной своей совокупности.

Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации. Это первый этап SWOT-анализа.

На втором этапе необходимо провести сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны относительно существующих опасностей. Такой анализ покажет, насколько вероятен кризис. Ведь опасность увеличивается, когда она возни­кает в условиях ослабленности, когда слабые стороны не дают возможность препятствовать опасности.

Конечно, весьма полезно сделать сравнительный анализ сильных сторон и существующих опасностей. Ведь сильные стороны можно плохо использо­вать при предотвращении кризиса, сильные стороны надо видеть не только относительно благоприятных возможностей, но и относительно опасностей.

В исследовании систем управления предметом этого метода могут быть различные проблемы развития управления. Например, эффективность, пер­сонал, стиль, распределение функций, структура системы управления, меха­низм управления, мотивация, профессионализм, информационное обеспече­ние, коммуникации и организационное поведение и пр.

Использование специально подготовленных и отобранных экспертов или внутренних консультантов позволяет повысить эффективность этого метода.

1.4.2 Метод SMART

Существует множество модификаций метода SWOT-анализа. Наиболее интересный из них метод разработки и анализ целей.

Известно, что цель управления является решающим фактором успеха, эффективности, стратегии и развития. Без цели невозможно разработать план или программу. Но это касается не только цели управления, но и цели исследования. Ведь сформулировать корректно эту цель тоже бывает нелег­ко. Программа исследования, использования методов его проведения зависят от цели.

Цель должна разрабатываться по критериям Достижимости, Конкретнос­ти, Оцениваемости (измеримости), с учетом Места и Времени. Эти критерии отражают английские слова - Specific, Measurable, Achievable, Relevant, Timed, в сокращенном названии это SMART. Так и называется этот метод.

Метод предполагает последовательную оценку целей по совокупности критериев, расположенных в матричной форме. Вот набор сопоставимых факторов, отражающих характеристики цели: труднодостижима-легкодостижима, высокие затраты - низкие затраты, имеет поддержку пер­сонала - не имеет поддержки персонала, имеет приоритеты - не имеет приоритетов, требует много времени - требует мало времени, имеет широ­кое влияние - имеет ограниченное влияние, ориентирована на высокие технологии - ориентирована на низкие (обычные) технологии, связана с но­вой организацией управления - не связана с новой организацией управле­ния.

На следующем этапе составляется матрица определения проблем. Для до­стижения цели необходимо решить ряд проблем. Но для этого их надо сна­чала определить.

Распределение проблем осуществляется по следующим критериям: суще­ствующая ситуация, желаемая ситуация, возможность достижения цели. Эти критерии характеризуют горизонталь матрицы. По вертикали рассматривают следующие критерии: определение проблемы, оценивание проблемы (коли­чественные параметры), организация решения (кто, где, когда), затраты на решение проблемы.

Такая матрица позволяет составить план исследований.

1.4.3 Метод ранжирования и оценивания

По методу ранговэксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности), когда наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точно упорядочение бывает при меньшем количестве объектов исследования, и наоборот.

При предпочтительной (по рангам) расстановке объектов экспертизы одним экспертом сумма рангов должна равняться сумме чисел всего натурального ряда количества объектов Н, начиная с единицы: Н= (Н+1): 2.

Результирующие ранги объектов ранжирования по данным опросов определяются как сумма рангов для каждого объекта. При этом в итоге первый ранг присваивается тому объекту, который получил наименьшую сумму рангов, а последний - тому, у которого оказалась наибольшая сумма рангов, т.е. наименее значимому объекту (пример определения результирующего ранга трех объектов семью экспертами)

Чем больше привлекается экспертов, тем выше объективность результата оценки. Однако привлечение большого числа квалифицированных экспертов и высокая трудоемкость экспертных работ повышает стоимость проведения оценок качества. Поэтому, чтобы снизить трудоемкость работ экспертов, используют метод рангов, который предусматривает только ранжирование показателей, а не их численное определение экспертами.

Тем не менее данный метод применяется в практике исследования СУ, несмотря на свою простоту и малую трудоемкость, сравнительно. Это объясняется большим числом ранжируемых объектов исследования.

1.4.4 Метод непосредственного оценивания

Представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается наибольшее количество баллов по принятой шкале (дается оценка). Наиболее распространен диапазон шкалы оценок: от 0 до 1; 0 до 5; 0 до 10; 0 до 100. В простейшем случае оценка может быть 0 или 1.

Иногда оценивание осуществляется в словесной форме. Например, «очень важный», «важный», «маловажный» и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Непосредственное оценивание следует применять при полной уверенности в профессиональной информированности экспертов о свойствах исследуемых объектов. По результатам оценок определяются ранг и весомость (значимость) каждого исследуемого объекта

1.5 Оценка согласованности экспертов

Собранные мнения экспертов обрабатываются как количественно (численные данные), так и качественно (содержательная информация). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, применяются в основном методы усреднения экспертных суждений. Однако даже при имеющихся численных данных, но при недоста-точности информации по решаемому вопросу (что нередко бывает мри исследовании СУ) наряду с количественными методами обработки экспертных данных используются также методы качественного анализа и синтеза.

При этом следует помнить, что мнения экспертов часто совпадают не полностью, поэтому необходимо количественно оценивать меру согласованности мнений экспертов и устанавливать причины несовпадения суждений.

При ранжировании объектов эксперты обычно расходят­ся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степе­ни согласия экспертов. Получение количественной ме­ры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

В настоящее время известны две меры согласованно­сти мнений группы экспертов: дисперсионный и энтро­пийный коэффициенты конкордации.

Глава 2 Методы экспертных оценок на примере ОАО «УАЗ»

В современных условиях оценка персонала является одним из важнейших элементов системы управления, на ее основе руководители принимают соответствующие решения в отношении своих сотрудников. От того, насколько информация, полученная в рамках оценочных мероприятий, будет качественной и надежной, в конечном счете зависит эффективность принимаемого решения.

Большое значение оценки персонала предприятия обусловлено и тем, что она связывает все элементы системы управления персоналом в единое целое. Невозможно осуществить управление персоналом ни по одному направлению (кадровому планированию, отбору, развитию работников, стимулированию труда, трудовым перемещениям и др.), не проводя оценку соответствующих характеристик сотрудников предприятия.

Рассмотрим практический опыт оценки персонала на одном из крупнейших российских промышленных предприятий ОАО «УАЗ».

В качестве основной формы рассматриваемого процесса на протяжении многих лет применялась аттестация сотрудников. Проведение аттестации характеризовалось достаточно простой схемой. Непосредственный начальник работника составлял на него характеристику. За этим следовало заседание аттестационной комиссии, которая только на основании оценки руководителя (характеристики) принимала решение о соответствии (несоответствии) сотрудника занимаемой должности. Ни о каких других экспертах (кроме руководителя работника) не было и речи. Результаты такой аттестации не давали достаточно обоснованной информации по совершенствованию работы с кадрами, т. е. аттестация носила чисто формальный характер, не было системного подхода к данному мероприятию, заинтересованности в получении достоверных результатов. Выводы аттестационной комиссии фиксировались в личных делах работников и не находили дальнейшего применения для повышения качества персонала. С приходом нового собственника и команды руководителей в ОАО «УАЗ» изменилось отношение к персоналу, который стал рассматриваться как наиболее важный ресурс развития. Поэтому проблемам, связанным с работниками, стало уделяться больше внимания, а система оценки персонала претерпела значительные эволюционные изменения. В 2002 г. в Дирекции по персоналу был создан отдел анализа персонала с целью формирования системы оценки персонала, анализа полученных в результате оценки данных и эффективного их использования. В тот период руководством была поставлена задача: провести оценку руководителей, специалистов и служащих в форме аттестации с использованием нового метода, в качестве которого нами был выбран метод экспертной оценки.

Итак, под аттестацией мы понимаем процедуру определения квалификации, уровня знаний, практических навыков, деловых и личностных качеств работника, качества трудовой деятельности и ее результатов и установления их соответствия (несоответствия) требованиям занимаемой должности. Целью проведения аттестации в ОАО «УАЗ» является повышение эффективности труда и заинтересованности работника в результатах своего труда и деятельности всей организации.

Аттестации подлежат все руководители, специалисты и служащие ОАО «УАЗ», за исключением:

Работников, проработавших в занимаемой должности менее одного года;

Беременных женщин; женщин и одиноких мужчин, имеющих детей в возрасте до трех лет.

Аттестация в ОАО «УАЗ» проводится периодически, один раз в три года. Сроки проведения аттестации утверждаются приказом генерального директора ОАО «УАЗ». График проведения аттестации составляется Дирекцией по персоналу и утверждается директором по персоналу. В графике указываются сроки проведения аттестации в структурных подразделениях. График проведения аттестации доводится до сведения работников не позднее чем за два месяца до заседания аттестационной комиссии.

Для проведения аттестации в каждом структурном подразделении ОАО «УАЗ» создаются аттестационные комиссии. Аттестационная комиссия состоит из председателя, заместителя председателя, секретаря, представителя выборного профсоюзного органа и других членов комиссии. Рекомендуется включать в аттестационную комиссию не более девяти человек. Кроме того, в состав комиссии могут привлекаться эксперты, не участвующие в голосовании.

Решение аттестационной комиссии принимается большинством голосов присутствующих на заседании членов комиссии. Комиссия правомочна решать вопросы в том случае, если на заседании присутствует не менее двух третей ее членов. При равенстве голосов принимается решение в пользу аттестуемого сотрудника.

Кроме того, директором по персоналу формируется Центральная аттестационная комиссия для аттестации руководителей высшего звена управления (заместителей директоров, управляющих производствами, начальников управлений и центров). В ее состав включаются все функциональные директора ОАО «УАЗ».

В случае, если аттестуемый работник не принял участия в аттестационных мероприятиях без уважительной причины, аттестационная комиссия правомочна проводить обсуждение без участия аттестуемого. Уважительными причинами являются: болезнь, командировка, отпуск, учеба.

На стадии подготовки к аттестации на предприятии была сформирована рабочая группа, состоящая из руководителей структурных подразделений и сотрудников Дирекции по персоналу. Группа решила, что в рамках оценочных мероприятий перед собственно аттестацией необходимо оценить наиболее важные характеристики персонала, в качестве которых были определены следующие:

1. Профессиональные знания и умения.

2. Уровень качества работы.

3. Своевременность выполнения заданий.

4. Инициативность в нововведениях.

5. Сложность выполняемых работ.

Для определения степени выраженности деловых качеств сотрудников нами применяется экспертная оценка - метод групповой оценки работников, основанный на опросе его руководителей и лиц одинакового должностного статуса. Кроме того, проводится самооценка работника. Для участия в группе экспертов отбираются компетентные работники:

Имеющие с оцениваемым высокий уровень коммуникативно-деловых связей;

Совместно проработавшие не менее года;

Не состоящие в родственных отношениях.

Количественный состав экспертных групп четыре человека плюс сам оцениваемый сотрудник.

В целях регламентации проведения аттестации был разработан порядок осуществления данного процесса:

1 этап (подготовительный):

1.1. Издание приказа генерального директора по заводу о проведении аттестации; доведение приказа и графика проведения аттестации до руководителей всех структурных подразделений под роспись.

1.2. Назначение распоряжением руководителя каждого структурного подразделения ответственного за проведение аттестационных мероприятий (координатора) и формирование состава аттестационной комиссии.

1.3. Проведение специалистами отдела анализа персонала Дирекции по персоналу семинара по обучению координаторов процедуре оценочных мероприятий.

1.4. Составление координатором плана мероприятий по проведению аттестации, утверждение его руководителем структурного подразделения и информирование аттестуемых.

1.5. Сформированы и утверждены руководителями структурных подразделений списки работников, подлежащих аттестации, и работников, не подлежащих аттестации, с четким обоснованием причин, по которым данный работник не подлежит аттестации, и предоставление списков в отдел анализа персонала (в обязательном порядке на электронных и бумажных носителях) в течение семи рабочих дней с момента получения приказа о проведении аттестации.

1.6. Составление списков экспертных групп и их утверждение руководителем структурного подразделения.

2 этап (оценка):

2.1. Составление непосредственным руководителем характеристики на аттестуемого работника с занесением ее в оценочный лист.

2.2. Организация и проведение координатором экспертной оценки персонала. Максимальный срок проведения мероприятий - пять рабочих дней.

Членами экспертных групп оцениваются деловые качества руководителей, специалистов и служащих ОАО «УАЗ». Каждый эксперт заполняет опросные листы на аттестуемого сотрудника, руководствуясь только своим мнением, в соответствии с предложенной инструкцией и шкалой. Кроме того, осуществляется самооценка работника, т. е. заполнение опросного листа самим аттестуемым по тем же качествам.

2.3. Координаторы передают заполненные опросные листы в отдел анализа персонала Дирекции по персоналу для определения степени выраженности каждого делового качества у аттестуемого работника; результаты подсчета заносятся в таблицу в оценочном листе.

Средний балл по каждому деловому качеству работника рассчитывается как среднее арифметическое значение оценок всех экспертов по данному деловому качеству работника, т. е. по формуле:

СБ=(01+02+...+0п):п,

где СБ - средний балл выраженности делового качества,

0i - оценка (в баллах) делового качества, поставленная i-м экспертом (i = 1,2,...n),

n - количество экспертов.

На основании полученных средних баллов определяется степень выраженности каждого делового качества оцениваемого сотрудника в соответствии с таблицей.

Степень выраженности делового качества оцениваемого сотрудника:

Средний балл до 2,4 - Качество не выражено

Средний балл 2,5 - 3,4 - Качество выражено слабо

Средний балл 3,5 - 4,4 - Качество выражено достаточно

Средний балл 4,5 - 5,0 - Качество выражено высоко

2.4. Передача отделом анализа персонала заполненных оценочных листов в аттестационную комиссию структурного подразделения (не позднее чем за две недели до заседания аттестационной комиссии) для ознакомления с ними аттестуемых работников под роспись.

3 этап (заседание аттестационной комиссии):

3.1. Изучение аттестационной комиссией оценочных листов, заслушивание мнения непосредственного руководителя аттестуемого работника, проведение собеседования с аттестуемым, обсуждение полученных выводов и их утверждение голосованием.

3.2. Формулирование аттестационной комиссией по результатам голосования окончательных выводов и рекомендаций с занесением их в аттестационный лист.

а) соответствует занимаемой должности;

б) соответствует занимаемой должности при условии улучшения работы и выполнения рекомендаций аттестационной комиссии с повторной аттестацией через год;

в) не соответствует занимаемой должности.

Об увеличении должностного оклада;

О переводе сотрудника на другую должность;

О приоритетных направлениях развития;

О зачислении сотрудника в кадровый резерв.

3.3. Доведение координатором непосредственно после проведения аттестации выводов и решений аттестационной комиссии до аттестуемых и их руководителей под роспись.

3.4. Передача координатором аттестационных листов в отдел анализа персонала.

3.5. По завершении аттестации отдел анализа персонала Дирекции осуществляет статистическую обработку данных по всем аттестованным работникам с составлением сводного отчета, после чего аттестационные листы помещаются в личные дела сотрудников.

Примечание: информация, содержащаяся в оценочных и аттестационных листах, является конфиденциальной и не подлежит разглашению лицам, не входящим в состав аттестационной комиссии и не задействованным в процедуре обработки и хранения аттестационных листов. После завершения аттестации предложения аттестационной комиссии, зафиксированные в аттестационных листах, рассматриваются руководителем структурного подразделения для принятия решения в течение двух месяцев с момента ознакомления с ними. Работник, в случае признания его не соответствующим занимаемой должности, направляется на повышение квалификации или переподготовку, либо с его письменного согласия переводится на другую должность. По истечении двух месяцев перевод работника на другую должность по результатам данной аттестации не допускается. При необходимости проведения повторной аттестации, директор по персоналу издает распоряжение с указанием структурных подразделений, списков работников, подлежащих повторной аттестации, и сроков ее проведения. Заседания аттестационных комиссий проходят в прежнем составе. Решение о соответствии (несоответствии) работника занимаемой должности принимается на основании:

Характеристики руководителя на аттестуемого работника;

Все спорные вопросы, связанные с результатами аттестации, рассматриваются аттестационной комиссией в соответствии с действующим законодательством или передаются в Комиссию по трудовым спорам.

Таким образом, если до 2002 г. аттестация в ОАО «УАЗ» проводилась только на основе характеристики руководителя, то с2002 г. в основу аттестации была положена экспертная оценка, что позволило снизить степень субъективизма оценки. За период с 2002 по 2005 г. нами совместно со структурными подразделениями предприятия была проведена аттестация всех руководителей, специалистов и служащих ОАО «УАЗ», подлежащих аттестации, число которых составляет более пяти тысяч человек.

Заключение

В настоящее время все шире применяются различные методы экспертных оценок. Они незаменимы при решении сложных задач оценивания и выбора технических объектов, в том числе специального назначения, при анализе и прогнозировании ситуаций с большим числом значимых факторов - всюду, когда необходимо привлечение знаний, интуиции и опыта многих высококвалифицированных специалистов-экспертов.

Экспертные методы непрерывно развиваются и совершенствуются. Основные направления этого развития определяются рядом факторов, в числе которых можно указать на стремление расширить области применения, повысить степень использования математических методов и электронно-вычислительной техники, а также изыскать пути устранения выявляющихся недостатков.

Несмотря на успехи, достигнутые в последние годы в разработке и практическом использовании метода экспертных оценок, имеется ряд проблем и задач, требующих дальнейших методологических исследований и практической проверки. Необходимо совершенствовать систему отбора экспертов, повышение надежности характеристик группового мнения, разработку методов проверки обоснованности оценок, исследование скрытых причин, снижающих достоверность экспертных оценок.

В основу экспертной оценки свойств и деловых качеств кандидата положены количественные параметры и оценочные критерии, полученные в результате интервью. Хотя здесь и присутствуют элементы условности и субъективизма, однако при хорошей разработке шкалы оценок и внимательном (профессиональном) подходе экспертов оценить испытуемых можно с высокой степенью достоверности.

Список использованных источников и литературы

1. Григоров В. М. Эксперты в системе управления общественным про­изводством // М.: Мысль, 1976

2. Демидова А.В. Исследование систем управления. – М.: Приор-издат, 2005. – 96 с.

3. Джонсон Р. и др. Системы и руководство (теория систем и руковод­ство системами) / Пер. с англ. // М.: Советское радио, 1974.

4. Игнатьева А.В. Исследование систем управления. – М.: ЮНИТИ-ДАНА, 2003. – 157 с.

5. Кафидов В.В. Исследование систем управления. – М.: Академический Проект, 2005. – 160 с.

6. Малин А.С. Исследование систем управления. – М.: ГУ ВШЭ, 2005. – 399 с.

7. Мишин В.М. Исследование систем управления. - М.: ЮНИТИ-ДАНА, 2005

8. Мухин В.И. Исследование систем управления. – М.: Экзамен, 2003. – 384 с.

9. Ползунова Н.Н. Исследование систем управления. – М.: Академический Проект, 2004. – 176 с.

10. Рейльян Я. Р. Основа принятия управленческих решений //М.: Фи­нансы и статистика, 1989

11. Ременников В.Б. Разработка управленческого решения. Учеб. пособие. - М.: ЮНИТИ-ДАНА, 2000.

12. Смолкин A.M. Менеджмент: основы организации. - М.: ИНФРА-М, 1999.

13. Управление организацией. /Под ред. А.Г. Поршнева, З.П. Румянцевой, Н.А. Саломатина. -М.: ИНФРА-М, 1999.

В квалиметрии экспертный метод применяется:

1) для измерения показателей качества;

2) для определения зна­чений весовых коэффициентов.

Однако он не является принадлежностью только квалиметрии. Экспертный метод применяется и при измерении физических величин, в медицине (консилиумы), в искусстве (жюри), в социально-политической сфере (референдумы), в государственном и хозяйственном управлении (коллегиальность). Но именно потребности квалиметрии поставили этот метод измерений на строгую научную основу.

Независимо от целей и задач применение экспертного метода предполагает соблюдение следующих условий:

экспертная оценка должна производиться только в том случае, когда нельзя использовать для решения вопроса более объективные методы;

в работе экспертной комиссии не должно присутствовать. Факторов, которые могли бы влиять на искренность суждений экспертов; мнения экспертов должны быть независимыми;

вопросы, поставленные перед экспертами, не должны допускать различного толкования;

эксперты должны быть компетентны в решаемых вопросах;

количество экспертов должно быть оптимальным;

ответы экспертов должны быть однозначными и обеспечивать возможность их математической обработки.

Качественный состав экспертной комиссии - важное условие эффективности экспертного метода. Вполне очевидно, что во всех без исключения случаях экспертиза должна проводиться грамотными, высококвалифицированными, вполне компетентными в рассматриваемых вопросах и достаточно опытными специалистами. Весьма полезным является их специальное предварительное обучение и совершенно необходимым - инструктаж. На завершающем этапе формирования экспертной группы целесообразно провести тестирование, самооценку, взаимооценку экспертов, анализ их надежности и проверку согласованности мнений.

Тестирование состоит в решении экспертами задач, подобных реальным, с известными (но не экспертам) ответами. На основании результатов тестирования устанавливается компетентность и профпригодность экспертов.

Самооценка экспертов состоит в ответе каждым из них в строго ограниченное время на вопросы специально составленной анкеты, в результате чего быстро и просто проверяются ими же самими их профессиональные знания и деловые качества. Оценка их дается каждым экспертом по балльной системе. При всей субъективности такой оценки опыт показывает, что экспертные группы с высокими показателями самооценки экспертов ошибаются в меньшей степени.

Весьма показательной является взаимная оценка экспертами друг друга (также по балльной системе). Для этого они должны, разумеется, иметь опыт совместной работы.

При наличии сведений о результатах работы эксперта в других экспертных группах критерием его квалификации может стать показатель или степень надежности - отношение числа случаев, когда мнение эксперта совпало с результатами экспертизы, к общему числу экспертиз, в которых он участвовал. Использование этого подхода к отбору экспертов требует накопления и анализа большого объема информации, но открывает возможность непрерывного совершенствования качественного состава экспертных групп.

Каждый эксперт дает одно из значений отсчета, являющегося, согласно основному постулату метрологии, случайным числом. Порядок и правила дальнейших действий рассмотрены в гл. 2. В частности, однократное измерение экспертным методом требует использования большого объема априорной информации. При визуальной топографической съемке, например, большое значение имеет глазомер эксперта, при измерении эстетических показателей качества- его художественный вкус и т. д. Многократное измерение одной и той же физической (или другой) величины постоянного размера, либо показателя качества может быть организовано с последующим усреднением экспериментальных данных по времени (если измерение выполняется одним экспертом) или по множеству (если измерение производится одновременно несколькими экспертами). Первый способ применяется редко, так как субъективные особенности эксперта выступают в этом случае в качестве постоянно действующих факторов, трудно поддающихся исключению, компенсации или учету. Во втором способе они выступают в качестве случайных и нивелируются при усреднении по множеству. Отсчет, полученный группой экспертов, представляется множеством его отдельных значений или законом распределения вероятности. При большом количестве отдельных значений отсчета по правилу "трех сигм" легко обнаруживаются и устраняются ошибочные. Если отсчет подчиняется нормальному закону распределения вероятности, то его среднее арифметическое при количестве экспертов п > 30 ... 40 тоже подчиняется нормальному закону, а при меньшем их числе - закону распределения вероятности Стьюдента. Интервал возможных значений измеряемой величины или показателя качества в окрестностях среднего арифметического значения с выбранной доверительной вероятностью устанавливается по графикам, приведенным на рис. 38.

При подборе экспертов большое внимание уделяется согласованности их мнений, которая характеризуется смещенной или несмещенной оценкой дисперсии отсчета. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. Нередко при этом используется не один, а сразу несколько объектов измерений, которые в зависимости от их ценности или качества нужно расставить по шкале порядка, т.е. определить их ранг, ибо измерение по шкале порядка называется ранжированием. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации.

где S - сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов; п - число экспертов; m - число объектов экспертизы. В зависимости от степени согласованности мнений экспертов коэффициент конкордации может принимать значения от 0 (при отсутствии согласованности) до 1 (при полном единодушии).

Пример 75. Определить степень согласованности мнений 5-ти экспертов, результаты ранжирования которыми 7-ми объектов экспертизы приведены в табл. 45.

Решение.1. Среднее арифметическое рангов

2. Используя результаты промежуточных вычислении, приведенные в табл.45, получаем S= 630.

3. Коэффициент конкордации

Степень согласованности мнений экспертов можно считать удовлет­ворительной.

Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок. Если возможности для предварительной подготовки экспертов нет, измерение экспертным методом проводится по методу Дельфы*. Характерными чертами ого метода являются:

анонимность; эксперты не встречаются друг с другом, чтобы избежать влияния авторитета и красноречия кого-либо из них;

многоэтапность; после каждого тура опроса все эксперты знакомятся с мнением друг друга и при необходимости представляют письменные обоснования своих точек зрения. Соглашаясь или не соглашаясь с мнениями своих коллег, они могут пересматривать свою точку зрения;

контроль; после каждого тура проверяется согласованность мнений экспертов до тех пор, пока разброс отдельных мнений не снизится до заранее выбранного значения.

При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.

* Этот метод впервые был предложен в начале 1950-х г. американскими учеными Т. Дж. Гордоном и О. Хелмером для решения военных проблем. Название его происходит от древнегреческого города Дельфы, где по преданию при храме Апполона с IX в. до н. э. по IV в. н. э. существовал совет мудрецов ("дельфийский оракул"), славившийся своими предсказаниями.

Количество экспертов тоже играет важную роль. С ростом числа экспертов в группе точность измерения повышается. Это фундаментальное свойство любого многократного измерения определено выражением (11). Чтобы воспользоваться им для определения численности экспертной группы n, обеспечивающей заданную точность измерения, нужно опять-таки в подготовительный период установить закон распределения вероятности отсчета, получаемого экспертным методом, или хотя бы его среднее квадратическое отклонение , не зависящие от n. Тогда по графику на рис. 159, отражающему зависимость (11), можно найти число экспертов n, при котором среднее квадратическое отклонение среднего арифметического будет соответствовать требуемому. Исходная численность экспертной группы составляет обычно не менее 7 человек. В отдельных случаях она достигает 15 ... 20 экспертов (массовый опрос проводится, как правило, только при социологических исследованиях). Если в подготовительный период не определено, то достижение требуемой точности за счет расширения экспертной группы достигается уже в процессе измерения экспертным методом так, как это показано на рис. 39.

В некоторых случаях требуется обеспечить максимально возможную точность измерения экспертным методом. В этих случаях состав экспертной группы целесообразно ограничить таким числом экспертов п, при котором разли­чия между средними арифметическими и оценками дисперсий результатов измерений при n и n + 1 экспертах перестают быть значимыми. Эти условия проверяются по алгоритмам, приведенным на рис. 41 и 43.

По тому, в какой форме эксперты выражают свое мнение, т.е. по способу проведения экспертизы, различают:

непосредственное измерение;

ранжирование;

сопоставление.

При непосредственных измерениях экспертным методом значения физических величин или показателей качества оп­ределяются сразу в установленных единицах (то ли в единицах СИ, то ли в баллах, нормо-часах, рублях, единицах условного топлива и т.д.). Такие измерения могут проводиться как по шкале отношений, так и по шкале интервалов или шкале порядка. Измерения по шкале отношений требуют наличия эталонов. К ним относятся органолептические методы измерения длины, массы, силы света и многие другие. Непосредственное измерение весовых коэффициентов, сумма которых должна равняться единице, производится по шкале порядка. Значения этих коэффициентов рассчитываются по формуле

где п - количество экспертов; m - число “взвешиваемых” показателей; - коэффициент весомости j -го показателя в баллах, данный i -м экспертом.

По реперным шкалам порядка измеряется в баллах сила морского волнения, сила землетрясений и т.п. Непосредственно путем приписывания баллов (обычно от 1 до 10) могут измеряться по шкале порядка и такие свойства, для которых нет ни эталонов, ни объективных критериев. В последнем случае из соотношения баллов нельзя делать каких-либо количественных выводов.

Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования.

Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.

Пример ранжирования пятью экспертами семи объектов экспертизы приведен в табл. 45. Если это, допустим, художественные произведения, то результат измерения их качества по шкале порядка таков:

лучшим является седьмое, вторым по качеству - четвертое, затем - шестое, первое, второе, третье и пятое. Если же ранжирование прово­дилось с целью определения весовых коэффициентов g i для семи пока­зателей качества, то они рассчитываются по формуле (53), в которой - ранг j - го показателя, установленный i -м экспертом, В примере 75

Сопоставление бывает последовательным и попарным. Последовательное сопоставление каждого. Объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы. Порядок последовательного сопоставления следующий.

1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирование).

2. Наиболее важному объекту приписывается балл или весовой коэффициент, равный 1; всем остальным в порядке уменьшения их относительной значимости - баллы или весовые коэффициенты 1 до 0.

3. Сопоставляется первый объект с совокупностью всех остальных. Если, по мнению эксперта, он предпочтительнее, чем совокупность всех остальных вместе взятых, то результат его измерения в баллах или весовой коэффициент корректируется в сторону увеличения с таким расчетом, чтобы он стал больше (иногда определяют и на сколько больше) суммы баллов или весовых коэффициентов всех остальных объектов экспертизы, которые ниже рангом. В противном случае результат измерения или весовой коэффициент первого объекта корректируется в сторону уменьшения так, чтобы он оказался меньше суммы баллов или весовых коэффициентов остальных объектов.

4. Сопоставляется второй объект с совокупностью всех остальных, стоящих ниже рангом. По установленному выше правилу корректируется результат его измерения или значение весового коэффициента (при этом нужно следить, чтобы не нарушилось предпочтение первого объекта перед совокупностью всех остальных, если оно установлено на предыдущем этапе). Такая процедура сопоставлений и корректировок продолжается вплоть до предпоследнего объекта.

5. Полученные результаты измерений или весовые коэффициенты нормируют, т.е. делят на общую сумму баллов или весовых коэффициентов. После этого они принимают значения в пределах от 0 до 1, а их сумма становится равной 1.

Попарное сопоставление самое простое и наиболее оправданное с психологической точки зрения, рассмотрено в примерах 21 и 22. Как можно заметить, табл. 17 и 18 являются избыточными. При попарном сопоставлении достаточно данных, приведенных в таблицах по одну сторону от диагонали. Предпочтение при этом выражается указанием номера предпочтительного объекта так, как это показано в табл.46.

Балл j - го объекта или весомость j - го показателя рассчитываются по формуле (53). В данном случае

где - частота предпочтения i - м экспертом j - го объекта экспертизы; С - общее число суждений одного эксперта, свя­занное с числом объектов экспертизы m (числом измеряемых показателей или коэффициентов весомости) соотношением

Пример 76. Предположим для простоты, что пять экспертов, выра­зили свое мнение о шести объектах экспертизы одинаково: так как это представлено в табл. 46. Определить весомость каждого объекта и 1 построить ранжированный ряд.

Решение 1. Частоты предпочтений

Поэтому полученные в п.3 значения G j можно рассматривать уже как нормированные и, в частности, использовать как весовые коэффициенты.

5. Ранжированный ряд объектов экспертизы имеет вид: № 3; № 1;№2; №6; №5; №4.

Опыт попарного сопоставления по табл. 46 показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту в очередной рассматриваемой паре, который важнее, а тому, который стоит в перечне первым. Чтобы избежать этого, используют свободную часть таблицы и проводят попарное сопоставление дважды (например, сначала первого объекта со вторым, третьим, четвертым и т.д., затем второго с первым, третьим, четвертым, ... и так до последнего, а потом в обратном порядке: последнего с предпоследним, и до первого; предпоследнего с последним, предыдущим... и вновь до первого). Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении, называемым полным или двойным, удается иногда избежать случайных ошибок и, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное. Порядок расчетов при нем остается прежним, за исключением того, что С = т (т-1).

Уточнить результаты измерений или значения весовых коэффициентов, полученные попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты (см. п. 3 примера 76) рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j (1) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (2) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике всегда выполняются, этот процесс сходится, т.е. нормированные результаты измерений g j или весовые коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных.

Пример 77 . Результаты полного попарного сопоставления одним экспертом пяти объектов экспертизы представлены табл. 47, подобной табл. 18, с той лишь разницей, что с целью исключения из рассмот­рения отрицательных чисел предпочтение j -го объекта перед i -м обозначено цифрой 2, равноценность- цифрой 1, а предпочтение i - го объекта перед j - м - цифрой 0.

Что можно сказать о результате измерения в третьем приближении? Решение.

1. В первом приближении

G 1 (1) = 1+2+2+1+2= 8;

G 2 (1) = 0+1+2+2+2= 7;

G 3 (1) = 0+0+1+0+0= 1;

G 4 (1) = 1+0+2+1+2= 6;

G 5 (1) = 0+0+2+0+1= 3.

2. Во втором приближении

G 1 (2) = 8 * 1+7 * 2+1 * 2+6 * 1+3 * 2= 36;

G 2 (2) = 8 * 0+7 * 1+1 * 2+6 * 2+3 * 2= 27;

G 3 (2) = 8 * 0+7 * 0+1 * 1+6 * 0+3 * 0= 1;

G 4 (2) = 8 * 1+7 * 0+1 * 2+6 * 1+3 * 2= 22;

G 5 (2) = 8 * 0+7 * 0+1 * 2+6 * 0+3 * 1= 5.

3. В третьем приближении

G 1 (3) = 36 * 1+27 * 2+1 * 2+22 * 1+5 * 2= 124;

G 2 (3) = 36 * 0+27 * 1+1 * 2+22 * 2 +5 * 2 = 83;

G 3 (3) = 36 * 0+27 * 0+1 *1+22 * 0+5 * 0 = 1;

G 4 (3) = 36 * 1+27 *0+1 * 2+22 * 1+5 * 2 = 70;

G 5 (3) = 36* 0+27* 0+1* 2+22 * 0+5 *1 = 7.

4. Значения g j , приведенные в табл. 47, заметно отличаются в первом и третьем приближении. С каждым следующим приближением они будут уточняться. В ходе уточнения все более подчеркивается предпочтительность первого объекта экспертизы и низкая значимость третьего (в меньшей мере- пятого).

5. Если экспертов несколько, то окончательные результаты должны быть получены путем усреднения их данных.

Метод последовательного приближения позволяет получить строгие количественные результаты измерения по шкале отношений, если известно (или определено экспертным ме­тодом), во сколько раз вес или показатель лучшего из объектов экспертизы превосходит вес или такой же показатель худшего объекта. В таком случае через это отношение, а предпочтение j - го объекта экспертизы перед i - м выражается числом 1 + , равноценность - единицей, а предпочтение i - го объекта перед j - м - числом 1 - , где

После этого попарное сопоставление производится методом последовательного приближения. Процесс уточнения значений g j продолжается до тех пор, пока точность не достигнет заданной. Так как с каждым приближением изменение g j становится все меньшим и меньшим, это условие можно записать в виде , где обычно принимается = 0,001, если 1 < <=1,5, и =0,01, если >5. При промежуточных значениях выбираются и промежуточные значения .

После окончания расчетов фактическое отношение значений крайних членов ранжированного ряда Ф сравнивается с исходным . Если отношение близко к единице, задача считается решенной. В противном случае корректируется и расчет повторяется.

Пример 78 . Лучший объект из шести по сравниваемому показателю превосходит худший в 2,4 раза. Следовательно,

Мнения эксперта об объектах представлены табл. 48.

Перейти к исходным данным для вычисления весовых коэффициентов с точностью не ниже 0,5 %.

6. Таким образом, исходные данные вычисления весовых коэффициентов с требуемой точностью имеют вид, представленный табл. 49.

Опрос экспертов может быть очным и заочным, групповым и индивидуальным, персонифицированным и анонимным. Свои мнения эксперты могут выражать в письменной (путем заполнения таблиц, анкет) или в устной форме (давая интервью, участвуя в дискуссии). Все эти и любые другие варианты экспертного опроса имеют свои достоинства и недостатки, поэтому выбор того или иного из них осуществляется в зависимости от конкретных условий и обстоятельств.