Особенности и недостатки методов экспертных оценок

Выбор подходов и методов зависит от конкретных задач и условий проведения экспертизы. Однако существуют некоторые общие проблемы, которые необходимо понимать при проведении любых экспертных опросов. Кратко охарактеризуем их.

Возможность использования экспертных оценок, обоснование их объективности обычно базируется на том, что неизвестная характеристика исследуемого явления трактуется как случайная величина, отражением закона распределения которой является индивидуальная оценка специалиста-эксперта о достоверности и значимости того или иного события. При этом предполагается, что истинное значение исследуемой характеристики находится внутри диапазона экспертных оценок р, € Р (где Р = <�р, р, р, р"> — репрезентативная выборка), получаемых от группы экспертов, и что обобщенное коллективное мнение является достоверным. Однако в некоторых теоретических исследованиях это предположение подвергается сомнению.

Например, предлагается разделить проблемы, для решения которых применяются экспертные оценки, на два класса. К первому классу относятся проблемы, которые достаточно хорошо обеспечены информацией и для которых можно использовать принцип «хорошего измерителя», считая эксперта хранителем большого объема информации, а групповое мнение экспертов — близким к истинному. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности в справедливости названных предположений недостаточно, экспертов нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертного опроса, поскольку в этом случае мнение одного (единичного) эксперта, больше внимания, чем другие, уделяющего исследованию малоизученной проблемы, может оказаться наиболее значимым, а при формальной обработке оно будет утрачено. В связи с этим к задачам второго класса в основном следует применять качественную обработку результатов. Использование методов усреднения (справедливых для «хороших измерителей») в данном случае может привести к существенным ошибкам.

Задачи коллективного принятия решений по формированию целей, совершенствованию методов и форм управления обычно можно отнести к первому классу. При этом для повышения объективности результатов целесообразно при обработке оценок выявлять противоречивые и «редкие» мнения и подвергать их более тщательному анализу.

Другая особенность, которую нужно иметь в виду при применении экспертных оценок, заключается в следующем: даже в случае решения проблем, относящихся к первому классу, нельзя забывать о том, что экспертные оценки несут в себе не только узкосубъективные черты, присущие отдельным экспертам, но и коллективно-субъективные черты, которые не исчезают при обработке результатов опроса (а при применении «Дельфи» -процедуры и методов повышения согласованности мнений экспертов даже могут усиливаться).

Для более популярного пояснения этой особенности, приняв, что одной из разновидностей экспертного опроса является голосование, приведем мнение одного из героев Ги де Мопассана: «Вы, вероятно, согласитесь со мной, что гениальные люди встречаются редко, не правда ли? Побудем щедры и допустим, что во Франции их имеется человек пять. Прибавим, с такой же щедростью, двести высокоталантливых людей, тысячу других, тоже талантливых, каждый в своей области, и десять тысяч человек, так или иначе выдающихся. Вот вам генеральный штаб в одиннадцать тысяч двести пять умов. За ним идет армия посредственностей, за которой следует вся масса дурачья. Л так как посредственности и дураки всегда составляют огромное большинство, то немыслимо представить, что они могли бы избрать разумное правительство». И далее, эмоционально усиливая свою точку зрения, Мопассан дает такие оценки ситуации: «…единственная сила, поддающаяся нашему измерению — это именно та, с которой меньше всего следовало бы считаться: бессмысленная сила большинства… Невежественное большинство всегда будет превалировать над гением, над наукой, над всеми накопленными знаниями…» и предлагает вводить корректировки в систему голосования, основанную на введении своего рода «коэффициентов компетентности» экспертов.

Один из способов устранения недостатков, связанных с рассматриваемой особенностью, — при применении экспертных опросов для принятия решений в организационных системах обращать особое внимание на формирование экспертной группы и на методы обработки результатов опроса, особо выделяя и учитывая редкие и противоречивые мнения; а на получаемые усредненные оценки смотреть как на некоторую «общественную точку зрения», зависящую от уровня научно-технических знаний общества относительно предмета исследования или принятия решения, которая может меняться по мере развития системы и наших представлений о ней. Такой способ получения информации о сложной проблеме, характеризующейся большой степенью неопределенности, должен стать своего рода «механизмом» в сложной системе, т. е. необходимо создавать регулярную систему работы с экспертами.

Есть и еще одна особенность, на которую обратил внимание А. М. Гендин, назвав ее «эффектом Эдипа». Она заключается в том, что эксперт-лидер при организации экспертного опроса в форме «Дельфи» -процедуры с устным обсуждением результатов оценки между турами опроса может постепенно «увести» группу экспертов в желаемом направлении.

Следует обратить также внимание на то, что использование классического частотного подхода к оценке вероятности при проведении экспертных опросов бывает затруднено, а иногда и невозможно (из-за невозможности доказать представительность выборки). Поэтому в настоящее время ведутся исследования характера вероятности экспертной оценки, базирующиеся на теории размытых множеств Заде, на представлении об экспертной оценке как степени подтверждения гипотезы или как вероятности достижения цели.

Рассмотренные особенности экспертных оценок приводят к необходимости разработки методов организации сложных экспертиз, которые помогают, расчленяя большую неопределенность на части, вводя критерии оценки и применяя различные формы опроса, получать более объективные и достоверные оценки.

В поисках средств повышения объективности оценок разрабатывают методы и модели организации сложных экспертиз, такие как метод решающих матриц, методы, учитывающие несколько критериев и их весовых коэффициентов, методы, основанные на информационном подходе, и др.