Экспертный опрос. М

Как считают современные исследователи, прикладная социология превращается в систему экспертного знания.

Экспертный опрос - сбор первичных данных, основанный на использовании опыта, знаний и интуиции специалистов в той или иной сфере деятельности. Чаще всего этот метод применяется в прикладной социологии как средство повышения надежности решения научных и управленческих проблем.

Представитель любой сферы деятельности, кроме нашей собственной, может выступать в качестве эксперта. Отличительная особенность этого метода состоит в том, что он предполагает компетентное участие экспертов в анализе и решении проблем исследования. К примеру, для оценки ожидаемого спроса на те или иные виды продукции экспертами могут выступать продавцы или товароведы магазинов, руководители малых предприятий, дилеры или брокеры. В армейском подразделении экспертами могут быть командиры, офицеры воспитательных структур, старослужащие (они, как правило, осведомлены по широкому кругу вопросов службы и быта).

От других форм социологического опроса экспертный метод отличают несколько весьма важных черт.

Количество опрашиваемых - их всегда меньше, чем при анкетировании и даже интервью.
Качества опрашиваемых - кругозор, уровень квалификации, знание специальной области у них на несколько порядков выше, чем у обычных респондентов.
Тип и объем информации - экспертный опрос проводится для получения знаний, которых нет и никогда не будет у социолога-исследователя; в отличие от обыденных знаний, которые известны социологу из своего опыта, получаемые от экспертов знания относятся к специально научным знаниям.

Типичность данных - в массовом опросе социолога интересует типичность, повторяемость, обычность добываемых сведений о ценностных ориентациях и мотивах поведения людей, а в экспертном опросе исследователь дорожит именно уникальностью технических или гуманитарных знаний эксперта, их глубиной, неповторимостью.
Программная функция - первичную информацию, получаемую в анкетировании или интервью, социолог использует для проверки научных гипотез, а в экспертном опросе - для того чтобы разобраться в совершенно новой для себя области.

Парадоксально, но факт. Россияне голосуют за власть, которая, как показал опрос Левада-центра, не нравится им в главном - в распоряжении собранными в виде налогов народными деньгами. Опрос был проведен 21-26 июня 2012 г. среди почти 1600 человек в 130 населенных пунктах 45 регионов страны .

Такие формы сбора первичной социологической информации, как анкетирование, интервьюирование, почтовый опрос, телефонное интервью предназначены прежде всего для массовых опросов. Их особенность заключается в том, что они направлены на выявление информации, которая отражает знания, мнения, ценностные ориентации и установки респондентов, их отношение к событиям, явлениям действительности. И то, что данная информация основывается на индивидуальном интересе опрашиваемых и может быть весьма субъективной, отнюдь не противоречит научному характеру ее получения. Напротив, цель массового опроса заключается в том, чтобы при помощи соответствующего инструментария получить достоверные сведения о предмете и объекте исследования. Например, выявить группы читателей по степени их интереса к различным рубрикам газеты либо дифференцировать студентов по уровню их активности на занятиях и т.д. Таким образом, в ходе массового опроса источником социологической информации, дающей оценку тем или иным сторонам объекта исследования, выступают представители этого же объекта .

Основное назначение - выявление наиболее существенных, важных аспектов исследуемой проблемы, повышение надежности, достоверности, обоснованности информации, выводов и практических рекомендаций благодаря использованию знаний и опыта экспертов.

Область применения - может быть использован при изучении всех сфер деятельности; в диагностике, в оценке состояний социального объекта, нормировании, проектировании, прогнозировании, в принятии решений. Разновидности экспертного опроса достаточно эффективно применяются на разных этапах социологического исследования: в определении целей и задач, в выявлении проблемных ситуаций, в поиске гипотез, в ходе интерпретации понятий, в обосновании надежности инструментария и исходной информации, в обосновании выводов, в выработке рекомендаций.

Основные нормативные требования - четкое обоснование необходимости применения соответствующей методики экспертного опроса; тщательность подбора экспертов (обязательна оценка их компетентности); учет факторов, влияющих на суждения эксперта; создание условий для наиболее продуктивного использования экспертов в ходе исследования; сохранение полученной от экспертов информации без искажения на всех этапах исследования.

Ограничения в применении выводов для разных методик экспертных опросов. Так, при использовании некоторых методик экспертных оценок полезно помнить, что заключения по их экспертизам имеют тенденцию к усреднению мнений, а потому могут оказаться непригодными для оценки нестандартных явлений, например новаторских произведений искусства. Не следует также забывать, что данные экспертного опроса носят субъективный характер, а потому желательно их сопоставление с объективной информацией об объекте, полученной другими методами (хотя часто применение экспертного опроса вызвано как раз трудностью получения информации другим способом).

Пример экспертного опроса в рамках научно-исследовательского проекта Российского государственного научного фонда по региональному конкурсу «Русский Север: история, современность, перспективы» Г. В. Жигуновой проведено социологическое исследование, направленное на выявление отношения различных групп населения Мурманской области к детям с ограниченными возможностями здоровья.

В качестве респондентов выступили специалисты социальных учреждений Мурманской области. Выборка стихийная, N = 210. В большинстве случаев это педагогический состав средних образовательных учреждений (68,5%), кроме того, специалисты по социальной работе, медицинские работники, логопеды, дефектологи, психологи и др. Из них лиц с высшим образованием - 69,5%, со средним специальным - 21%, с неполным высшим - 5,7%.

Эксперты (47,6%) заявили, что морально и психологически общество скорее не готово к принятию детей-инвалидов в свою среду; 17,1% считает общество совсем не готовым; 27,6% считают, что общество скорее готово, и только 1% - полностью готово. Основная часть экспертов считает, что дети с любыми нарушениями должны учиться в специализированных учреждениях, а не в обычной школе или дома. Как считают эксперты, сегодня детям-инвалидам необходимы центры дневного пребывания, а также служба доставки, доступность медицинской помощи, возможность покупки бытовой техники для детей с ограниченными возможностями, сиделки со специальным образованием, осуществление патронажа .

Программа применения экспертного опроса включает в себя основные структурные элементы программы социологического исследования. Ведущими задачами являются выделение целей опроса, построение критериев подбора, правил организации участия экспертов и критериев оценки данной ими информации. В отличие от массового опроса программа опроса экспертов не столь детализирована и носит преимущественно концептуальный характер. В ней прежде всего однозначно формулируется подлежащее оцениванию явление, предусматриваются в виде гипотез возможные варианты его исхода.

Основной инструментарий экспертных опросов - анкета или бланк- интервью, разработанные по специальной программе. В соответствии с этим процедура опроса может заключаться либо в анкетировании, либо в интервьюировании экспертов.

Бесспорно, для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После Второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки. Экспертные оценки - это суждения знатоков, предполагающие процедуру сравнения объектов, их свойств по выделенным критериям. Метод экспертных оценок - вид экспертного опроса, предполагающий использование экспертных оценок. Основное содержание метода заключается в рациональной организации осуществляемого экспертами анализа проблем с последующей оценкой выделенных исследователем суждений и обработкой полученных данных.

Фоновые суждения фиксируют факторы, влияющие на состояние изучаемого объекта. В процедуре опроса эксперт выделяет среди них наиболее важные, существенные для объекта, дает им оценку.

Применение экспертного метода опроса связано с соблюдением определенных правил. При его организации больше всего внимания уделяют обычно трем методологическим проблемам - подбору экспертов, процедуре их работы, обработке высказанных мнений .

Перечислим ошибки и трудности, с которыми сталкиваются при применении экспертного опроса.

1. Нечеткость в определении целей экспертизы. Их несоответствие возможностям экспертов, используемой технике проведения экспертизы. Опрос экспертов проводится без специально разработанной программы.
2. Неэффективное использование экспертов. Экспертиза предназначена для получения информации, которая могла быть собрана другими, менее сложными методами.
3. Недостаточно тщательный подбор экспертов. Оценка компетентности кандидатов в эксперты имеет односторонний характер (или вообще отсутствует), что приводит к появлению в группе экспертов случайных людей.
4. Привлеченные к опросу эксперты не проявляют интереса к экспертизе. Часть экспертов заинтересована в искажении информации.
5. Инструментарий экспертизы не был заранее апробирован. Недостаточно точно сформулированы вопросы, не ясен их основной смысл. Значительно число неответов на поставленные вопросы.
6. Эксперты испытывают трудности в применении техники экспертизы.
7. Возникли трудности интерпретации данных из-за значительного разброса ответов, их неоднородности, трудности сопоставления данных в разнородных группах экспертов.
8. В ходе экспертизы получено много количественных оценок, но не было уделено внимание их аргументации. Возникли трудности объяснения полученных данных. Средние значения ответов оказываются далекими от верных.
9. Стремление ускорить опрос привело к поверхностному анализу проблем экспертами.

10. Излишний оптимизм в оценке результатов опроса. Данные экспертизы не подтверждены другими объективными данными

Подразумевает не только вложение средств в рекламу, но и создание интересного качественного контента, способного удержать существующих и привлечь новых посетителей. Одним из вариантов наполнения сайта является проведение экспертного опроса, призванного предоставить посетителям актуальную достоверную информацию "из первых рук".

Проведение экспертного опроса — достаточно длительная серьезная процедура, предполагающая его тщательную подготовку, непосредственно опрос экспертов, обработку информации и ее представление в привлекательном для читателей виде.

Можно выделить несколько стадий работы, итогом которой будут расположенные на сайте данные от экспертов.

Подготовительный этап

Для качественного проведения опроса необходимо подготовить вопросы экспертам, предварительно составив список лиц, подходящих на эту роль.

Подготовка вопросов

Это очень важный этап. От темы обсуждения будет напрямую зависеть интерес аудитории и количество привлеченных посетителей, а правильная постановка вопроса повысит уровень интервьюера в глазах респондента.

Зачастую вопросы задает сама аудитория. Это может происходить через форму обратной связи на сайте, посредством размещения комментариев в сопутствующей группе в . В этом случае важно увидеть, что больше всего интересует публику, грамотно сформулировать вопрос и задать его эксперту.

Случается и так, что вопроса нет. А провести экспертный опрос нужно. Из такой ситуации может быть несколько выходов:

Посмотреть, какие проблемы озвучивают пользователи на форумах данной отрасли.
Взять за основу последние веяния, новшества. Целью интервью будет получение комментариев экспертов по этому вопросу.
Заглянуть на сайты конкурентов, посмотреть темы последних и на основании их подготовить ряд вопросов экспертам.

Подбор экспертов

Экспертом может выступать человек, являющийся специалистом в заданной теме . Это не обязательно должны быть известные личности:

во-первых, их мнение не так-то просто получить по причине недоступности контактных данных;
во-вторых, известность вовсе не предполагает необходимого уровня знаний;
в-третьих, налаживать долгосрочные отношения удобнее с "местными" профессионалами.

Для поиска экспертов можно использовать следующие источники:

социальные сети. Здесь нужно посмотреть, какие группы являются наиболее популярными в данной сфере, пообщаться с администраторами, ведущими группы, привлечь их к опросу;
поисковые системы. Простой способ нахождения информации о профессионалах в интересующей теме. Запрос можно сформулировать в виде "Эксперты по..." либо "Лучшие мастера...";
опрос коллег. Кого они считают экспертами в данной сфере деятельности? Кто сможет предоставить самую достоверную информацию по вопросу?

Желательно найти 25-30 экспертов для проведения опроса. Необходимо не только определиться с именами респондентов, но и узнать их электронные адреса, телефоны, названия групп в соц. сетях.

Основной этап

Основной этап включает в себя выход на связь с экспертами и собственно проведение интервью.

Выход на связь с экспертами

Этот способ на самом деле является более предпочтительным, ведь просьба звучит уже после установления минимального контакта и, соответственно, не является "холодной", как в двух предыдущих вариантах. Хотя этот же принцип установления контакта можно использовать и в случае с соц. сетями, где также можно отмечать понравившиеся записи и оставлять комментарии, если настройки группы позволяют это сделать.

Просьба о проведении опроса

Сообщение эксперту должно быть составлено в грамотной вежливой форме. Необходимо указать причину проведения интервью — актуальность вопроса, сам вопрос. Важно показать значимость мнения данного эксперта, выразить благодарность за внимание и надежду на сотрудничество.

В некоторых случаях можно указать сроки крайней сдачи ответов. Здесь нет конкретной рекомендации, с разными людьми работают разные приемы. Нужно действовать методом проб и ошибок.

Чаще эксперты охотно принимают приглашения на участие в опросе, ведь это их возможность дополнительно заявить о себе, своей деятельности.

Бывают случаи, когда респонденты не торопятся отвечать на письма и сообщения в своих аккаунтах. Тогда можно попробовать повторить просьбу, дополнительно вписав в тело письма имена тех, кто уже согласился принять участие в опросе. Обычно этот метод срабатывает. При обращении через почту можно изменить тему письма, попробовать более интересные фразы для привлечения внимания.

Полная информация про правила продвижения вашего сайта в Яндексе в нашем .

Составление из результатов опроса качественного материала

Когда большая часть работы позади, мнения экспертов по заданной теме получены, важно отредактировать и грамотно подать полученный материал:

Прекрасным итогом экспертного опроса будет выражение благодарности респондентам за участие. Указание в письме ссылки на опрос и просьба к эксперту разместить его в своем аккаунте даст возможность привлечения дополнительного трафика и поможет укрепить созданные деловые отношения.

С уважением, Настя Чехова
I . Введение …………………………………………………….................... 3

II . Основная часть ………………………………………………………...

Глава 1. Понятие и методы проведения опроса.
1.1. Понятие опроса ……………………………………...................... 5

1.2. Виды опроса …………………...................................................... 6

1.3 Методы проведения опроса ……………………………………..

Глава 2. Применение методов экспертного опроса на практике.

2.1. Область применения …………………………………………….. 14

2.2. Выбор экспертов………………………………………………….. 18

2.3. Обработка полученной информации…………………………… 20

III . Заключение …………………………………………………… 23

IV .Список литературы …………………………………………… 24

Введение.

Актуальность: В настоящее время в нашей стране метод экспертного опроса широко применяется при подготовке на государственном уровне важнейших народно-хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития. В различных отраслях, ведомствах и на предприятиях действуют постоянные или временные экспертные комиссии, связанные с оценкой качества продукции и выбором перспективной техники, с проведением профессиональной аттестации кадров. Метод экспертного опроса в нашей стране и во всем мире с каждым днем становится все более значимой.

Степень разработанности: Большой вклад в изучения этого вопроса вложил социолог Головин Е.Е. в своем труде “Экспертный методы опроса”, Докторов Б.З. “Экспертный опрос как метод изучения общественного мнения” и другие. Этому вопросу уделяется достаточно большое внимание.

Объект и предмет: Экспертный опрос, методы экспертного опроса.

Цели: Изучение методов экспертного опроса, и применение их на практике.

Задачи: Определить по какому принципу выделяются методы экспертного опроса, дать определение каждому методу, узнать где применяется метод экспертного опроса.

Структура курсовой работы: Исходя из поставленных целей и задач с учетом специфики объекта исследования, предоставляю целесообразную структуру курсовой работы.

Курсовая состоит из двух глав. Первая называется: Методы проведения экспертного опроса. Состоит из двух параграфов, в которых я описываю очные, заочные, индивидуальные и групповые методы экспертного опроса.

Вторая глава называется: Применение методов экспертных технологий на практике. Состоит она из трех параграфов, в которых я описываю область применения, выбор экспертов, обработка полученной информации.

В данной работе я постараюсь раскрыть понятие экспертного опроса и описать его преимущества перед другими методами сбора социологической информации.

Глава 1. Методы проведения экспертного опроса.

§ 1.2. Очные и заочные.

Очный опрос.

Очный опрос (также он называется личный) – это процедура, в процессе которой исследователь осуществляет очный контакт с экспертом. Недостатком очного опроса являются большие затраты труда и времени как со стороны исследователя, так и экспертов. Необходимость длительного участия в экспертизе обычно вызывает недовольство со стороны экспертов. Кроме того, при очном опросе могут возникать нежелательные искажения информации вследствие психологического воздействия исследователя на эксперта.

Заочный опрос.

Заочный опрос осуществляется путем пересылки анкеты эксперту по почте, его преимущества – простота и дешевизна. Однако надежность полученных данных может быть ниже, чем при очном опросе, поскольку некоторые вопросы эксперт может неправильно истолковать, а на некоторые вообще не дать ответа.

§ 1.2. Индивидуальные и групповые опросы.

Индивидуальные методы опроса .

Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:

1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем "самозаполнения". В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований - использование общепринятого профессионального языка, однозначность трактовки используемых терминов. 1

2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса - неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.

3. Метод "индивидуального блокнота". Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.

В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако, они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям 2 .

Групповые методы опроса.

Групповые методы формирования опроса весьма разнообразны, я опишу основные из них:

1. Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

2. Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название "конференции идей", его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и "бредовыми". Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

3. Метод "635". Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

4. Критическая атака ("разносная" атака). Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие - в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора - отстоять свою версию решения, задача оппонентов - "разнести ее в пух и прах". По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.

5. Экспертное фокусирование. Метод представляет собой одну из форм совместного очного обсуждения проблемы. Эксперты всесторонне рассматривают исследуемую ситуацию, "фокусируются" на ней. Основная цель - выявить структуру данной проблемы, определить по возможности все факторы, определяющие данную ситуацию, установить взаимосвязи между ними. Обсуждение носит более деловой характер, чем при классической версии мозгового штурма, то есть проходит без излишнего "бреда".

6. Метод комиссий. Метод также заключается в совместном обсуждении проблемы. Основное отличие от фокусирования - стремление выяснить, в чем состоит противоречие между разными вариантами предлагаемых решений, найти максимальное число "точек согласия" и прийти к консенсусу.

7. Метод интеграции решений. Метод в своей основе аналогичен методу комиссий, однако в большей степени формализован. Метод заключается в выработке совместного решения проблемы на основе выявления сильных сторон отдельных решений и их объединения. Метод реализуется в несколько этапов. На первом этапе экспертам предлагается задача, и они рассматривают и решают ее независимо друг от друга. Затем в заранее подготовленный формуляр эксперты заносят свои индивидуальные решения, т.е. трактовку анализируемой ситуации или прогноз развития событий. На следующем этапе эксперты совместно обсуждают задачу и все предложенные решения с целью выявить сильные стороны каждого отдельного решения, которые также фиксируются в формуляре. При представлении индивидуальных решений возможны вариации - либо каждое решение презентуется автором и подробно аргументируется, либо соблюдается анонимность решений, чтобы избежать давления авторитетов. После того как обсуждены все решения и определены сильные стороны каждого из них, вырабатывается синтезированное решение на основе комбинирования преимуществ отдельных решений.

8. Деловая игра. Метод может быть реализован в разных формах. Наиболее распространенная форма - моделирование анализируемых процессов и/или будущего развития прогнозируемого явления в разных вариантах и рассмотрение полученных данных. Разработка процедуры проведения деловой игры - достаточно сложная задача, и ей должно быть уделено серьезное внимание. Должны быть четко определены и формально описаны следующие элементы игры: цели и задачи, роли участников, сюжет и регламент. Важным этапом любой деловой игры является рефлексия - разбор хода игры и подведение итогов. В данном случае рефлексия заключается не только в анализе самого игрового процесса, но и в анализе результатов моделирования исследуемого явления.

9. Метод "суда". Метод представляет собой одну из разновидностей деловых игр. Обсуждение поставленной задачи реализуется в виде судебного процесса: моделируется "процесс над проблемой". Выбираются "адвокат", "прокурор", "суд", "присяжные" и др. участники "процесса". Каждый отстаивает свою точку зрения, касающуюся анализируемого или прогнозируемого явления, аргументируя свои высказывания. Окончательный вердикт об исследуемой проблеме определяется в два этапа: голосование "присяжных" и конкретизация решения "судьями".

10. "Консилиум". Эксперты исследуют проблему подобно тому, как врачи обследуют пациента: определяются "симптомы" проявления проблемы, вскрываются причины возникновения проблемы, производится анализ, ставится "диагноз", и дается прогноз развития ситуации.

11. "Коллективный блокнот". Метод в основе своей аналогичен "индивидуальному блокноту", однако в данном случае блокноты получают несколько экспертов, каждый из которых знает, что он является участником экспертной группы. Возможен вариант, когда в начале работы все эксперты собираются вместе и им рассказывают о сущности возникшей проблемы и формулируют задачу. Далее каждый эксперт работает со своим блокнотом в течение определенного времени (при этом также возможно, что разные эксперты сосредотачиваются на разных сторонах проблемы). Второй этап реализации экспертизы заключается в том, что блокноты собираются, информация систематизируется (исследовательской командой или руководителем экспертной группы) и далее в очном совместном обсуждении накопленного и систематизированного материала эксперты приходят к решению проблемы.

12. Метод Дельфи. Метод представляет собой заочный и анонимный опрос экспертной группы в несколько туров с согласованием мнений экспертов. Экспертам предлагаются опросные листы по исследуемой проблеме. Степень стандартизированности вопросов может быть различна (они могут быть как закрытыми, так и открытыми, подразумевать как количественный, так и качественный ответ). Возможны вариации и в плане аргументации и обоснования экспертных оценок (что может быть обязательным или нет). Как правило, метод Дельфи реализуется в 2-3 тура, причем при повторных опросах экспертам предлагается ознакомиться либо с мнениями и аргументами каждого эксперта, либо со средней оценкой. На повторных турах эксперты могут поменять свою оценку, приняв во внимание аргументы коллег, а могут остаться при прежнем мнении и высказать обоснованную критику других оценок. Существуют различные методики согласования экспертных оценок (с учетом (или без) квалификации экспертов (как весовых коэффициентов), с отбрасыванием (или без) крайних оценок и другие). Метод Дельфи имеет весьма существенные достоинства, которые иногда делают его незаменимым. Во-первых, заочность и анонимность позволяют избежать конформизма или ориентации на авторитеты, что могло бы возникнуть, если бы экспертов собрали вместе и они должны были бы обнародовать свое мнение. Во-вторых, эксперты имеют возможность изменить свое мнение без риска "потерять лицо". 3
Методы опроса . Метод проведения экспертного опроса является одним из этапов экспертной оценки. Сегодня экспертные оценки... одного профиля различный ответ. Групповые методы экспертного опроса делятся на два класса: одни...

2.3. Общая характеристика малых социальных групп

2.4. Основные характеристики коллектива

2.5. Понятия «руководство» и «лидерство»; характеристика стилей управления.

2.6. Конфликт: понятие, виды и стратегии поведения в конфликтной ситуации

2.7. Понятие социально-психологического климата коллектива

2.8. Организация социально-психологического исследования

3. Методы социальной психологии

3.1. Наблюдение

3.2. Эксперимент

3.3. Анализ документов

3.4. Опросные методы

3.4.1. Беседа

3.4.2. Интервью

3.4.3. Анкетный опрос

3.4.4. Экспертный опрос

3.5. Метод социометрических измерений

3.6. Тесты в социально-психологическом исследовании

3.7. Методы обработки данных

4. Методики социально-психологического изучения

4.1. Методика диагностики межличностных и межгрупповых отношений «социометия» дж. Морено

4.2. Анкета для изучения социально-психологического климата коллектива

1. Нравится ли Вам Ваша работа?

3. Оцените, пожалуйста, по 5-балльной шкале степень развития перечисленных ниже качеств у Вашего непосредственного руководителя:

5. Предположим, что по каким-либо причинам Вы временно не работаете; вернулись ли бы вы на свое нынешнее место работы?

6. Отметьте, пожалуйста, с каким из приведенных ниже утверждений Вы больше всего согласны?

7. Считаете ли Вы, что было бы хорошо, если бы члены Вашего коллектива жили близко друг от друга?

9. Как Вам кажется, могли бы Вы дать достаточно полную характеристику деловых и личных качеств большинства членов коллектива?

10. Если бы у Вас возникла возможность провести отпуск вместе с членами Вашего коллектива, то, как бы Вы к этому отнеслись?

11. Могли бы Вы с достаточной уверенностью сказать о большинстве членов Вашего коллектива, с кем они охотно общаются по деловым вопросам?

13. Как Вы думаете, если бы Вы вышли на пенсию или долго не работали по какой-либо причине, стремились бы Вы встречаться с членами Вашего коллектива?

14. Укажите, пожалуйста, в какой степени вы удовлетворены различными условиями Вашей работы?

15. На сколько хорошо, по Вашему мнению организована Ваша работа?

16. Как вы считаете, пользуется ли Ваш руководитель реальным влиянием на дела коллектива?

Протокол опроса

4.3. Методика самооценки коллектива

4.4. Методика оценки психологической атмосферы в коллективе (по а.Ф.Фидлеру)

4.5. Методика «определение индекса групповой сплоченности сишора»

4.6. Тест общей оценки психологического климата

4.7. Методика субъективной оценки межличностных отношений (с. В. Духновский)

4.8. Методика диагностики межличностных отношений т. Лири

I. Авторитарный

II. Эгоистичный

III. Агрессивный

IV. Подозрительный

V. Подчиняемый

VI. Зависимый

VII. Дружелюбный

VIII. Альтруистический

4.9. Методика «q-сортировка» в. Стефансона. Диагностика основных тенденций поведения в реальной группе и представлений о себе

4.10. Интегральная самооценка уровня развития группы как коллектива (л.Г. Почебут)

4.11. Методика определения стиля руководства трудовым коллетивом

4.12. Определение стиля управления руководителя с помощью самооценки

Характеристики индивидуального стиля управления

4.13. Методика «самооценка стиля руководства»

4.14. Методика «определение уровня лидерского потенциала»

4.15. Методика «самооценка лидерства»

4.16. Диагностика лидерских способностей

4.17. Экспертная оценка психологических характеристик руководителя

Обобщенные экспертные оценки пхлр

4.18. Тест описания стратегий поведения в конфликте к. Томаса (в адаптации н.В. Гришиной)

3.4.4. Экспертный опрос
Специфическим видом опроса является экспертный опрос.
Экспертный опрос – разновидность опроса, в ходе которого респондентами являются эксперты.
Эксперт – специалист в какой-либо области знаний, привлекаемый для исследования определенных вопросов, требующих специфической компетентности. Эксперты, для участия в экспертном опросе, отбираются, прежде всего, по уровню их компетентности; численность и представительность группы экспертов оценивается не столько статистическими, сколько качественными показателями. Надежность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений .
Экспертный опрос может проводиться как в виде интервью, так и в виде анкетирования. Эти опросы не анонимны, так как предполагают активное сотрудничество опрашиваемого в выяснении поставленных проблем. Как правило, экспертный опрос нацелен на уточнение гипотез: разработку прогноза и пополнение интерпретации определенных социальных явлений и процессов. Экспертный опрос проводится для прогноза развития того или иного явления, для оценки степени достоверности массового опроса, для сбора предварительной информации о проблеме исследования, в ситуациях, когда массовый опрос простых респондентов не возможен или не эффективен .
Классификация экспертного опроса.
1. По характеру взаимодействия между экспертами
- очный – информация собирается в ходе личного общения с экспертами. Форма проведения – неформализованное интервью. Преимущества данного опроса заключаются в том, что можно менять ход интервью в зависимости от ответов эксперта, от его компетентности;
- заочный – опрос проводится в письменной форме.
2. По численности экспертов
- индивидуальный – в опросе участвует только один эксперт. Данный вид опроса позволяет получить максимально полную информацию по конкретному эксперту;
- групповой – групповая дискуссия, мозговой штурм. Преимущества данного вида опроса в том, что допускаются прямые столкновения разных взглядов.
Тема опроса четко обозначается в строгих формулировках, задачи исследования также должны быть ясно сформулированы, подчеркивается важность именно персонального мнения специалистов (в массовых опросах, напротив, подчеркивают, что мнение опрашиваемого учитывается в рамках общей статистики). В таких опросах доминируют открытые формулировки, а закрытые вопросы предназначены лишь для оценки меры согласия или несогласия с уже высказанными позициями других специалистов.
Процедура экспертного опроса предполагает следующие этапы (рис. 14):
Рис. 14 Этапы проведения экспертного опроса
3.5. Метод социометрических измерений
Метод социометрии относится к эффективным инструментам социально-психологического исследования структуры малых групп и коллективов.
Термин «социометрия» означает измерение межличностных взаимоотношений в группе. Совокупность межличностных отношений в группе составляет, по Дж. Морено, основу социометрии, ту первичную социально-психологическую структуру, характеристики которой во многом определяют целостные характеристики группы .
Социометрическая техника применяется для диагностики межличностных и межгрупповых отношений в целях их изменения, улучшения и совершенствования. С помощью социометрии можно изучать типологию социального поведения людей в условиях групповой деятельности, судить о социально-психологической совместимости членов конкретных групп. Достоинство данного метода в том, что внутригрупповые отношения получают конкретное выражение в виде таблиц, схем, графиков, числовых величин. Однако все эти сведения не являются исчерпывающей характеристикой группы, так как представляют собой лишь описание сложившихся межличностных предпочтений, отношений симпатии и антипатии. Кроме того, из всего многообразия неформальных отношений в группе выявляются только те, которые отражены в формулировках предлагаемых вопросов. И наконец, социометрия не позволяет установить мотивы выбора или отвержения одних членов группы другими. Поэтому она обычно используется в комплексе с другими методиками изучения малой группы, коллектива .
Основные задачи , решаемые социометрией: измерение степени сплоченности-разобщенности в группе; выявление «социометрических позиций», то есть соотносительного авторитета членов группы по признакам симпатии-антипатии, где на полюсах оказывается «лидер» группы и «отвергнутый»; обнаружение внутригрупповых подсистем – сплоченных образований, во главе которых находятся неформальные лидеры.
Социометрическая процедура может проводиться в двух вариантах. Первый вариант – непараметрическая процедура . В данном случае испытуемым предлагается ответить на вопросы без ограничения числа выборов. Достоинством данного варианта является то, что она позволяет выявить эмоциональную экспансивность каждого члена группы, сделать срез многообразия межличностных связей в групповой структуре. Недостатком является большая вероятность получения случайного выбора, а также невозможность раскрыть многообразие взаимоотношений в группе. Можно выявит только наиболее субъективно значимые связи.
Второй вариант – параметрическая процедура с ограничением числа выборов.
Одним из основных понятий социометрии является выбор. Выбор – это единица измерения и анализа в социометрии. Выражает индивидуальные установки человека относительно взаимодействия с членами своей группы в определенных ситуациях. Является показателем симпатии или антипатии. Основной измерительный прием социометрии – вопрос , отвечая на который каждый член группы проявляет свое отношение к другим. В зависимости от вопроса социометрический выбор может быть положительным (или прямым), отрицательным (или обратным) и нулевым (отсутствие выбора).
Следующее понятие – это социометрический критерий. Социометрический критерий – конкретная ситуация выбора, которая формулируется в виде письменного или устного вопроса ко всем участникам диагностической процедуры. Выбор критериев социометрии диктуется задачами исследования и вытекает из его программы .
Выделяют следующие разновидности критериев :
1. В зависимости от характера исследовательской задачи : коммуникативные – направленные на выявление взаимоотношений в группе (например, «Кого бы Вы выбрали для...») и гностические – выясняющие степень осознания человеком своих взаимоотношений с членами группы (например, «Кто, по Вашему мнению, выбрал бы Вас...»).
2. По характеру выявляемых взаимоотношений : двойные – предполагающие отношения партнерства, равенства позиций выбирающего и выбираемых им (например, «С кем бы Вы не согласились пойти ….?») и одинарные – связанные с установлением иерархических отношений лидерства и подчинения («Кого бы Вы выбрали старшим группы?»).
3. По характеру ответов : предполагающие положительные выборы (типа «Кого бы Вы выбрали для...?») и предлагающие отрицательные выборы («Кого бы Вы отвергли при..?»).
4. По количеству ответов : непараметрические – без ограничения числа возможных выборов и параметрические – с четким ограничением числа выборов.
Основные требования к формулировкам социометрических критериев заключаются в следующем:
Смысл вопросов должен быть предельно очевиден для всех членов группы, что требует от составителя учета возрастных, интеллектуальных и иных особенностей респондентов;
Все ситуации выборов должны описываться максимально конкретно и точно (так, содержание критерия «С кем бы Вы хотели вместе работать?» нуждается в непременном уточнении (где? когда? в каком качестве? при каких условиях? и т.д.), иначе различия в понимании словосочетания «вместе работать» превратят вопрос в тот, который обозначает для различных респондентов совершение разные отношения;
Необходимо, чтобы вопросы вызывали определенные интерес у большинства респондентов, имели значимость для них;
Формулировки не должны содержать в себе неоправданных ограничений выборов членов группы по интеллектуальным, половым, физиологическим и другим признакам.
Опросным листом, бланком социометрического исследования является социометрическая карточка – средство получения информации от опрашиваемых. Именно на ней производятся регистрации индивидуальных выборов. Если критерии не даны респондентам в устной форме, то здесь же размещается и список критериев. Рекомендуется не загромождать социометрическую карточку большим числом критериев, а выбирать такие, которые были бы логически связаны между собой, вызывали бы активный интерес у большинства испытуемых. Иногда на карточке присутствует и краткая инструкция по заполнению. При проведении социометрического обследования нет и не может быть полной анонимности, иначе сама процедура окажется неэффективной. Поэтому карточки должны подписываться респондентами. Однако в ряде случаев возможно использование метода скрытой нумерации бланков до начала социометрии. Если исследователю достоверно известно, кто из респондентов заполнял данный бланк, наличие на нем фамилии не обязательно .
Полученные от всех членов группы ответы по каждому критерию объединяются в социометрической матрице – таблице, с помощью которой обобщаются результаты опроса. Анализ социоматрицы дает наглядную картину взаимоотношений в группе. На основе социоматрицы возможно и более наглядное представление результатов виде графического изображения связей – социограммы.
Социограмма – это графическое изображение отношений респондентов друг к другу при ответах на социометрические критерии. Позволяет нагляднее выразить и глубже проанализировать групповые взаимосвязи, а также произвести сравнительный анализ структуры взаимоотношений в группе в пространстве на некоторой плоскости с помощью специальных знаков.
Социограмная техника является существенным дополнением к табличному подходу в анализе социометрического материала, так как она дает возможность более глубокого качественного описания и наглядного представления групповых явлений. Выбор типа социограммы определяется задачами исследования .
Типы социограмм:
- произвольного вида – показывает комбинацию связей с наиболее удобным расположением членов группы по результатам выборов;
- концентрическая или «мишеневая» – показывает расположение всех членов группы на концентрических окружностях, вписанных друг в друга. Чем выше положительный статус, тем ближе к центру круга располагается член группы и наоборот;
- локограммного вида – в которой обследуемых заранее обозначают на плоскости так, как они в реальности располагаются в том помещении, где происходит основная деятельность группы.
Для выявления количественных характеристик отношений в группе служат социометрические индексы. Различают индексы персональные (П.С.И.), которые дают характеристики индивидуальных социально-психологических свойств личности в роли члена группы и групповые (Г.С.И.) – дают числовые характеристики целостной социометрической конфигурации выборов в группе. Основными П.С.И. являются: индекс социометрического статуса (для выбираемого), индекс эмоциональной экспансивности (для выбирающего) и индекс адекватности оценки своего положения в группе.
Интерпретацию данных социометрии проводят, анализируя полученные в ходе обработки данные: социоматрицу, социограммы, социометрические индексы.
Процедура социометрического исследования предполагает следующие этапы (рис. 15):
Рис. 15 Этапы социометрического исследования

I . Введение …………………………………………………….................... 3

II . Основная часть ………………………………………………………...

Глава 1. Понятие и методы проведения опроса.
1.1. Понятие опроса ……………………………………...................... 5

1.2. Виды опроса …………………...................................................... 6

1.3 Методы проведения опроса ……………………………………..

Глава 2. Применение методов экспертного опроса на практике.

2.1. Область применения …………………………………………….. 14

2.2. Выбор экспертов………………………………………………….. 18

2.3. Обработка полученной информации…………………………… 20

III . Заключение …………………………………………………… 23

IV .Список литературы …………………………………………… 24

Введение.

Актуальность: В настоящее время в нашей стране метод экспертного опроса широко применяется при подготовке на государственном уровне важнейших народно-хозяйственных решений, для оценки социально-экономических проблем, возникающих в процессе разработки перспективных планов развития. В различных отраслях, ведомствах и на предприятиях действуют постоянные или временные экспертные комиссии, связанные с оценкой качества продукции и выбором перспективной техники, с проведением профессиональной аттестации кадров. Метод экспертного опроса в нашей стране и во всем мире с каждым днем становится все более значимой.

Степень разработанности: Большой вклад в изучения этого вопроса вложил социолог Головин Е.Е. в своем труде “Экспертный методы опроса”, Докторов Б.З. “Экспертный опрос как метод изучения общественного мнения” и другие. Этому вопросу уделяется достаточно большое внимание.

Объект и предмет: Экспертный опрос, методы экспертного опроса.

Цели: Изучение методов экспертного опроса, и применение их на практике.

Задачи: Определить по какому принципу выделяются методы экспертного опроса, дать определение каждому методу, узнать где применяется метод экспертного опроса.

Структура курсовой работы: Исходя из поставленных целей и задач с учетом специфики объекта исследования, предоставляю целесообразную структуру курсовой работы.

Курсовая состоит из двух глав. Первая называется: Методы проведения экспертного опроса. Состоит из двух параграфов, в которых я описываю очные, заочные, индивидуальные и групповые методы экспертного опроса.

Вторая глава называется: Применение методов экспертных технологий на практике. Состоит она из трех параграфов, в которых я описываю область применения, выбор экспертов, обработка полученной информации.

В данной работе я постараюсь раскрыть понятие экспертного опроса и описать его преимущества перед другими методами сбора социологической информации.

Глава 1. Методы проведения экспертного опроса.

§ 1.2. Очные и заочные.

Очный опрос.

Очный опрос (также он называется личный) – это процедура, в процессе которой исследователь осуществляет очный контакт с экспертом. Недостатком очного опроса являются большие затраты труда и времени как со стороны исследователя, так и экспертов. Необходимость длительного участия в экспертизе обычно вызывает недовольство со стороны экспертов. Кроме того, при очном опросе могут возникать нежелательные искажения информации вследствие психологического воздействия исследователя на эксперта.

Заочный опрос.

Заочный опрос осуществляется путем пересылки анкеты эксперту по почте, его преимущества – простота и дешевизна. Однако надежность полученных данных может быть ниже, чем при очном опросе, поскольку некоторые вопросы эксперт может неправильно истолковать, а на некоторые вообще не дать ответа.

§ 1.2. Индивидуальные и групповые опросы.

Индивидуальные методы опроса .

Индивидуальность заключается в том, что эксперты не собираются вместе, не знакомятся с оценками других экспертов, разных экспертов могут опрашивать относительно разных аспектов одной проблемы, также могут быть различны и процедуры опроса разных экспертов. Чаще всего при индивидуальном экспертном опросе используются следующие методы:

1. Стандартизированный экспертный опрос. Данный метод требует от исследовательской команды предварительного четкого структурирования проблемы и определения перечня всех вопросов, на которые должны быть получены однозначные ответы. Для реализации опроса разрабатывается стандартизированная анкета с вопросами закрытого типа (с предложением вариантов ответа). Анкетирование может проводиться как при личной беседе интервьюера с экспертом, так и путем "самозаполнения". В этом случае присутствие интервьюера необязательно, анкета может быть отправлена по обычной или электронной почте, однако требуется заключение предварительной договоренности с экспертом об опросе. Метод предполагает высокую квалификацию специалистов-исследователей на этапе постановки задачи и планирования исследования, однако весьма прост в части организации и проведения опроса, а также в части обработки полученной информации. Требования к анкетам (структура, формулировка вопросов и вариантов ответов) достаточно стандартны и аналогичны требованиям, предъявляемым к опросам неэкспертного уровня. Одно из основных требований - использование общепринятого профессионального языка, однозначность трактовки используемых терминов.

2. Нестандартизированный экспертный опрос. Метод представляет собой личное интервью с экспертом по определенной проблеме. Степень формализации интервью может быть различной. Низкий уровень формализации опроса - неформальная беседа, для которой определяется только тема, а далее эксперт сам решает, как ее освещать (интервьюер при этом задает уточняющие или наводящие вопросы). Высокий уровень формализации предполагает разработку четко структурированного опросника с вопросами открытого типа. Данный метод по сравнению с предыдущим более сложен как на этапе проведения опроса (требует высокой квалификации интервьюера), так и на этапе интерпретации полученной информации и требует высокой квалификации исследователя.

3. Метод "индивидуального блокнота". Метод представляет собой заочную работу эксперта без непосредственного общения с исследователями. Эксперт получает блокнот, на первой странице которого описана проблема, и затем в течение оговоренного периода времени (определяемого сложностью проблемы и срочностью ее решения) заносит в этот блокнот все свои мысли, идеи, замечания, касающиеся поставленной задачи, после чего сдает блокнот исследователям. Существенную сложность представляет последующая обработка информации и ее интерпретация. Метод требует значительного вовлечения эксперта и, следовательно, предполагает высокий уровень оплаты его труда.

В отличие от индивидуальных групповые методы предполагают коллективную работу экспертов (очную или заочную), они требуют согласования мнений всех экспертов и разработку общего экспертного вывода на основе консенсуса. Групповые методы предпочтительнее с точки зрения повышения надежности экспертизы, однако, они весьма сложны по подготовке и проведению. Требуются высококвалифицированные специалисты для разработки процедуры группового взаимодействия. Далеко не всегда удается собрать в одно время и в одном месте необходимое количество экспертов, отвечающих нужным требованиям .

Групповые методы опроса.

Групповые методы формирования опроса весьма разнообразны, я опишу основные из них:

1. Метод номинальных групп. Метод представляет собой некую переходную разновидность от индивидуального опроса к групповому. При реализации этого метода сначала производится индивидуальный опрос одних экспертов, а затем результаты данных интервью так же автономно и независимо друг от друга обсуждаются другими экспертами. Эксперты могут выразить согласие или несогласие с ранее прозвучавшими мнениями, необходимо, чтобы критика или выражение солидарности были четко аргументированы.

2. Мозговой штурм. Метод представляет собой совместное очное обсуждение проблемы группой экспертов. Метод реализуется в два этапа. Первый этап носит название "конференции идей", его длительность составляет примерно 1-1,5 часа. В ходе этого этапа эксперты выдвигают различные идеи, касающиеся трактовки анализируемой ситуации и или прогноза развития явления. Идеи протоколируются, но не обсуждаются, не критикуются. При этом идеи могут быть самыми разными, в том числе и "бредовыми". Главенствует принцип: чем больше идей, тем лучше. После перерыва, на втором этапе, идеи обсуждаются, оцениваются, и выбираются те из них, которые признаются наиболее верными. Окончательный вердикт по проблеме может быть принят путем явного или неявного голосования. Процедуры генерации и обсуждения идей могут быть в большей ими меньшей степени формализованы.

3. Метод "635". Метод представляет собой достаточно формализованную вариацию метода мозгового штурма. Этот метод подразумевает следующую регламентацию работы экспертной команды: в группу входят 6 человек, каждый из которых в течение 5 минут должен выдвинуть три предложения или высказать три гипотезы по поводу некоторого аспекта решаемой задачи или анализируемой ситуации. Идеи каждого эксперта заносятся в специальные формуляры, которые передаются по кругу. После того как были рассмотрены все аспекты поставленной задачи и все эксперты получили возможность высказаться, происходит обсуждение и оценка решений и выбор наиболее верного.

4. Критическая атака ("разносная" атака). Метод также представляет собой вариацию метода мозгового штурма, принципиальное отличие - в критической направленности обсуждения. Реализация метода включает несколько этапов. На первом этапе каждый участник экспертной группы предлагает свое решение поставленной задачи (свою интерпретацию при анализе ситуации) или свою версию развития событий (при прогнозе). Решение должно предлагаться с подробной аргументацией. Далее каждый эксперт должен ознакомиться с мнениями своих коллег и найти и аргументировать в предлагаемых решениях максимально возможное число слабостей. На следующем этапе эксперты собираются вместе и по очереди обсуждают все выдвинутые решения. Задача каждого автора - отстоять свою версию решения, задача оппонентов - "разнести ее в пух и прах". По итогам дискуссии эксперты выбирают то решение, которое вызвало меньше всего нареканий и было наиболее обоснованным.