Выбор управленческого решения методом анализа иерархий. Оценить корректность метода (на примере конкретной организации)

Содержание:

Введение

Актуальность. На протяжении последних лет интенсивно развивается методология предвидения, цель которой состоит в оценивании возможного будущего и создания сценариев достижения желаемого будущего на национальном, региональном уровнях и на уровне отдельных организаций и компаний. По данным Организации Объединенных Наций по технологическому развитию ЮНИДО программы технологического предвидения существуют во многих странах мира.

Один из качественных методов в методологии сценарного анализа – это метод анализа иерархий. Он был предложен Т. Саати в 1970-х гг. как многокритериальный и многоцелевой экспертный метод нахождения относительных весов или приоритетов альтернативных вариантов решений. Этот метод используется во многих областях принятия решений, в частности, для решения задач выбора, оценивания, распределения ресурсов, анализа соотношения доходы-затраты, прогнозирования и планирования. На сегодняшний день также существует большое количество работ посвященных анализу разных аспектов метода анализа иерархий, разработке модификаций для преодоления тех или иных недостатков метода.

Целью работы является исследование теоретических основ и практики применения метода анализа иерархий при принятии управленческих решений.

Задачи работа:

• исследовать назначение и этапы метода анализа иерархий;
• исследовать системный подход к оцениванию достоверности решения, полученного МАИ;
• рассмотреть модифицированный метод анализа иерархий (ММАИ) обработки нечетких экспертных оценок;
• исследовать комплексное оценивание чувствительности решения, полученного на базе МАИ;
• рассмотреть возможности применения МАИ при моделировании сценариев решения главных проблем города Санкт-Петербурга;
• применить метод МАИ для оценивания направлений рационального использования космической информации дистанционного зонирования земли для геоинформационных систем.

Предмет исследования – применение метода анализа иерархий для принятия управленческого решения.

Теоретической и методологической базой при написании данной работы послужили труды зарубежных и отечественных исследователей в области разработки и принятия управленческих решений, математических методов обоснования управленческих решений.

1. Теоретические основы метода анализа иерархий

Назначение и этапы метода анализа иерархий

Метод анализа иерархий используется во многих областях принятия решений, в частности, для решения задач выбора, оценивания, распределения ресурсов, анализа соотношения доходы-затраты, прогнозирования и планирования.

Рассмотрим этапы традиционного метода анализа иерархий (МАИ) (рис. 1) для решения задачи ранжирования или упорядочения альтернатив решений по нескольким критериям.

Рисунок 1 – Этапы метода МАИ^[1]

На первом этапе проблема структурируется в виде иерархии. Нулевой уровень обычно состоит из одного элемента – главной цели принятия решений, последний уровень формируют альтернативные варианты решений. На промежуточных уровнях размещаются критерии и подкритерии. В общем случае промежуточные уровни могут состоять также из групп заинтересованных лиц (называемых акторами), их целей, политик, экономических, политических, социальных и прочих факторов, влияющих на принятие решения^[2].

На втором этапе эксперт проводит парные сравнения элементов, находящихся на одном уровне иерархии, относительно элементов вышестоящего уровня. Эти парные сравнения осуществляются в так называемой фундаментальной шкале, которая является вербальной и состоит из 9 делений, выражающих степень превосходства одного элемента над другим: одинаковая важность, слабое, сильное, очень сильное, абсолютное превосходство и промежуточные между ними степени превосходства. Каждому вербальному делению поставлено в соответствие число: одинаковая важность – 1, слабое превосходство – 3 и т.д., абсолютное превосходство – 9. По результатам сравнений формируются матрицы парных сравнений, которые являются квадратными, положительными и обратносимметричными. Например, если необходимо оценить n альтернатив по m критериям, то эксперту необходимо выполнить m(m−1) / 2 +mn(n −1) / 2 парных сравнений: будут сформированы m матриц парных сравнений альтернатив относительно каждого из критериев размерности n × n каждая, и одна матрица парных сравнений критериев относительно главной цели, ее размерность m×m.

Процедура получения экспертной информации методом парных сравнений – одно из основных преимуществ МАИ перед другими экспертными методами многокритериального принятия решений, так как позволяет оптимальным образом учесть психофизиологические особенности эксперта. К преимуществам МАИ также относят возможность структуризации проблемы в виде иерархии.

На третьем этапе вычисляются локальные веса элементов иерархии. Локальным называют вес элемента иерархии относительно элемента соседнего вышестоящего уровня. В традиционном МАИ вектор локальных весов – это собственный вектор МПС, соответствующий ее максимальному собственному числу^[3]. Известны также и другие методы, в частности, логарифмический метод наименьших квадратов.

Четвертый этап МАИ – определение согласованности экспертных оценок. Согласованной называется такая матрица парных сравнений, для элементов которой выполняется условие транзитивности:

aij = aikakj, i, j, k = 1,...,n , где n - количество сравниваемых объектов (например, альтернатив).

На практике экспертные оценки очень редко удовлетворяют указанному условию согласованности, поэтому необходимо оценить степень «пригодности» полученных оценок для принятия решения. В МАИ оценивание согласованности заполненной экспертами матрицы парных сравнений основано на отклонении ее наибольшего собственного числа λmax от наибольшего собственного числа согласованной матрицы, которое равно количеству сравниваемых объектов (альтернатив) n. Мерой согласованности является отношение согласованности: , большие значения которого соответствуют большей несогласованности оценок, где MRCI(n) – среднее значение индексов согласованности CI(n) для заполненных случайным образом матриц парных сравнений. Значение отношения согласованности, превышающее установленный порог, свидетельствует о нецелесообразности использования полученных оценок для вычисления весов.

Пятый этап МАИ – нахождение глобальных весов элементов иерархии относительно главной цели принятия решений. Они вычисляются на базе локальных весов, используя метод синтеза. В МАИ используется метод линейной свертки весов альтернатив по критериям, так называемый дистрибутивный синтез, где веса критериев являются весовыми коэффициентами свертки.

Позднее были предложены другие методы синтеза: идеальный и мультипликативный. Ранжирование альтернатив решений осуществляется в соответствии с убыванием глобальных весов^[4].

1.2. Системный подход к оцениванию достоверности решения, полученного МАИ

При решении задач предвидения традиционные критерии оценивания результатов работы методов, которые основаны на величинах отклонений от некоторых «истинных» значений, в принципе не могут быть использованы. «Истинного», «100% правильного» решения на момент его принятия просто не существует. Используя субъективные экспертные оценки, можно определить его только с определенным уровнем достоверности. При этом, приемы оценивания достоверности целесообразно выбирать в зависимости от решаемой задачи. Так, при решении с помощью МАИ задач, имеющих характер повторяемости, можно ограничиться такими приемами, как определение степени согласованности экспертных оценок и традиционным анализом чувствительности, реализованном в СППР Expert Choice^[5].

Однако, решение задач предвидения в основном направлено на принятие инновационных решений на уровне больших организаций и компаний, на отраслевом и государственном уровнях, которые требуют исследования в единой структуре большого количества разнородных факторов, разного рода неопределенностей и рисков. В связи с этим необходим инструментарий комплексного оценивания достоверности полученных результатов^[6].

Перейдем к математической постановке задачи.

Дано:

- главная цель принятия решения;

- альтернативы решений в момент времени ;

- факторы, влияющие на главную в момент времени ;

T - заданный или прогнозируемый период для принятия решения.

Необходимо:

1. разработать методологическое и математическое обеспечение оценивания достоверности работы МАИ: при минимизации групп факторов риска задач и вычисления относительных весов альтернатив решений на базе экспертной информации в момент времени :

• факторов риска непрогнозируемых ситуаций;
• факторов риска субъективности экспертной информации;
• с учетом: нечетких экспертных оценок; комплексного оценивания чувствительности полученного решения; явления реверса рангов^[7];

2. разработать рекомендации лицу, принимающему решение, на базе вычисленных весов альтернатив решений и оцененных рисков.

Решение задачи. В данной работе предлагается системный подход к оцениванию достоверности решения, полученного на базе МАИ, в котором условно можно выделить два взаимосвязанных направления.

Первое направление состоит в анализе исходных экспертных оценок парных сравнений элементов иерархии. Оно включает: 1) исследование уровня согласованности оценок с помощью разных показателей согласованности; 2) анализ свойств оценок, таких как сильная, слабая транзитивность; 3) исследование устойчивости локальных весов элементов иерархии к возмущениям в экспертных оценках; 4) поиск выбросов в оценках экспертов. В результате проведенного анализа оценивается «пригодность» оценок экспертов для дальнейшего использования, необходимость в корректировке оценок или в проведении повторного опроса экспертов.

Второе направление – это разработка таких модификаций МАИ, которые, во-первых, позволят наиболее полно выразить суждения экспертов (реализуется путем формирования нечетких оценок), во-вторых, наиболее полно описать сложную проблему в виде сетевой структуры взаимосвязей между альтернативами решений, критериями, целями заинтересованных лиц, факторами риска непрогнозируемых ситуаций.

При этом, модификации не должны вносить дополнительных искривлений или сужений помимо тех, что уже существуют в исходной экспертной информации.

Последнее реализуется путем разработки модификации МАИ, позволяющей обрабатывать нечеткие оценки экспертов и вычислять нечеткие веса элементов иерархии методом синтеза, в котором минимален риск появления явления реверса рангов^[8].

Проблема разработки методологического и математического обеспечения достоверности результатов, полученных МАИ, представлена в виде многоуровневой задачи (рис. 2):

1. Разработку модифицированного метода анализа иерархий (ММАИ) обработки нечетких экспертных оценок.

2. Разработку комплексного оценивания чувствительности решения, полученного на базе МАИ.

3. Оценивание риска появления реверса рангов в разных методах синтеза.

4. Разработку модифицированного BOCR (сокращенно от benefits, opportunities, costs, risks) оценивания альтернатив решений по факторам доходов, затрат, возможностей и ситуационных рисков.

5. Оценивание риска субъективности экспертной информации.

Рисунок 2 - Структурная схема системного подхода к оцениванию достоверности результатов ММАИ^[9]

1.3. Модифицированный метод анализа иерархий

(ММАИ) обработки нечетких экспертных оценок

Традиционный МАИ, предложенный Т. Саати, позволяет обрабатывать лишь точечные экспертные оценки. Н. Д. Панкратовой, Н. И. Недашковской разработан модифицированный МАИ, позволяющий принимать решение с учетом нечетких экспертных оценок^[10]. Представление оценок экспертов в виде нечетких чисел позволяет полнее описать экспертную информацию и тем самым повысить достоверность решений, полученных на ее основе^[11]. Дано:

- множество альтернатив решений;

- множество критериев;

- множество нечетких матриц парных сравнений альтернатив относительно критериев.

Необходимо:

• найти вектор нечетких глобальных весов , отображающий преобладания, записанные во всем множестве ;
• оценить согласованность нечеткой экспертной информации;
• определить ранжирование нечетких глобальных весов ;
• оценить степень доверия к полученному ранжированию.

ММАИ обработки нечетких экспертных оценок состоит из нескольких этапов (рис.3): формирование по ответам экспертов нечеткой матрицы парных сравнений, элементами которой являются нечеткие числа, оценивание согласованности нечетких экспертных оценок, нахождение локальных весов элементов иерархии, а потом на их основе – глобальных весов. Эти этапы реализуются путем разложения нечеткой матрицы парных сравнений по множествам уровней, и осуществляется переход к работе с интервальными матрицами парных сравнений.

Для нахождения локальных весов альтернатив по критериям решений разработан двухэтапный метод^[12]: на первом этапе вычисляются минимальные величины отклонений заданной экспертом матрицы парных сравнений от неизвестной согласованной матрицы, на втором этапе уже непосредственно вычисляются веса при найденных значениях отклонений.

Рисунок 3 - Иерархическая система задач, решаемых с помощью ММАИ обработки нечеткой экспертной информации^[13]

ММАИ использует субъективную экспертную информацию и поэтому очень важный этап представляет оценивание согласованности этой информации. Н. Д. Панкратовой, Н. И. Недашковской^[14] предложен нечеткий спектральный коэффициент согласованности, позволяющий количественно выразить уровень противоречивости в заданных экспертами нечетких оценках парных сравнений.

Допустимость уровня несогласованности экспертных оценок или необходимость организации обратной связи с экспертом определяются путем сравнения нечеткого спектрального коэффициента согласованности с введенными нечеткими порогами обнаружения и применения. Так как результирующие глобальные веса нечеткие, то их ранжирование или упорядочение требует специальных методов^[15]. В этом случае используют метод, который состоит в построении подмножеств недоминированных нечетких весов. Также введены показатели степени доверия к полученному ранжированию, позволяющие оценить степени строгого преобладания и эквивалентности нечетких весов в ранжировании^[16].

1.4. Комплексное оценивание чувствительности решения, полученного на базе МАИ

При решении многих задач выбора и ранжирования анализ чувствительности полученного с помощью МАИ решения проводится графическими методами, реализованными в СППР Expert Choice: анализ чувствительности выполнения, градиентный, динамический, 2D и разностный анализ чувствительности^[17]. В этих методах пользователь может изменять веса критериев и наблюдать на экране как в виде соответствующих графиков и диаграмм изменяются веса альтернатив. Это методы типа «что будет если». Они не являются системным подходом к проведению анализа чувствительности и позволяют лишь ответить на вопрос «каким будет решение, если вес отдельного элемента иерархии изменить на некоторую величину». Однако, эти методы довольно просты в применении и поэтому широко используются на практике.

Комплексное оценивание чувствительности результатов, полученных на базе МАИ проводится в следующие порядке:

• исследование устойчивости локальных весов элементов иерархии к возмущениям в экспертных оценках;
• оценивание на основе полученных формул расчета диапазонов изменения весов элементов иерархии, при которых изменяется результирующее ранжирование альтернатив. Это дает возможность вычислить степени критичности и чувствительности каждого элемента иерархии, найти так называемые критические элементы, относительные изменения весов которых, приводящие к изменениям ранжирования, наименьшие.

Под степенью критичности элемента иерархии понимается величина наименьшего относительного изменения веса данного элемента, приводящая к изменению порядка ранжирования альтернатив.

Чувствительность – величина, обратная к степени критичности. Меньшее значение степени критичности элемента свидетельствует о меньшем изменении его веса, достаточном для изменения порядка ранжирования альтернатив, а чувствительность этого элемента к возмущениям в экспертных оценках в данном случае будет большей^[18].

Один из основных вопросов при многокритериальном оценивании – это выбор метода синтеза локальных весов для получения единого решения по группе критериев (целей). Методы синтеза можно оценивать по появлению в них так называемого явления реверса рангов^[19].

Под реверсом рангов понимают изменение ранжирования альтернатив при добавлении или исключении альтернативы. Реверс рангов может возникнуть в каждом из этих методов. А наименьший риск появления реверса рангов характерен для метода мультипликативного синтеза^[20].

Задачи предвидения подвергаются воздействию со стороны разнообразных рисков и поэтому необходимы средства для их оценивания. Риск характеризуется следующими основными показателями: степень риска, уровень риска и ресурс допустимого риска. Природа риска в задачах принятия решений с использованием экспертных оценок обусловлена действием следующих групп факторов: риска непрогнозируемых ситуаций, вызванных ситуационной неопределенностью, форсмажорного риска и риска субъективности экспертных оценок.

Модификация BOCR МАИ позволяет оценить ситуационные и форс-мажорные риски, влияющие на выбор той или иной альтернативы при нечетких экспертных оценках. Показатели оценивания риска субъективности экспертных оценок представлены на рис.4.

Рисунок 4 - Оценивание риска субъективности экспертной информации в ММАИ^[21]

При точечных оценках экспертов показатели риска субъективности – это чувствительность критических элементов иерархии и коэффициенты согласованности. При интервальных и нечетких оценках – это интервальный и нечеткий спектральные коэффициенты согласованности и степени выполнения строгого преобладания и эквивалентности в ранжировании^[22].

Выводы

Метод анализа иерархий (МАИ) — это научно-обоснованный с позиции системного анализа подход в принятии решений для выбора альтернативы из множества возможных на основе нескольких критериев. Данный метод может использоваться для решения задач управления, в том числе задач прогнозирования и стратегического планирования. МАИ позволяет упорядочить работу лица, принимающего решение, и учесть достаточно сложную систему факторов, влияющих на выбор решения.

Системный подход к оцениванию достоверности решения, полученного МАИ, включает модифицированные МАИ обработки нечетких экспертных оценок и оценивания ситуационных рисков задачи принятия решений, комплексное оценивание чувствительности полученного решения.

Модифицированные методы анализа иерархий используются в методологии сценарного анализа на этапе качественного анализа при решении задач предвидения.

2. Практические аспекты решения задач с использованием МАИ

2.1. Моделирование сценариев решения главных проблем города Санкт-Петербурга

По результатам предварительного проведенных мозговых штурмов были выявлены главные проблемы города Санкт-Петербурга, к которым в первую очередь относятся проблемы социальной сферы, экологии, земельных ресурсов, предпринимательства, инвестиций и инноваций (рис. 5).

Рисунок 5 – Проблемы города Санкт-Петербурга^[23]

Для дальнейшего анализа был выбран кластер социальной сферы как наиболее проблемный для города Санкт-Петербурга. Был проведен опрос экспертов относительно путей решения проблем этого кластера и отобраны следующие проекты:

• строительство двух мусороперерабатывающих заводов;
• строительство второй нити Главного канализационного коллектора;
• строительство лечебно-диагностического корпуса городского центрального противортуберкулезного диспансера;
• реконструкция станции аэрации;
• строительство и реконструкция линий метрополитена.

Необходимо было определить коэффициенты относительных важностей этих проектов и выбрать наиболее приоритетные из них для первоочередной реализации.

Контрольные признаки доходов, затрат, ситуационных рисков и угроз, определенные по результатам экспертного оценивания методом BOCR МАИ, приведены на рис. 6.

Рисунок 6 – Оценивание вариантов решения проблем города Санкт-Петербурга^[24]

На этом же рисунке указаны значения коэффициентов относительных важностей составляющих доходов, затрат и рисков, альтернативных вариантов решений. При этом, коэффициенты важностей самих групп доходов, затрат и рисков определялись МАИ путем оценивания отдельной иерархии стратегических факторов, включающей рост, стабильность и социальную ориентированность экономики, региональную безопасность и угрозы для Санкт-Петербурга. Результирующие веса проектов, формирующих последний уровень иерархии на рис. 6, позволяют сделать вывод, что первоочередными для реализации являются проекты построения двух мусороперерабатывающих заводов, второй нити Главного канализационного коллектора и реконструкция станции аэрации. Второй приоритет получили проекты строительства и реконструкции линий метрополитена. Остальные мероприятия получили третий приоритет.

2.2. Оценивание направлений рационального использования

космической информации дистанционного зонирования земли для геоинформационных систем

МАИ позволяет определить направления рационального использования космической информации дистанционного зондирования земли (ДЗЗ) при решении тематических заданий на основе геоинформационных систем (ГИС).

В результате выполнения первого этапа предвидения – предварительного изучения проблемы методами сканирования и мозгового штурма были выявлены факторы, влияющие на использование космической информации ДЗЗ в разных отраслях хозяйственной деятельности. Во-первых, с помощью ГИС выполняется структурно-текстурный анализ, поиск и интеграция разных данных. Каждое из этих программных средств ГИС характеризуется с точки зрения объемов возможного использования космической информации ДЗЗ в виде электронных планов или цифровых карт: геологическое строение, гидрография и гидрология, природные или техногенные ландшафты.

Во-вторых, в пределах одной отрасли используется информация, полученная космическими аппаратами. Важность используемой в каждой отрасли космической информации ДЗЗ зависит от информационных характеристик космической информации, которые определяются параметрами космических аппаратов. К последним относятся определение площадей объектов в видимом, инфракрасном (ИК) и радио спектральных диапазонах, получение изображений с высоким разрешением в указанных диапазонах, - получение разновременных изображений объектов с высокой периодичностью.

Целью является определение относительного преимущественного спроса космической информации ДЗЗ в таких отраслях как сельское хозяйство, экология и чрезвычайные ситуации (ЧС), природные ресурсы, городское хозяйство, геодезия и картография.

Оценивание величин относительного спроса на космическую информацию ДЗЗ в указанных отраслях народного хозяйства осуществлялось несколькими модификациями МАИ в соответствии с иерархией факторов, представленной на рис.7.

Рисунок 7 - Иерархия факторов оценивания спроса на космическую информацию ДЗЗ с помощью МАИ^[25]

Цифры на этой иерархии соответствуют коэффициентам важности каждого из факторов относительно главной цели принятия решения – рационального использования космической информации ДЗЗ.

Результаты, полученные разными модификациями МАИ, свидетельствуют о том, что отрасли «сельское хозяйство», «экология» и «чрезвычайные ситуации» имеют наибольший спрос на космическую информации ДЗЗ по сравнению с другими исследуемыми отраслями хозяйственной деятельности.

Выводы

Таким образом, в работе рассмотрен системный подход к оцениванию достоверности решения, полученного МАИ, который включает модифицированные МАИ обработки нечетких экспертных оценок и оценивания ситуационных рисков задачи принятия решений, комплексное оценивание чувствительности полученного решения.

Приведен опыт применения МАИ для решения практических задач муниципального образования. Описанные модифицированные методы анализа иерархий используются в методологии сценарного анализа на этапе качественного анализа при решении задач предвидения.

Заключение

Метод анализа иерархий (МАИ) — это научно-обоснованный с позиции системного анализа подход в принятии решений для выбора альтернативы из множества возможных на основе нескольких критериев. Данный метод может использоваться для решения задач управления, в том числе задач прогнозирования и стратегического планирования. МАИ позволяет упорядочить работу лица, принимающего решение, и учесть достаточно сложную систему факторов, влияющих на выбор решения.

Системный подход к оцениванию достоверности решения, полученного МАИ, включает модифицированные МАИ обработки нечетких экспертных оценок и оценивания ситуационных рисков задачи принятия решений, комплексное оценивание чувствительности полученного решения.

Модифицированные методы анализа иерархий используются в методологии сценарного анализа на этапе качественного анализа при решении задач предвидения.

В работе рассмотрены две практически задачи, решение которых возможно с использованием МАИ.

1. Выявление путей решения проблем муниципального образования (на примере города Санкт-Петербург), к которым в первую очередь относятся проблемы социальной сферы, экологии, земельных ресурсов, предпринимательства, инвестиций и инноваций. Отобраны следующие проекты: строительство двух мусороперерабатывающих заводов; строительство второй нити Главного канализационного коллектора; строительство лечебно-диагностического корпуса городского центрального противортуберкулезного диспансера; реконструкция станции аэрации; строительство и реконструкция линий метрополитена. Использование МАИ позволило сделать вывод, что первоочередными для реализации являются проекты построения двух мусороперерабатывающих заводов, второй нити Главного канализационного коллектора и реконструкция станции аэрации. Второй приоритет получили проекты строительства и реконструкции линий метрополитена. Остальные мероприятия получили третий приоритет.

2. Оценивание направлений рационального использования космической информации дистанционного зонирования земли для геоинформационных систем. МАИ позволяет определить направления рационального использования космической информации дистанционного зондирования земли (ДЗЗ) при решении тематических заданий на основе геоинформационных систем (ГИС). Оценивание величин относительного спроса на космическую информацию ДЗЗ в указанных отраслях народного хозяйства осуществлялось несколькими модификациями МАИ в соответствии с иерархией факторов. Результаты, полученные разными модификациями МАИ, свидетельствуют о том, что отрасли «сельское хозяйство», «экология» и «чрезвычайные ситуации» имеют наибольший спрос на космическую информации ДЗЗ по сравнению с другими исследуемыми отраслями хозяйственной деятельности.

Список литературы

1. Грешилов, А. А. Математические методы принятия решений: Учеб. пособие / А. А. Грешилов. - Москва: Изд-во МГТУ. 2006.
2. Катулев А. Н. Математические методы в системах поддержки принятия решений: Учеб пособие / А. Н. Катулев, Н. А. Северцев. — М.: Высшая школа. 2005.
3. Кравченко Ю.А. Метод создания математических моделей принятия решений в многоагентных подсистемах // Известия ЮФУ. Технические науки. – 2011. – № 7 (120). – С. 141-145.
4. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход / В.Д. Ногин. - Изд. 2-е. испр. и доп. - М.: ФИЗМАТЛИТ. 2005.
5. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 1 // Проблемы управления и информатики. – 2007. - №2 - С. 40 – 55.
6. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 2 // Проблемы управления и информатики. – 2007. - №3 - С. 49 – 63.
7. Саати Т. Принятие решений. Метод анализа иерархии. - М.: Радио и связь, 1993.

1. Кравченко Ю.А. Метод создания математических моделей принятия решений в многоагентных подсистемах // Известия ЮФУ. Технические науки. – 2011. – № 7 (120). – С. 141-145. ↑

2. Кравченко Ю.А. Метод создания математических моделей принятия решений в многоагентных подсистемах // Известия ЮФУ. Технические науки. – 2011. – № 7 (120). – С. 141-145. ↑

3. Кравченко Ю.А. Метод создания математических моделей принятия решений в многоагентных подсистемах // Известия ЮФУ. Технические науки. – 2011. – № 7 (120). – С. 141-145. ↑

4. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход / В.Д. Ногин. - Изд. 2-е. испр. и доп. - М.: ФИЗМАТЛИТ. 2005. - С. 60. ↑

5. СППР Expert Choice // www.expertchoice.com. ↑

6. Саати Т. Принятие решений. Метод анализа иерархии. - М.: Радио и связь, 1993. – С. 5. ↑

7. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход / В.Д. Ногин. - Изд. 2-е. испр. и доп. - М.: ФИЗМАТЛИТ. 2005. - С. 60. ↑

8. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход / В.Д. Ногин. - Изд. 2-е. испр. и доп. - М.: ФИЗМАТЛИТ. 2005. - С. 60. ↑

9. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход / В.Д. Ногин. - Изд. 2-е. испр. и доп. - М.: ФИЗМАТЛИТ. 2005. - С. 60. ↑

10. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 1 // Проблемы управления и информатики. – 2007. - №2 - С. 40 – 55. ↑

11. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 2 // Проблемы управления и информатики. – 2007. - №3 - С. 49 – 63. ↑

12. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 1 // Проблемы управления и информатики. – 2007. - №2 - С. 40 – 55. ↑

13. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 1 // Проблемы управления и информатики. – 2007. - №2 - С. 40 – 55. ↑

14. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 1 // Проблемы управления и информатики. – 2007. - №2 - С. 40 – 55. ↑

15. Грешилов, А. А. Математические методы принятия решений: Учеб. пособие / А. А. Грешилов. - Москва: Изд-во МГТУ. 2006. – С. 112. ↑

16. Панкратова Н.Д., Недашковская Н.И. Методология обработки нечеткой экспертной информации в задачах предвидения. Часть 1 // Проблемы управления и информатики. – 2007. - №2 - С. 40 – 55. ↑

17. СППР Expert Choice // www.expertchoice.com. ↑

18. Катулев А. Н. Математические методы в системах поддержки принятия решений: Учеб пособие / А. Н. Катулев, Н. А. Северцев. — М.: Высшая школа. 2005. – С. 79. ↑

19. Ногин В. Д. Принятие решений в многокритериальной среде: количественный подход / В.Д. Ногин. - Изд. 2-е. испр. и доп. - М.: ФИЗМАТЛИТ. 2005. - С. 60. ↑

20. Катулев А. Н. Математические методы в системах поддержки принятия решений: Учеб пособие / А. Н. Катулев, Н. А. Северцев. — М.: Высшая школа. 2005. – С. 79. ↑

21. Катулев А. Н. Математические методы в системах поддержки принятия решений: Учеб пособие / А. Н. Катулев, Н. А. Северцев. — М.: Высшая школа. 2005. – С. 79. ↑

22. Грешилов, А. А. Математические методы принятия решений: Учеб. пособие / А. А. Грешилов. - Москва: Изд-во МГТУ. 2006. – С. 116. ↑

23. Составлено автором. ↑

24. Составлено автором. ↑

25. Составлено автором. ↑