Автор Анна Евкова
Преподаватель который помогает студентам и школьникам в учёбе.

Статистические решающие функции - определение и вычисление с примерами решения

Статистические решающие функции:

Пусть X – случайная величина, тип закона распределения которой Статистические решающие функции - определение и вычисление с примерами решения

Пусть Статистические решающие функции - определение и вычисление с примерами решения –– результаты n наблюдений случайной величины X.

Удобно рассматривать выборку Статистические решающие функции - определение и вычисление с примерами решения как точку в выборочном пространстве W. Напомним, что W – совокупность всех возможных выборок данного объема из значений случайной величины.

По результатам наблюдений необходимо принять решение о значении параметра Статистические решающие функции - определение и вычисление с примерами решения.

Если D – множество возможных решений (в нашем случае D совпадает с Статистические решающие функции - определение и вычисление с примерами решения), то с формальной точки зрения необходимо найти отображение Статистические решающие функции - определение и вычисление с примерами решения выборочного пространства W на пространство решений D (см. рис. 3.8.1). Статистические решающие функции - определение и вычисление с примерами решения

Такое отображение называют статистическим решающим правилом или стратегией.

При каждом Статистические решающие функции - определение и вычисление с примерами решения мы можем принять любое решение Статистические решающие функции - определение и вычисление с примерами решения Принятие решения d, когда истинное значение параметра равно Статистические решающие функции - определение и вычисление с примерами решения, приводит к потере Статистические решающие функции - определение и вычисление с примерами решения. Величина Статистические решающие функции - определение и вычисление с примерами решения может быть и отрицательной – тогда это выигрыш. Для того чтобы выбрать оптимальное решающее правило, нужен критерий, по которому можно их сравнивать. Для этой цели вводится в рассмотрение так называемая функция риска, которая определяется как среднее значение функции потерь при значении параметра Статистические решающие функции - определение и вычисление с примерами решения:

Статистические решающие функции - определение и вычисление с примерами решения

 Функция риска дает возможность сравнивать стратегии между собой. В частности, стратегия Статистические решающие функции - определение и вычисление с примерами решения предпочтительнее стратегии Статистические решающие функции - определение и вычисление с примерами решения если Статистические решающие функции - определение и вычисление с примерами решения

Иногда можно говорить о равномерно лучшей решающей функции. Такой, например, является решающая функция d2 на рис. 3.8.2.Статистические решающие функции - определение и вычисление с примерами решения

В случае если правила в названном смысле несравнимы (рис. 3.8.3), возможны разные подходы:

  • 1) можно сравнивать площади под кривыми изображающими риски;
  • 2) можно сравнивать наибольшие значения рисков и т.д.

Для каждой решающей функции существует наибольшее значение функции риска

Статистические решающие функции - определение и вычисление с примерами решения

Можно выбрать стратегию, при которой достигается Статистические решающие функции - определение и вычисление с примерами решения

Такую стратегию называют минимаксной. Идея такой стратегии проста: выбирается стратегия, при которой наибольший из возможных рисков минимален. Такая стратегия страхует от слишком больших потерь. В других отношениях это решающее правило может оказаться плохим. Например, стратегия d1 (см. рис. 3.8.3) по этому принципу лучше стратегии d2, хотя при подавляющем большинстве значений Статистические решающие функции - определение и вычисление с примерами решения стратегия d1 приводит к большему ущербу, чем d2.

Для простоты рассмотрим случай, когда Статистические решающие функции - определение и вычисление с примерами решения состоит из k элементов: Статистические решающие функции - определение и вычисление с примерами решения

Пусть на основе накопленного опыта значения Статистические решающие функции - определение и вычисление с примерами решения имеют вероятности Статистические решающие функции - определение и вычисление с примерами решения (априорное распределение). Тогда функцию риска можно определить как математическое ожидание функции потерь по отношению к этому априорному распределению:Статистические решающие функции - определение и вычисление с примерами решения

Стратегия, обращающая в минимум такую функцию риска, называется байесовской стратегией, отвечающей данному априорному распределению.

Различают два типа стратегий.

1. Чистая или нерандомизованная стратегия. При такой стратегии каждому результату наблюдений ставится в соответствие четко определенное решение.

Это означает, что выборочное пространство W разбивается на k взаимно непересекающихся областей Статистические решающие функции - определение и вычисление с примерами решения и если результаты наблюдений Статистические решающие функции - определение и вычисление с примерами решениято принимается решение Статистические решающие функции - определение и вычисление с примерами решения

2. Рандомизованная стратегия (от английского слова random – случайный). Для каждого Статистические решающие функции - определение и вычисление с примерами решенияустанавливается набор вероятностей Статистические решающие функции - определение и вычисление с примерами решения такой, что Статистические решающие функции - определение и вычисление с примерами решения. Тогда при получении результатов наблюдений Статистические решающие функции - определение и вычисление с примерами решения производится случайный эксперимент, в котором реализуется случайная величина, принимающая значения Статистические решающие функции - определение и вычисление с примерами решения с вероятностями соответственно Статистические решающие функции - определение и вычисление с примерами решения Если выпадает значение Статистические решающие функции - определение и вычисление с примерами решения то принимается решение Статистические решающие функции - определение и вычисление с примерами решения

Выявим особенности минимаксной и байесовской стратегий. Ради наглядности изложения рассмотрим случай

Статистические решающие функции - определение и вычисление с примерами решения

Тогда роль функции риска будет играть вектор риска Статистические решающие функции - определение и вычисление с примерами решения

Каждой чистой стратегии di соответствует на плоскости точка с координатами Статистические решающие функции - определение и вычисление с примерами решения

Если рассмотреть рандомизованную стратегию с набором вероятностей Статистические решающие функции - определение и вычисление с примерами решения

то каждой такой стратегии соответствует вектор риска с координатамиСтатистические решающие функции - определение и вычисление с примерами решения

Геометрически это координаты центра тяжести масс Статистические решающие функции - определение и вычисление с примерами решения в сумме равных единице и расположенных в точках, соответствующих чистым решениям. Каждой чистой стратегии соответствует масса равная единице, расположенная в соответствующей этой стратегии точке (остальные массы равны нулю). Если перебрать все возможные наборы Статистические решающие функции - определение и вычисление с примерами решения то получим выпуклую оболочку точек, соответствующих чистым стратегиям. На плоскости такая оболочка выглядит как многоугольник (см. рис. 3.8.4), в общем случае – как многомерный многогранник.

Рассмотрим минимаксную стратегию. Нам необходимо для каждого вектора риска выбрать максимальную координату, а затем среди них выбрать наименьшую, т. е.

Статистические решающие функции - определение и вычисление с примерами решения

Заметим, что функцияСтатистические решающие функции - определение и вычисление с примерами решения имеет график, изображенный на рис. 3.8.4 пунктирной линией.

Статистические решающие функции - определение и вычисление с примерами решения

Необходимо выбрать наименьшее c, при котором график этой функции имеет общую точку с линейной оболочкой (см. рис. 3.8.4). Из этого рисунка видно, что минимаксная стратегия почти наверное будет рандомизованной.

Из тех же геометрических соображений выявим характер байесовской стратегии. Опять обратимся к случаю двух значений Статистические решающие функции - определение и вычисление с примерами решения Пусть Статистические решающие функции - определение и вычисление с примерами решенияСтатистические решающие функции - определение и вычисление с примерами решения Тогда функция риска имеет вид Статистические решающие функции - определение и вычисление с примерами решения

По структуре это уравнение Статистические решающие функции - определение и вычисление с примерами решения – уравнение прямой линии, а коэффициенты Статистические решающие функции - определение и вычисление с примерами решения определяют ее наклон. В многомерном случае это будет уравнение плоскости (гиперплоскости). Нам необходима стратегия, при которой левая часть выражения (3.8.1) минимальна. Будем увеличивать c, пока прямая не коснется линейной оболочки (см. рис. 3.8.5).Статистические решающие функции - определение и вычисление с примерами решения

В любом случае (и при касании в вершине, и при касании по стороне многоугольника) среди точек касания будет хотя бы одна вершина выпуклой оболочки, а вершина соответствует чистой стратегии. Тем самым мы проиллюстрировали утверждение о том, что при конечном числе исходных стратегий всегда существует чистая байесовская стратегия.

Минимаксная и байесовская стратегии связаны между собой: минимаксная стратегия является байесовской по отношению к наименее благоприятному априорному распределению. Наименее благоприятным оказывается распределение, при котором максимально возможный коэффициент Статистические решающие функции - определение и вычисление с примерами решения в выражении Статистические решающие функции - определение и вычисление с примерами решения соответствует наибольшей координате (другой коэффициент тогда равен нулю). В этом случае получаются линии Статистические решающие функции - определение и вычисление с примерами решения или Статистические решающие функции - определение и вычисление с примерами решения (см. рис. 3.8.6).

Статистические решающие функции - определение и вычисление с примерами решения

Замечание. Введенные понятия можно связать с теорией игр. Окружающий нас мир (природу) можно считать одним из игроков, а исследователя другим игроком (только в этом случае природа, в качестве участника игры, не злонамеренна по отношению к исследователю). Природа использует один из возможных ходов Статистические решающие функции - определение и вычисление с примерами решения а исследователь в ответ на ход природы принимает решение Статистические решающие функции - определение и вычисление с примерами решения Величина Статистические решающие функции - определение и вычисление с примерами решения указывает потерю исследователя, выбравшего по результатам наблюдений Статистические решающие функции - определение и вычисление с примерами решения стратегию Статистические решающие функции - определение и вычисление с примерами решения когда природа выбрала Статистические решающие функции - определение и вычисление с примерами решения Величина Статистические решающие функции - определение и вычисление с примерами решения характеризует средние потери исследователя, использующего стратегию d.

Пример:

Наблюдается работа некоторого устройства в течение времени T. Положим Статистические решающие функции - определение и вычисление с примерами решения, если устройство не вышло из строя за это время, и Статистические решающие функции - определение и вычисление с примерами решения в противном случае. Пусть

Статистические решающие функции - определение и вычисление с примерами решения

т.е. Статистические решающие функции - определение и вычисление с примерами решения

В отношении Статистические решающие функции - определение и вычисление с примерами решения есть два предположения: Статистические решающие функции - определение и вычисление с примерами решения Иначе говоря, возможны два решения Статистические решающие функции - определение и вычисление с примерами решения

Функция потерь определяется таблицей.Статистические решающие функции - определение и вычисление с примерами решения

Требуется найти минимаксную стратегию и байесовскую стратегию по отношению к априорному распределению Статистические решающие функции - определение и вычисление с примерами решения

Решение. В этой ситуации возможны следующие чистые решающие правила:Статистические решающие функции - определение и вычисление с примерами решения

Решающие правила d1 и d4 соответствуют «предвзятому мнению».

Определим вектор риска для каждого решающего правила.Статистические решающие функции - определение и вычисление с примерами решения

На рис. 3.8.7 жирными точками отмечены концы векторов риска, выделена закраской линейная оболочка векторов. Из этого рисунка видно, что оптимальной байесовской стратегией является стратегия d1. Для минимаксной стратегии точка касания линейной оболочки примерно в три раза ближе к точке d2, чем к точке d4. Поэтому следует Статистические решающие функции - определение и вычисление с примерами решения взять обратно пропорциональным расстояниям до названных точек, т.е. равным Статистические решающие функции - определение и вычисление с примерами решенияСтатистические решающие функции - определение и вычисление с примерами решения а Статистические решающие функции - определение и вычисление с примерами решения

Статистические решающие функции - определение и вычисление с примерами решения

Ответ. Оптимальной байесовской стратегией является стратегия d1. Оптимальная минимаксная стратегия реализуется при наборе вероятностей Статистические решающие функции - определение и вычисление с примерами решения

Пример:

В двух внешне одинаковых урнах находятся шары. В первой урне пять белых и пять черных шаров, а во второй три белых и шесть черных. Урну выбирают наугад, и из нее производится повторная выборка четырех шаров. По результатам выбора необходимо принять решение относительно содержания урны, из которой производился выбор шаров, т.е. пространство решений состоит из двух решений:

  • – решение a1 – шары выбирались из первой урны (вероятность выбора белого шара равна Статистические решающие функции - определение и вычисление с примерами решения);
  • – решение a2 – шары выбирались из второй урны (вероятность выбора белого шара равна Статистические решающие функции - определение и вычисление с примерами решения).

Необходимо найти минимаксную и байесовскую стратегии принятия решений, если функция потерь определяется таблицей: Статистические решающие функции - определение и вычисление с примерами решения

Решение. В условиях задачи возможны следующие чистые стратегии:

  • d1 – принимается решение a1, если все четыре раза выбирались белые шары, и принимается решение a2, если белых шаров было выбрано три, два, один или ноль;
  • d2 – принимается решение a1, если из урны было выбрано три или четыре белых шара, и принимается решение a2, если белых шаров было два, один или ноль;
  • d3 – принимается решение a1, если из урны было выбрано два, три или четыре белых шара, и принимается решение a2, если белых шаров было один или ноль;
  • d4 – принимается решение a1, если в выборке один, два, три или четыре белых шара, и принимается решение a2, если белых шаров в выборке нет.

Случаи «предвзятого мнения», когда при любой выборке принимается всегда одно из решений a1 или a2, исключим из рассмотрения.

Вероятности выбора того или иного числа белых шаров можно вычислить по формуле Бернулли (2.6.1). При Статистические решающие функции - определение и вычисление с примерами решения они равны Статистические решающие функции - определение и вычисление с примерами решенияСтатистические решающие функции - определение и вычисление с примерами решения При Статистические решающие функции - определение и вычисление с примерами решения эти вероятности равны Статистические решающие функции - определение и вычисление с примерами решения Статистические решающие функции - определение и вычисление с примерами решения

Учитывая эти вероятности, определим векторы риска для каждой стратегии:

– для d1 имеем вектор с координатами Статистические решающие функции - определение и вычисление с примерами решения

– для d2 имеем вектор с координатами Статистические решающие функции - определение и вычисление с примерами решения

– для d3 имеем вектор с координатами Статистические решающие функции - определение и вычисление с примерами решения

– для d4 имеем вектор с координатамиСтатистические решающие функции - определение и вычисление с примерами решения

На рис. 3.8.8 жирными точками отмечены концы векторов риска, а закраской выделена линейная оболочка векторов.

Так как с равными шансами могла быть выбрана любая урна, то имеем априорное распределение: Статистические решающие функции - определение и вычисление с примерами решения Байесовский риск в соответствии с соотношением (3.8.1) принимает вид 

Статистические решающие функции - определение и вычисление с примерами решения

Из рис. 3.8.8 видно, что оптимальной байесовской стратегией является стратегия d3 .

Максимальные координаты векторов риска равны соответственно 4,69, 3,44, 1,56 и 3,01. Минимальная из них координата 1,56 у решающего правила d3. Поэтому из названных чистых стратегий минимальный наибольший риск обеспечивает стратегия d3. Найдем координаты точки A, которая соответствует минимаксной стратегии. Координаты этой точки x и y равны (она лежит на прямой Статистические решающие функции - определение и вычисление с примерами решения ). Как известно, уравнение прямой, проходящей через две точки Статистические решающие функции - определение и вычисление с примерами решения и Статистические решающие функции - определение и вычисление с примерами решения имеет вид:

Статистические решающие функции - определение и вычисление с примерами решения

Поэтому прямая, проходящая через точки d3 и d4, имеет уравнение Статистические решающие функции - определение и вычисление с примерами решения

Полученное уравнение вместе с равенством Статистические решающие функции - определение и вычисление с примерами решения дает возможность определить координаты точки A: Статистические решающие функции - определение и вычисление с примерами решения

Расстояние от точки d3 до точки A равно Статистические решающие функции - определение и вычисление с примерами решения

а расстояние от точки до точки A равно Статистические решающие функции - определение и вычисление с примерами решения

Статистические решающие функции - определение и вычисление с примерами решения

Первое расстояние примерно в пять раз меньше второго. Это означает, что решению d3 следует приписать вероятность Статистические решающие функции - определение и вычисление с примерами решения решение d4 использовать с вероятностью Статистические решающие функции - определение и вычисление с примерами решения а Статистические решающие функции - определение и вычисление с примерами решения взять равными нулю. Далее следует поступать следующим образом. Подбрасываем игральный кубик. Если на нем выпадает заданная грань (например, цифра один), то используем стратегию d4. Если же заданная грань не выпадает, то принимаем решение в соответствии с правилом d3.

Ответ. Оптимальной байесовской стратегией является стратегия d3. Оптимальная минимаксная стратегия реализуется при наборе вероятностей Статистические решающие функции - определение и вычисление с примерами решения