Статистические оценки - определение и вычисление с примерами решения

Содержание:

Оценки и методы их получения:

Приближенные значения параметров, входящих в законы распределения, определяемые каким-либо способом по выборкам, называются оценками или статистиками. Оценки бывают точечными и интервальными. Точечные оцен­ки представляются одним числом, интервальные - двумя числами

Метод моментов

Пусть генеральная случайная величина X имеет плотность распределения

                                   (8.1)

                              (8.2)

По выборке  определяем выборочные начальные и центральные моменты:

                (8.3)

           (8.4 )

Метод моментов состоит в том, что генеральные моменты (8.1, 8.2), в которые входят оцениваемые параметры, приблизительно приравниваются к со­ответствующим выборочным моментам (8.3), (8.4). Составляется система уравнений:
                             (8.5)
                                (8.6)

Решая систему (8.5), (8.6), находим оцениваемые параметры.
Особо важную роль играет  - выборочный начальный момент 1-го по­ рядка, он называется выборочным средним и обозначается

    (8.7)

Следующим по важности выборочным моментом является выборочный центральный момент 2-го порядка  который называется выборочной дисперсией и обозначается
                                    (8.8)

Наиболее часто используются две формулы метода моментов.
                                        (8.9)

         (8.10)

Сформулируем метод моментов в общем виде.
 

Пусть плотность распределения случайной величины  где  - неизвестные параметры. Чтобы найти оценки  выражаем первые  начальных или центральных моментов случайной величины X через параметры  затем генеральные моменты аппроксимируем соответствующими выборочными. В результате имеем систему из  уравнений с неизвестными, откуда и получаем
 

Пример:

Пусть генеральная случайная величина X имеет показательный закон распределения с плотностью  По выборке  методом моментов найти оценку параметра

 1. Определяем  используя (8.1): 

2. По (8.3) или (8.7) находим выборочный начальный момент 1-го поряд­ка или  и составляем выражение вида (8.5) или (8.9):

3. Заменяя в п. 2  на оценку  составим уравнение:

4. Откуда определим оценку параметра

 

Метод наибольшего правдоподобия

Этот метод предложен математиком Фишером в 1912 г.
 

Пусть  - плотность распределения генеральной случайной величины X, где  - неизвестные параметры. Согласно методу, наилучшими оценками  параметров  являются такие, для которых функция правдоподобия L принимает наибольшее значение.

Для непрерывной случайной величины

   (8.11)

Для дискретной случайной величины

                  (8.12)
Здесь - выборка из генеральной случайной величины X.
Априорные выборочные значения  - являются независимыми случайными величинами, закон распределения которых совпадает с законом распределения генеральной случайной величины X. Тогда правую часть (8.11) на основании теоремы умножения законов распределений (см. раздел 3.5) можно рассматривать как плотность распределения вероятности мерного вектора  Согласно методу, для наилучших оценок  случайный вектор  будет иметь наибольшую плотность распределения. То есть надо найти такие оценки  для которых функция правдоподобия L - максимальна. Для этого составляют и решают такую систему уравнений:
                                   (8.13)

Так как функция и ее логарифм достигают экстремума в одной точке, то часто для упрощения решения задачи используют логарифмическую функцию правдоподобия. В случае логарифмической функции правдоподобия составляется система следующих уравнений:
                            (8.14)
 

Пример:

Пусть генеральная случайная величина X имеет показательный закон распределения с плотностью  По выборке методом наибольшего правдоподобия найти оценку параметра

 1. Так как нам необходимо оценить один параметр  то надо составить и решить одно уравнение. Найдем функцию правдоподобия, используя (8.11):

2. Составим логарифмическую функцию правдоподобия:

3. Для определения максимума логарифмической функции правдоподо­бия составляем и решаем следующее уравнение:

Откуда оценка 0 параметра 0 определяется так:

При сравнение это выражение с оценкой  полученной по методу моментов (см. раздел 8.1), мы понимаем, что они одинаковы. Методы, рассмотренные нами, как видим, абсолютно разные. Это свидетельствует о их достоверности.

Свойства оценок

Пусть  - выборка из генеральной совокупности. Обозначим оценку параметра  через  Ранее мы показали, что эта оценка определяется с помощью различных методов по полученной выборке , т. е. являляется функцией от

Так как любая выборка типа - случайна, то и выборочные функции  - тоже являются случайными. Следовательно, она тоже имеет свои характеристики.
 

1. Оценка  называется несмещенной, если ее математическое ожида­ние совпадает с самим оцениваемым параметром:

В противном случае оценка называется смещенной.

 

Полную погрешность  возникшую от замены 0 на 0, можно пред­ставить так:

Таким образом, если оценка несмещенная, то систематическая погреш­ность равна нулю, т. е.

Наиболее опасна систематическая ошибка, если она заранее неизвестна или среднее квадратичное отклонение не очень большое. Среднее значение случайной ошибки

Мы уже отмечали, что - независимые случайные величины, имеющие тот же закон распределения, что и  генеральная случайная величина, в частности, выборочное математическое ожидание и дисперсия имеет те же числовые характеристики, т. е. справедливы тождества:

                                   (*)

Проверим смещенность оценки математического ожидания выборочной средней  Используя обычные свойства математического ожидания, найдем

 

Обозначим  видим, что значит, выборочное среднее  является несмещенной оценкой математического ожидания.

Проверим смещенность оценки дисперсии выборочной дисперсией  Найдем математическое ожидание от выборочной дисперсии:

То есть дисперсия выборочной средней в  раз меньше дисперсии генеральной случайной величины. Тогда

Обозначим  значит, выборочная дисперсия  является смещенной оценкой дисперсии. Можно отметить, что выборочная дисперсия  является асимптотически несмещенной оценкой, т. к. при  стремящемся к бесконечности, смещение стремится к нулю.

При решении практических задач часто используется несмещенная оцен­ка дисперсии - это модифицированная выборочная дисперсия:

Найдем математическое ожидание от

Обозначим  как видим,  значит, оценка  уже несмещенная. При малых  этой формулой пользоваться лучше (при и > 30 оценки совпадают). На практике используют еще одну несмещенную оценку дисперсии - когда известно математическое ожидание:

Найдем 

Обозначим  значит, оценка  несмещенная.
 

2. Оценка  параметра  называется состоятельной, если она сходит­ся по вероятности к параметру , т. е. если  выполняется:

                            

Условие на практике проверить трудно. Поэтому для проверки состоятельности оценок применяют более простые условия:

а)

б)

Как видим, оценка  будет состоятельной, если при  смещение устраняется и дисперсия оценки стремится к нулю.
 

Пример:

Проверим состоятельность оценки математического ожидания выборочной средней . Ранее мы показали, что  является несмещенной оценкой математического ожидания, т. е. условие а) выполняется и без вычисления предела. Проверим условие б), найдем 

Видим, что при  предел  будет стремиться к нулю, значит условие б) выполняется. Следовательно,  является состоятельной оценкой математического ожидания.

3. Несмещенная оценка  параметра  называется эффективной, если она имеет наименьшую дисперсию среди всех оценок при одном и том же объеме выборки
Для определения наименьшей дисперсии эффективной оценки  параметра  применяется формула Рао-Крамера:

                   (8.15)

где  - плотность распределения генеральной случайной величины X.
Отметим, если оценка  смещенная, то малость ее дисперсии еще не говорит о ее эффективности. Например, если в качестве оценки  взять любую постоянную величину с, то ее дисперсия будет равна нулю, а ошибка может быть какой угодно большой.
 

Пример:

Задана нормальная случайная величина  с плотностью распределения

Проверим эффективность оценки математического ожидания выборочной средней .

Найдем дисперсию эффективной оценки параметра  Обозначим эффективную оценку Чтобы воспользоваться формулой Рао-Крамера (8.15), вычислим

Найдем производную:

Подставим полученное выражение в (8.15): 

Ранее мы показали, что такую же дисперсию имеет  (см. формулу
Видим, что правые части формул (8.16) и  совпадают, следовательно, выборочное среднее  является эффективной оценкой параметра

Отметим, что оценки, полученные методом наибольшего правдоподобия, являются состоятельными. Если существуют эффективная оценка, то метод наибольшего правдоподобия позволяет найти ее, но не всегда оценки, полученные этим методом, являются несмещенными.