Случайные процессы - определение и вычисление с примерами решения

Содержание:

Случайные процессы:

Пусть T – некоторое множество действительных чисел. Случайной функцией называется совокупность случайных величин

Что такое случайный процесс

При наблюдении случайной функции мы получаем одну из возможных ее реализаций – неслучайную функцию. Поэтому случайную функцию можно рассматривать как совокупность всех ее возможных реализаций (см. рис. 4.1, на котором жирной линией выделена одна из возможных реализаций, а точками отмечены возможные значения случайной величины

Если роль параметра t играет время, то случайную функцию называют случайным процессом. Если параметр дискретный, то соответствующие ему случайные величины образуют случайную последовательность.

С изменением параметра t изменяется и закон распределения случайной величины Этот закон распределения можно задать в виде функции распределения

Если функция распределения дифференцируема, то

называется функцией плотности вероятности.

Для дискретной случайной величины одномерный закон распределения задается перечислением возможных значений и соответствующих им вероятностей

Конечномерным законом распределения случайной функции называется закон распределения n сечений случайной функции 

Проследить за изменениями всех возможных значений случайной величины и соответствующих им вероятностей, как правило, практически невозможно. Поэтому обычно ограничиваются анализом числовых характеристик случайной величины . В первую очередь интересуются математическим ожиданием (начальным моментом первого порядка), дисперсией (центральным моментом второго порядка) и для анализа взаимосвязи между значениями процесса при разных значениях параметра t рассматривают коэффициент ковариации (ковариационный момент).

Математическим ожиданием случайного процесса называют неслучайную функцию значение которой при каждом фиксированном значении параметра t равно математическому ожиданию сечения процесса при этом значении параметра, т.е

Дисперсией случайного процесса называют неслучайную функцию значение которой при каждом фиксированном значении параметра t равно дисперсии сечения процесса при этом значении параметра, т.е.

На рис. 4.2 и рис. 4.3 изображены несколько реализаций соответственно случайных процессов и , которые имеют одинаковые математические ожидания и дисперсии. Однако характер протекания этих процессов существенно различен. У процесса реализации плавные. Это свидетельствует о зависимости значений процесса, отделенных небольшими промежутками времени. Процесс же меняется быстро и влияние предыдущих значений процесса быстро иссякает. 

Для описания этих особенностей процесса существует специальная характеристика, которая называется корреляционной функцией (иногда говорят об автокорреляционной функции).

Корреляционной функцией случайного процесса называют неслучайную функцию значение которой при каждых фиксированных значениях параметра t₁ и t₂ равно коэффициенту ковариации величин и , т.е.

При равных между собой аргументах корреляционная функция равна дисперсии случайного процесса:

Свойства корреляционной функции

Отметим некоторые свойства корреляционной функции:

1. При перестановке аргументов корреляционная функция не меняется:

2. Прибавление к случайной функции неслучайной функции не меняет ее корреляционной функции. Если то

3. При умножении случайной функции на неслучайную функцию корреляционная функция умножается на произведение Если то

При решении некоторых научно-технических задач приходится иметь дело со случайными процессами, которые удается описать комбинацией простых (элементарных) функций, в которые в качестве параметров входят случайные величины. Такие случайные функции называют элементарными случайными функциями.

Например, где случайными величинами являются амплитуда X, частота Y и фаза Z гармонических колебаний.

Пример №1

Элементарная случайная функция имеет вид где X и Y независимы, причем X имеет плотность вероятности (показательный закон распределения с параметром ), а случайная величина Y равномерно распределена в отрезке Требуется найти для математическое ожидание, дисперсию и автокорреляционную функцию.

Решение. Обозначим через Учитывая, что случайная величина Y равномерно распределена на с постоянной плотностью имеем

Поэтому

так как для показательного закона распределения Вычислим

Для показательного закона распределения двукратное интегрирование по частям дает

а 

Поэтому и при и при  

Для вычисления дисперсии возьмем в полученном выражении 

Ответ. 

Пример №2

Пусть – последовательность независимых случайных величин с функцией плотности вероятности

Говорят, что последовательность превышает уровень (выходит за уровень ) в момент если Рассмотрим  – момент первого выхода последовательности (случайного процесса с дискретным временем) за уровень . Требуется найти распределение случайной величины и ее математическое ожидание.

Решение. Вычислим

Тогда и

– это геометрический закон распределения.

Но для геометрического закона распределения  В нашем случае роль p играет величина Поэтому

Ответ.  

Пример №3

Пусть – последовательность независимых случайных величин с нулевыми математическими ожиданиями и равными дисперсиями Требуется найти корреляционную функцию для случайной последовательности

Решение. Так как математические ожидания случайных величин равны нулю, то Поэтому

 

При 

При  

При остальных s = 2,3,... величина

Ответ.   при остальных s = 2,3,... величина

Пример №4

Все положения случайной точки (X,Y) равновозможны в области Для случайного процесса  постоянная w > 0, требуется найти математическое ожидание дисперсию и корреляционную функцию

Решение. По свойствам математического ожидания

Так как площадь области D равна , а все положения случайной точки (X,Y) в этой области равновозможны, то плотность вероятности случайной точки при и при остальных

Маргинальная плотность вероятности случайной величины X равна

Поэтому

Аналогично, Поэтому

Вычислим дисперсию X. Так как

то Аналогично находим, что  

Вычислим теперь корреляционную функцию процесса:

Вычислим 

Но  Поэтому 

С учетом этого получаем 

Ответ. 

             

Взаимной корреляционной функцией двух случайных функций X(t) и Y(t) называют неслучайную функцию двух независимых аргументов t₁ и t₂, значения которой равны корреляционному моменту случайных величин X(t₁) и Y(t₂):

Коррелированными называют две случайные функции, если их взаимная корреляционная функция не равна тождественно нулю. В противном случае говорят о некоррелированных случайных функциях.

Если рассматривать многомерный случайный процесс то он имеет характеристики 

Эти характеристики описывают поведение отдельно взятых координат случайного процесса, но не учитывают взаимодействие между ними. В качестве характеристики взаимозависимости координат случайного процесса используют взаимную корреляционную функцию  В общем случае взаимная корреляционная функция  не равна  так как ковариация между сечениями  (на рис. 4.4 точки 3 и 4).

В терминах характеристик второго порядка, например, двумерный случайный процесс описывают вектором средних значений и матрицей корреляционных функций

 

Наглядным примером двумерного случайного процесса (или случайного поля) может служить поверхность моря.

Пример №5

Даны два случайных процесса 

где случайные величины U и V независимы и имеют равные дисперсии Требуется найти взаимную корреляционную функцию этих процессов.

Решение. Так как  то 

Аналогично,  Тогда 

Величины U и V независимы, а значит и некоррелированы. Поэтому С учетом того, что а получаем

Ответ. 

Пример №6

Даны два случайных процесса и где U и V независимы, имеют и Требуется найти взаимную корреляционную функцию этих процессов.

Решение. Так как 

Ответ. 

Пусть X(t) и Y(t) – две случайные функции, а случайная функция Z(t) равна Выразим характеристики Z(t) через характеристики X(t) и Y(t).

Математическое ожидание суммы двух случайных функций равно сумме математических ожиданий этих функций:

Заметим, что 

Поэтому 

Легко видеть, что для процесса корреляционная функция имеет вид:

Пример №7

Случайный процесс а где – случайная величина с равномерным законом распределения на Необходимо найти корреляционную функцию случайного процесса

Решение. Прежде всего вычислим математические ожидания случайных процессов. Случайная величина равномерно распределена на с плотностью вероятности равной Поэтому

Вычислим величины необходимые для использования формулы (4.1):

Аналогично, По формуле (4.1)

Ответ. 

Стационарные случайные процессы

Случайный процесс называется стационарным, если все его характеристики не зависят от времени.

Определение. Случайная функция X(t) называется строго стационарной (стационарной в узком смысле), если все ее конечномерные законы распределения не изменяются от сдвига параметра (времени) на произвольную величину t₀. Это в частности означает, что ее математическое ожидание и дисперсия постоянны, а корреляционная функции зависит только от разности аргументов.

Определение. Случайная функция X(t) называется стационарной в широком смысле, если ее математическое ожидание постоянно, а корреляционная функции зависит только от разности аргументов т.е.

Так как  то условие (4.1.1) означает и постоянство дисперсии.

Пример 4.8.

Дан случайный процесс где  – случайная величина, равномерно распределенная в отрезке Требуется доказать, что этот случайный процесс стационарен в широком смысле.

Решение. Для доказательства необходимо проверить выполнение условий (4.1.1). Найдем математическое ожидание

так как 

где – плотность вероятности случайной величины . Заметим, что  Поэтому 

так как 

Итак, т.е. зависит только от разности Корреляционная функция оказалась независящей от величины , которую в приложениях обычно трактуют как «фазу».

Ответ. Процесс стационарен в широком смысле.

Пример 4.9.

Значения случайного процесса X(t) изменяются скачками в случайные моменты времени . Моменты скачков образуют простейший (пуассоновский) поток событий интенсивности т.е. вероятность того, что за время t произойдет k скачков равна

В интервале , между двумя скачками X(t) может принимать лишь два значения 0 или 1 с вероятностями соответственно Значения X(t) в различных интервалах независимы. (Такой процесс называют фототелеграфным сигналом.)

Необходимо найти и выяснить, является ли этот процесс X(t) стационарным в широком смысле.

Решение. В произвольный момент времени t значения процесса имеют распределение

Поэтому

Заметим, что если между моментами t₁ и t₂ не было скачков процесса (вероятность чего по формуле (4.1.2) равна где то значения процесса X(t₁) и X(t₂) совпадают и

Если же между моментами t₁ и t₂ скачки были, то величины X(t₁) и X(t₂) независимы и . Поэтому

Итак, математическое ожидание и дисперсия процесса постоянны, а корреляционная функция зависит только от разности значений аргументов. Это означает, что процесс стационарен в широком смысле.

Ответ. Процесс стационарен в широком смысле.

Пример 4.10.

Случайный процесс X(t) строится следующим образом. В некоторый случайный момент времени T появляется прямоугольный импульс длительности t₀ и случайной амплитудой A₁. В момент времени этот импульс сменяется новым импульсом той же длительности и случайной амплитуды A₂, и т. д. Величины A₁, A₂,... независимы, и каждая с равными вероятностями принимает одно из двух значений «+1» или «–1». Одна из возможных реализаций процесса X(t) показана на рис. 4.1.1.

Требуется найти и выяснить, является ли этот процесс X(t) стационарным в широком смысле.

Решение. Для любого момента времени t:

Обозначим Так как равновозможны все положения точки t в то t имеет равномерное распределение в с функцией плотности вероятности

Случайный процесс центрирован поэтому

Если вместе принадлежит промежутку то

Вероятность этого

Если же  вероятность чего равна то

в силу независимости случайных величин Поэтому

 при  и  при  (см. рис. 4.1.2).

Постоянное значение математического ожидания процесса и зависимость корреляционной функции только от разности аргументов свидетельствуют о том, что процесс стационарен в широком смысле.

Ответ. при  и   при  Процесс стационарен в широком смысле.

Пример 4.11.

Случайный процесс X(t) строится следующим образом. На числовой оси реализуется простейший поток событий интенсивности Случайный процесс X(t) принимает попеременно случайные значения и –. При наступлении события простейшего потока X(t) скачком меняет свое значение с на – или наоборот. Одна из реализаций процесса показана на рис. 4.1.4, где точками на оси отмечены события простейшего потока. 

Требуется найти математическое ожидание, дисперсию и ковариационную функцию этого случайного процесса.

Решение. Так как моменты изменения знака никак не связаны со значениями процесса X(t), нет оснований считать, что какое либо из значений ( или –) более вероятно, чем другое. Следовательно, 

Рассмотрим значения процесса в произвольные моменты времени t₁ и t₂. Так как то

Произведение если в интервале происходит нечетное число событий (тогда значения процесса X(t₁) и X(t₂) будут разных знаков). Если же в интервале происходит четное число событий, то

Вероятность появления за время четного числа событий простейшего потока равна

Тогда

Следовательно, 

Аналогично, при т.е. при

Полученные выражения для можно объединить в одну запись:

График этой функции изображен на рис. 4.1.5.

Дисперсия процесса равна

Ответ. Процесс стационарен в широком смысле.

Пример 4.12.

Случайный процесс X(t) устроен следующим образом. На оси времени реализуется простейший поток событий интенсивности При появлении события этого потока процесс X(t) скачком возрастает на единицу. Между скачками он убывает линейно под углом минус 45°. Одна из реализаций процесса приведена на рис. 4.1.7, где точками на оси отмечены моменты появления событий простейшего потока.

Требуется найти математическое ожидание дисперсию и корреляционную функцию этого случайного процесса и его нормированную корреляционную функцию.

Решение. Каждый скачок процесса равен единице. Поэтому значение процесса в момент времени t можно записать в виде

где N(t) – число скачков за время t.

Случайная величина N(t) имеет пуассоновский закон распределения, причем

Поэтому 

Так как  то при 

В свою очередь

 

Так как случайные величины и независимы, а для распределения Пуассона если параметр распределения равен то

В итоге имеем

Аналогично, при получаем Поэтому

Нормированная корреляционная функция:

Если то если же то Величины X(t₁) и X(t₂) коррелированы положительно.

Ответ. 

Пример 4.13.

Случайный процесс X(t) изменяет свое состояние в моменты времени, которые образуют простейший поток интенсивности В каждой точке скачка процесс X(t) возрастает на единицу, а затем убывает по экспоненте с показателем –1 до точки следующего скачка. Одна из реализаций такого процесса приведена на рис. 4.1.10. Требуется найти математическое ожидание, дисперсию и ковариационную функцию этого случайного процесса.

Замечание. Описанный процесс может служить простейшей математической моделью воздействия потока электронов на анод. Поток электронов от катода к аноду близок к простейшему потоку некоторой интенсивности При попадании электрона на анод напряжение на нем X(t) возрастает на некоторую единицу, а затем убывает по экспоненте, показатель которой зависит от характеристик электронной схемы.

Решение. Результат воздействия -го скачка, происшедшего в момент времени имеет вид: при и при или

где  при  и  при 

Так как поток скачков простейший, то за время t произойдет случайное число скачков N, распределенных по закону Пуассона с параметром Поэтому X(t) является суммой случайного числа N случайных слагаемых

Воспользуемся следующим фактом: Простейший поток событий на (0, )t можно представить как совокупность случайного числа точек, каждая из которых равномерно распределена на независимо от других точек. Поэтому (4.1.3) можно переписать в виде 

где все равномерно распределены на а N не зависит от . Из (4.1.4) следует, что

(Здесь мы воспользовались тем, что математическое ожидание суммы случайного числа одинаково распределенных случайных величин равно произведению математического ожидания числа этих величин на математическое ожидание одной из них.)

Так как число слагаемых N распределено по закону Пуассона, то

Каждая из величин равномерно распределена в . Поэтому 

В итоге

Кроме того,

 

Рассмотрим два момента времени t₁ и t₂ Значение X(t₂) равно значению 1 X(t₁), умноженному на , плюс вклад от скачков процесса на интервале

Величины X(t₁), и независимы, так как они связаны со скачками процесса в непересекающихся интервалах времени и . Поэтому при

Аналогично, при получим

Поэтому Остается вычислить:

С учетом (4.1.5), (4.1.6) и того, что получаем

В итоге, 

Ответ. 

Стационарная в широком смысле функция X(t), представимая во всей области определения в виде 

где U_k и V_k – центрированные случайные величины, удовлетворяющие условиям при ,  при всех i и j, называется случайной функцией с дискретным спектром.

Такая случайная функция имеет автокорреляционную функцию

Равенство (4.1.7) называют спектральным разложением случайного процесса, а равенство (4.1.8) спектральным разложением корреляционной функции.  Представление (4.1.8) показывает, что дисперсия процесса является суммой дисперсий отдельных гармоник на частотах  

Говорят, что стационарная случайная функция X(t) является случайной функцией с непрерывным спектром, если существует такая действительная неотрицательная функция  определенная при всех  что 

Функцию называют спектральной плотностью, а формулы (4.1.9) и (4.1.10) называют формулами Винера–Хинчина. Из этих формул и свойств корреляционной функции следует, что  – функция четная, т.е.  Поэтому изображают обычно только для неотрицательных . Случайные функции, обладающие конечной дисперсией, имеют спектральные плотности, которые стремятся к нулю на бесконечности быстрее, чем

В силу четности корреляционной функции стационарного процесса и
его спектральной плотности формулы (4.1.9) и (4.1.10) можно записать в
виде:

Формулы (4.1.11) и (4.1.12) означают, что корреляционная функция и спектральная плотность связаны взаимно обратными преобразованиями Фурье. Выражения вида (4.1.11) называют интегралом Фурье. Интеграл Фурье является обобщением разложения в ряд Фурье для случая непериодической функции на бесконечном интервале. Это разложение функции на сумму простых гармонических колебаний с непрерывным спектром.

Заметим, что дисперсию стационарного случайного процесса с непрерывным спектром можно выразить в виде интеграла от спектральной плотности:

Пример 4.14.

Корреляционная функция стационарного случайного процесса X(t) имеет вид

Требуется найти спектральную плотность процесса.

Решение. В соответствии с формулой (4.1.12)

Вычислим сначала первый интеграл

Аналогично

Поэтому

Ответ. 

Спектральная плотность производной от случайной функции X(t) связана со спектральной плотностью этой функции соотношением

Пример 4.15.

Спектральная плотность случайной функции X(t) имеет вид  Требуется найти дисперсию производной этой случайной функции.

Решение. Согласно (4.1.13) спектральная плотность производной X'(t) имеет вид   Тогда

Ответ. 

Пусть – автокорреляционная функция стационарного случайного процесса X(t). Найдем взаимную корреляционную функцию процессов X'(t) и X(t). Так как процесс X(t) стационарен, то Поэтому

Так как 

Аналогично 

Пример 4.16.

Спектральная плотность случайного стационарного процесса X(t) имеет вид:  если и при остальных х. Требуется найти автокорреляционную функцию этого процесса. 

Решение. Так как функция четная, то по формуле (4.1.11) получаем

Ответ. 

Пример 4.17.

Задана спектральная плотность стационарного случайного процесса 

Требуется найти корреляционную функцию этого процесса.

Решение. По формуле (4.1.11) получим:

Непосредственно вычислять такой интеграл трудно. Поэтому воспользуемся следующим приемом. Продифференцируем обе части равенства: 

Проинтегрируем по частям:  
Тогда Первое слагаемое в скобке равно нулю, так как  Интеграл во втором слагаемом совпадает с . 

В итоге обнаружилась возможность найти , как решение дифференциального уравнения

Это уравнение с разделяющимися переменными. Его общее решение: 

Для определения произвольной постоянной зададим начальное условие 

(Напомним, что интеграл Пуассона )

При таком начальном условии Искомая корреляционная функция имеет вид:

Заметим, что и спектральная плотность, и корреляционная функция этого процесса относятся к типу гауссовских кривых. 

Ответ. 

Преобразование случайных процессов динамическими системами

Для случайных процессов оказалось целесообразным расширить трактовку некоторых понятий математического анализа. 

Говорят, что случайная последовательность  сходится к числу b в среднеквадратическом смысле, если

(этот факт записывают кратко ).

Случайный процесс X(t) называется стохастически непрерывным в точке если

Случайная величина X'(t) называется среднеквадратической производной случайной функции X(t) в точке если

Пусть имеется некоторая динамическая система. Под динамической системой понимается любое радиотехническое устройство, прибор, прицел, система автоматического управления, автопилот, вычислительное устройство и т.д. 

На вход системы непрерывно подаются некоторые данные, система их перерабатывает и выдает результат этой переработки. Иногда входящие в систему данные называют «воздействием» или «сигналом», данные на выходе называют «реакцией» или «откликом» на воздействие. Обычно вместе с полезным сигналом поступают и случайные помехи, которые тоже перерабатываются динамической системой и влияют на отклик. Поэтому в общем виде ставится формальная задача о переработке динамической системой некоторого случайного процесса X(t). На выходе тоже получается случайный процесс Y(t). Схема описанной системы приведена на рисунке 4.2.1.

Естественно возникает вопрос: как по характеристикам X(t), с учетом особенностей динамической системы, найти характеристики сигнала на выходе?

С формальной точки зрения, каждая динамическая система задает некоторое соответствие между сигналами на входе и откликами на выходе.

Правило, по которому функция X(t) на входе преобразуется в функцию Y(t) на выходе, называется оператором. Символически это записывают в виде:

Оператор L называется линейным однородным оператором, если он обладает следующими свойствами:

1.
2. где C – постоянная величина.

Примерами линейных операторов могут служить операторы

где – некоторая функция.

Оператор называют линейным неоднородным, если он состоит из линейной части с прибавлением некоторой определенной функции:

Если случайная функция X(t) с математическим ожиданием  и корреляционной функцией преобразуется линейным однородным оператором L в случайную функцию 

то для нахождения математического ожидания нужно применить этот оператор к  т.е.

А для нахождения корреляционной функции  необходимо применить этот оператор к корреляционной функции сначала по одному аргументу, а затем по другому:

Например, если линейный оператор дифференцирования  применяется к случайному процессу X(t) с математическим ожиданием  и корреляционной функцией , то для  математическое ожидание а корреляционная функция 

Пример 4.18.

Задана – корреляционная функция стационарного случайного процесса X(t). Требуется найти корреляционную функцию процесса

Решение. Воспользуемся формулой (4.1) для корреляционной функции суммы случайных процессов. Вычислим необходимые для этого величины.

Так как процесс X(t) стационарен, то его математическое ожидание и математическое ожидание его производной равны нулю. Поэтому 

Но так как 

Аналогично,

Так как где  то а Поэтому по формуле (4.2.1) 

В итоге по формуле (4.2)

 

Ответ. 

Стационарной линейной динамической системой называется устройство, которое можно описать линейным дифференциальным уравнением с постоянными коэффициентами:

где – постоянные коэффициенты, X(t) – входящий стационарный процесс (воздействие), а Y(t) – случайный процесс на выходе из системы (отклик). Если динамическая система устойчива, то по окончании переходного периода процесс Y(t)  тоже стационарен.

Найдем характеристики Y(t) по характеристикам X(t). Возьмем математическое ожидание от правой и левой частей равенства (4.2.3).Так как X(t) и Y(t) стационарные процессы, то их математические ожидания m_x и m_y постоянны, а производные математических ожиданий равны нулю. Поэтому 

Обозначим оператор дифференцирования через p, оператор через p² и т.д. Тогда уравнение (4.2.3) можно записать в виде 

или

Выражение

называют передаточной функцией.

Уравнение (4.2.3) в операторной форме кратко записывается в виде

Частотной характеристикой линейной динамической системы называют функцию, которая получается заменой p на в передаточной функции:

Доказано, что спектральные плотности процессов X(t) и Y(t) связаны соотношением

Это означает, что для получения спектральной плотности выходного случайного процесса необходимо умножить спектральную плотность входного процесса на квадрат модуля частотной характеристики динамической системы.

Пример 4.19.

Динамическая система задана уравнением

На вход системы подается стационарный случайный процесс X(t) с корреляционной функцией Требуется найти дисперсию процесса на выходе в установившемся режиме.

Решение. Вычислим спектральную плотность случайного процесса X(t) по формуле (4.1.12)

В операторной форме уравнение (4.2.8) имеет вид

Поэтому частотная характеристика По формуле

Поэтому

Ответ.

Пример 4.20.

На вход линейной динамической системы, описываемой уравнением

подается стационарный случайный процесс X(t) с математическим ожиданием и корреляционной функцией Требуется найти математическое ожидание и дисперсию процесса на выходе.

Решение. Вычислим спектральную плотность случайного процесса X(t). По формуле (4.1.12)

Обозначим оператор дифференцирования через p, а оператор через p² . Тогда уравнение (4.2.9) можно записать в виде

или

Передаточная функция динамической системы имеет вид 

а ее частотная характеристика 

Спектральная плотность процесса на выходе системы равна, согласно (4.2.7), 

Дисперсия процесса на выходе равна 

Если динамическая система устойчива, то при достаточно больших значениях t (после переходного периода) функцию Y(t) можно считать стационарной. Так как X(t) и Y(t) стационарны, то математические ожидания их производных равны нулю. Поэтому переход к математическим ожиданиям в равенстве (4.2.9) дает 

Ответ.  

Пример 4.21.

Пусть X – случайная величина с Случайный процесс Y(t) определяется уравнением

где – постоянные коэффициенты. Требуется найти дисперсию процесса Y(t).

Решение. Решим линейное дифференциальное уравнение (4.2.10) методом Бернулли. Будем искать решение в виде Тогда уравнение (4.2.10) можно переписать:

Подберем u(t) так, чтобы т. е. При таком u(t) получаем уравнение Откуда или В итоге получаем общее решение уравнения (4.3.2):

При начальных условиях имеем Частное решение уравнения (4.2.10) имеет вид Поэтому

Ответ. 

Пример 4.22.

На RC – цепь, схема которой изображена на рис. 4.2.3, подается случайное напряжение X(t) с математическим ожиданием и ковариационной функцией

Требуется найти математическое ожидание и дисперсию с напряжения Y(t) на выходе.

Решение. Дифференциальное уравнение, связывающее сигнал на выходе Y(t) с сигналом X(t) на входе имеет вид 

Решение этого уравнения можно получить, например, методом вариации произвольной постоянной. Однородному уравнению соответствует характеристическое уравнение Поэтому решение соответствующего однородного уравнения имеет вид Вместо произвольной постоянной C подберем такую функцию C(t), чтобы стало решением уравнения (4.2.11). Тогда при подстановке этого Y(t) в уравнение (4.2.11) получаем

Откуда следует, что

Поэтому решение уравнения (4.2.11) имеет вид

Запись (4.2.12) означает, что Y(t) является результатом действия на X(t) линейного оператора:

В соответствии с (4.2.1)

По формуле (4.2.2) при

Аналогично при

Поэтому дисперсия

Ответ. 

Процессы «гибели и рождения»

Пусть некоторый объект может в каждый момент времени может находиться в одном из состояний: множество которых конечно или счетно. (Счетным называют множество, все элементы которого могут быть занумерованы с помощью натуральных чисел.) В случайные моменты времени возможны переходы из состояния в состояние. Особенность этих переходов состоит в том, что за бесконечно малый промежуток времени возможны переходы только в соседние состояния.

Формально это означает следующее. Если в момент времени t объект находится в состоянии то за малый промежуток времени h объект из состояния может перейти в состояние с вероятностью а вероятность перехода в состояние равна Напомним, что означает величину бесконечно малую более высокого порядка малости по сравнению с h. Вероятность перехода из в другие состояния за бесконечно малый промежуток времени h пренебрежимо мала  Отсюда следует, что вероятность за время h сохранить состояние равна

Пусть постоянные и не зависят от времени t и от способа прихода объекта в состояние . Эти предположения позволяют нарисовать следующую схему возможных переходов (см. рис. 4.3.1). 

Процесс изменения состояний объекта по приведенной схеме называется процессом гибели и рождения.

Эти процессы могут служить математической моделью для популяции живых организмов. В этом случае под состоянием понимается наличие в популяции n особей, переход из в состояние означает рождение нового члена популяции, а переход из в состояние соответствует гибели одного из ее членов.

В терминах процессов гибели и размножения можно обсуждать многие технические задачи. Например, для математической модели транспортного предприятия под состоянием можно понимать число автомобилей, которые пригодны для эксплуатации. Тогда выход из стоя автомобиля означает переход в состояние с номером на единицу меньше (т.е. «гибель»), а восстановление машины после ремонта – переход в состояние с номером на единицу больше («рождение»).

Обозначим через вероятность того, что в момент времени t объект находится в состоянии и выведем уравнения для этих вероятностей. Сначала выведем уравнение при Для этого рассмотрим отрезок времени и учтем возможные изменения состояния объекта за малый промежуток времени h. Объект в момент времени будет находиться в состоянии , вероятность чего равна если в момент t он находился в состоянии вероятность чего равна и за время h произошел переход в состояние , вероятность чего равна или в момент t он находился в состоянии , вероятность чего равна и за время h переходов не было, вероятность чего равна или в момент t он находился в состоянии вероятность чего равна и за время h произошел переход в состояние , вероятность чего равна

Символическая запись этой фразы имеет вид 

Перенесем из правой части в левую   и разделим каждое слагаемое в равенстве на h:

При получаем дифференциальное уравнение

Уравнение для k=0 получается из следующих рассуждений. Объект в момент времени будет находиться в состоянии Е₀, вероятность чего равна если в момент t он находился в состоянии Е₀, вероятность чего равна и за время h переходов не было, вероятность чего равна или в момент t он находился в состоянии Е₁, вероятность чего равна и за время h произошел переход в состояние Е₀, вероятность чего равна Символически эта фраза может быть записана в виде

Перенос слагаемого в левую часть, деление правой и левой частей равенства на h, предельный переход при приводят к дифференциальному уравнению

Уравнения (4.3.2) и (4.3.3) называют системой уравнений гибели и рождения. В общем виде решение этой системы получить сложно, но в отдельных частных случаях это вполне обозримая работа.

Обычно с течением времени влияние начального состояния иссякает и процесс входит в стационарный режим, при котором переходы из состояния в состояние продолжаются, но сами вероятности состояний стабилизируются и перестают зависеть от времени (от начального состояния), т.е. Но при этом В результате система дифференциальных уравнений (4.3.2) и (4.3.3) превращается в систему однородных линейных алгебраических уравнений

Выбрать единственное решение системы позволяет условие нормировки Для этого выразим все вероятности, например, через  Из первого уравнения С учетом этого, из второго уравнения получаем

Третье уравнение дает равенство Продолжая подобные действия, найдем, что Тогда по условию нормировки .

В итоге получаем, что

Замечание. Если ряд в знаменателе (4.3.4) расходится, то все Это означает «взрыв» численности, т.е. за конечное время произойдем бесконечно много рождений. Сходимость ряда является достаточным условием существования ненулевых вероятностей Для сходимости ряда по признаку Даламбера требуется, чтобы

т.е. начиная с некоторого номера n интенсивность гибели должна превосходить интенсивность рождений.

Пример 4.23.

Система состоит из основного блока, одного блока в «горячем» резерве (т.е. работающего одновременно с основным) и одного блока в «холодном» резерве (т.е. этот резервный блок не работает). Длительность безотказной работы работающего блока распределена по показательному закону с параметром Вышедший из строя блок практически мгновенно заменяется блоком из холодного резерва, а вышедший из строя блок незамедлительно начинают ремонтировать. Время ремонта распределено по показательному закону с параметром n. Система прекращает свою работу, как только остается всего один работоспособный элемент. Требуется найти вероятность того, что система выйдет из строя до момента времени t.

Решение. 1. Состояния системы будем различать по числу вышедших из строя блоков. Обозначим через – состояние, в котором блоков вышли из строя. Тогда граф состояний системы имеет вид, изображенный на рис. 4.3.2. 

Происходит переход если один из двух работающих блоков выходит из строя. Интенсивность таких переходов равна При окончании ремонта происходит переход с интенсивностью n. Состояние E₂ является «поглощающим» – если система попала в него, то она это состояние не покинет.

2. Обозначим через вероятность того, что в момент времени t система будет находиться в состоянии . Нас интересует  – вероятность того, что в момент времени t система уже вышла из строя. Выход из строя можно считать «рождением» неполадки, а ее устранение – «гибелью». Система уравнений гибели и размножения (4.3.2) и (4.3.3) в нашем случае имеет вид:

Любое из уравнений системы можно заменить условием нормировки

Пусть система начинает свою работу из состояния E₁, т.е. имеет начальные условия:

3. Перейдем в системе (4.3.5) к преобразованиям Лапласа:

или

Решение системы (4.3.6), например, по формулам Крамера дает:

Остается найти обратное преобразование от Например, при и выражение (4.3.7) принимает вид

(Здесь мы пользуемся методом неопределенных коэффициентов для разложения на простые дроби). Имея две равные дроби с равными знаменателями, приравниваем числители этих дробей

Приравнивая в правой и левой частях равенства коэффициенты при равных степенях получим В итоге имеем

Обращение преобразования Лапласа дает искомую вероятность

Ответ. 

Пример 4.24.

На контактном многоканальном телефоне фирмы работает четыре оператора. Каждый свободный оператор независимо от других на интервале времени может с вероятностью начать отвечать на звонок. Оператор, отвечающий на звонок, с вероятностью на интервале времени может завершить ответ и освободиться. Требуется найти предельные вероятности того, что будут заняты k операторов.

Решение. Состояния контактного телефона будем различать по числу занятых операторов. Пусть E_k – означает, что заняты k из них. Тогда граф состояний имеет вид, изображенный на рис. 4.3.3.

Составим уравнения для вероятностей Сопоставим значения этих вероятностей в моменты времени

Перенос слагаемого в левую часть, деление правой и левой частей равенства на , предельный переход при приводят к дифференциальному уравнению

На контактном телефоне в момент времени будет занят один оператор, вероятность чего равна если в момент t все операторы были свободны, вероятность чего равна и за время один из операторов включился в работу, вероятность чего равна или в момент t был занят только один оператор, вероятность чего равна и за время переходов не было, вероятность чего равна или в момент t были заняты два оператора, вероятность чего равна и за время один из операторов освободился

Символическая запись этой фразы имеет вид

Перенесем из правой части в левую и разделим каждое слагаемое в равенстве на :

При получаем дифференциальное уравнение

Аналогично выводятся уравнения

С течением времени вероятности состояний стабилизируются и перестают зависеть от времени (от начального состояния), т.е. 

Но при этом В результате система дифференциальных уравнений превращается в систему однородных линейных алгебраических уравнений 

Выбрать единственное решение системы позволяет условие нормировки Для этого выразим все вероятности, например, через Р₀. Из первого уравнения С учетом этого, из второго уравнения получаем

Третье уравнение дает равенство  Продолжая подобные действия, найдем, что Тогда по условию нормировки

Обозначим через Тогда

Откуда

Ответ. 

Пример 4.25.

Система массового обслуживания состоит из двух обслуживающих устройств. В систему поступает простейший поток требований на обслуживание интенсивности Времена обслуживания требований независимы и имеют показательный закон распределения с параметром ( – интенсивность обслуживания). Требование, заставшее все устройства занятыми, может встать в очередь или покинуть систему. Вероятность присоединения к очереди пропорциональна числу обслуживающих устройств и обратно пропорциональна числу требований в системе плюс один. Это означает, что интенсивность перехода равна Требуется найти стационарные вероятности числа требований в системе.

Решение. Обозначим через E_k – состояние системы, когда в ней находятся k требований. Если в системе находится требований (два требования обслуживаются и ожидают в очереди), то вероятность присоединения к очереди по условию задачи равна Это означает, что интенсивность перехода равна Граф состояний системы изображен на рис. 4.3.4

Составим систему уравнений гибели и размножения

Для стационарного режима получаем систему однородных линейных алгебраических уравнений

Эту систему естественно дополнить условием нормировки Из первого уравнения получаем, что Подставляя этот результат во второе уравнение, находим Из третьего уравнения, с учетом полученных для P₁ и Р₂ выражений, имеем Продолжая действовать подобным образом, получим    Обозначим через Воспользуемся условием нормировки:

откуда  или  В итоге

где т.е. стационарное распределение оказалось распределением Пуассона. Используя найденные стационарные вероятности можно вычислить разные характеристики системы. Например, при и вычислим среднее число занятых обслуживающих устройств. Поскольку то математическое ожидание числа занятых приборов равно

Вероятность того, что требование поступит на обслуживание без ожидания в очереди, равна Вероятность наличия очереди в системе равна

Ответ. 

Пример 4.26.

Система массового обслуживания состоит из одного обслуживающего прибора и одного прибора в холодном резерве. Интенсивность выхода из строя работающего прибора равна При выходе из строя работающего прибора его практически мгновенно заменяют резервным, а вышедший из строя прибор начинают ремонтировать. Вышедшие из строя приборы ремонтируются с интенсивностью n в порядке очереди. После отказа устройства ремонт продолжается с прежней интенсивностью. При наличии в системе годного к работе прибора система возобновляет свою работу.

Требуется найти долю времени простоя системы из-за выхода из строя приборов. Найти наработку на отказ, т.е. среднее время работы системы между пребываниями в отказных состояниях.

Решение. Состояния системы будем различать по числу вышедших из строя приборов. Обозначим через состояние системы, в котором элементов системы находятся в нерабочем состоянии. Тогда состояние E₂ можно назвать отказным состоянием, поскольку оба элемента вышли из строя. Граф состояний системы изображен на рис. 4.3.5.

Если считать выход из строя прибора рождением неполадки, а завершение ремонта ее гибелью, то система уравнений гибели и размножения по формулам (4.3.2), (4.3.3) для нашего случая принимает вид

Это система линейных однородных дифференциальных уравнений с постоянными коэффициентами. Любое уравнение системы можно заменить условием нормировки:

С учетом того, что и при этом для стационарных вероятностей состояний получаем систему однородных линейных алгебраических уравнений

Эта система имеет бесконечно много решений. Для выбора приемлемого для нас решения одно из уравнений, например, второе заменим условием нормировки

Из первого уравнения имеем а из третьего уравнения Тогда по условию нормировки откуда

где  Тогда 

Стационарную вероятность P₂ можно понимать как долю времени, в течение которой система находится в нерабочем состоянии (оба прибора вышли из строя).

Для вычисления наработки на отказ сделаем состояние E₂ поглощающим, т.е. исключим переход Тогда граф состояний будет иметь вид, изображенный на рис. 4.3.6.

Этому графу состояний соответствует система уравнений

Зададим начальное состояние. Пусть, например, Обозначим через преобразование Лапласа от и запишем систему (4.3.9) в преобразованиях Лапласа:

или

Найдем например, по правилу Крамера. Вычислим определитель системы (4.3.10):

и  Поэтому 

Обозначим через – вероятность безотказной работы системы до момента t, а через – ее преобразование Лапласа. Тогда

Заметим, что где T – время достижения отказного состояния, т.е. время безотказной работы системы.

Последний вывод основан на следующих соображениях. Пусть X – неотрицательная случайная величина с функцией распределения Интегрируя по частям, вычислим

В нашем случае Первое слагаемое равно наработке на отказ за счет холодного резервирования, второе слагаемое возникло за счет ремонта.

Ответ. 

Рассмотрим систему массового обслуживания, в которую поступает простейший поток требований интенсивности Время обслуживания распределено показательно с параметром Каждое требование при поступлении в систему начинает обслуживаться немедленно, если есть хотя бы один свободный прибор. Если требование застает все n приборов обслуживания занятыми, то оно получает отказ и теряется. Такую систему называют системой с потерями. Примером такой системы может служить телефонный узел.

Замечание. Пусть время обслуживания имеет показательное распределение с функцией распределения и пусть обслуживание уже продолжалось время Из характеристического свойства показательного распределения следует, что оставшаяся часть времени обслуживания имеет то же самое распределение. Поэтому вероятность того, что обслуживание завершится за последующее время равна 

Под состоянием можно полагать то состояние системы, при котором в ней находится (обслуживается) k требований. Тогда система может находиться только в состояниях Вероятность перехода из состояния в состояние при равна Если в системе находится k требований, то интенсивность обслуживания равна kn и вероятность перехода из в за малое время равна Мы имеем дело с процессом гибели и размножения, для которого при и при при и при Если ввести обозначение то формула (4.3.4) дает вероятности состояний системы при

Формулы (4.3.11) называют формулами Эрланга, который их впервые вывел в 1917 г. В последующем оказалось, что для систем с потерями формулы Эрланга сохраняют свою структуру при любом распределении длительности обслуживания, лишь бы среднее время обслуживания равнялось

При формула (4.3.11) дает вероятность того, что все приборы заняты обслуживанием и, следовательно, поступившее в такой момент требование получит отказ. Поэтому вероятность потери требования равна

Пример 4.27.

В систему массового обслуживания, состоящую из четырех каналов обслуживания, поступает простейший поток требований интенсивности Времена обслуживания требований независимы и каждое имеет распределение с функцией плотности вероятности

Требование, заставшее все каналы обслуживания занятыми, теряется. Необходимо найти вероятность потери требования и среднее число занятых обслуживанием каналов.

Решение. Пусть V – время обслуживания требования. Вычислим среднее время обслуживания

В формулах Эрланга . Заменяя на получаем По формуле (4.3.11) имеем:

и . Вероятность застать все каналы занятыми равна Это и есть вероятность потери требования.

Среднее число занятых каналов равно

Ответ. 

Пример 4.28.

На многоканальный контактный телефон фирмы поступает простейший поток звонков интенсивности пять звонков в час. Время разговора с каждым клиентом в среднем занимает 10 минут. Звонки, заставшие все каналы занятыми, теряются. Сколько должно быть каналов для того, чтобы терялось не более 10% звонков?

Решение. Формулы Эрланга сохраняют свою структуру при любом распределении времени обслуживания и зависят только от среднего значения длительности обслуживания. В нашем случае среднее время обслуживания равно 1/6 ч. Поэтому Явно решить неравенство 

даже при известном значении , едва ли возможно. Поэтому естественно найти n простым перебором его значений. Начнем с n=2. По формуле (4.3.12) при n=2

По той же формуле при n=3

Вычисления показали, что при двух каналах теряется около 16% звонков, а уже при трех каналах потери составят около 5% звонков.

Ответ. Достаточно трех каналов.

Метод фаз Эрланга

Случайная величина X имеет распределение Эрланга порядка k с параметром , если ее функция плотности вероятности имеет вид

На рис. 4.4.1 приведены графики распределения Эрланга при значении параметра и разных значениях k.

При k=1 получается плотность показательного распределения.

Метод фаз Эрланга применяется тогда, когда наряду с показательными распределениями в стохастической системе встречаются распределения Эрланга.

Математическое описание такой системы возможно с помощью Марковского процесса. Эта возможность основана на том, что случайную величину, имеющую распределение Эрланга порядка k с параметром , можно представить в виде суммы k независимых показательно распределенных случайных величин с параметром . Например, длительность обслуживания, имеющую распределение Эрланга порядка k, можно считать состоящей из k независимых «фаз», каждая из которых имеет одно и то же показательное распределение.

Оказывается, что многие функции распределения допускают хорошую аппроксимацию с помощью линейной комбинации функций распределения Эрланга.

Пример 4.29 (система Энгсета с потерями)

Система обслуживания состоит из одного прибора. Из n независимых источников поступают требования. Время обслуживания любого требования имеет распределение Эрланга 3-го порядка с параметром Из каждого источника поступает на обслуживание простейший поток заявок, интенсивности . Интервалы между приходами требований из данного источника назовем паузами. Если требование застает прибор свободным, то начинает сразу обслуживаться. Пока происходит это обслуживание, из данного источника новых требований не поступает. После завершения обслуживания начинается отсчет новой паузы на данном источнике. Требуется найти долю времени, в течение которой прибор будет занят.

Решение. Выделим состояния системы: – прибор свободен; – прибор занят -й фазой обслуживания. Граф состояний системы изображен на рис. 4.4.2.

Для вероятностей состояний системы в момент времени t можно составить систему уравнений:

Тогда для стационарных вероятностей получаем систему

из которой Из условия нормировки Поэтому Вероятность того, что система занята равна

Ответ. 

Марковские процессы с дискретным множеством состояний

Цепи Маркова:

Случайным процессом называется семейство случайных величин X(t), зависящих от параметра t, который пробегает некоторое множество значений T. Предполагается, что все эти случайные величины определены на одном и том же вероятностном пространстве и принимают действительные значения. Множество значений будем называть пространством состояний, а под параметром t будем понимать время. Так что величина X(t) указывает состояние системы в момент времени t. Множество значений t может быть дискретным или непрерывным Иногда вместо X(t) будем использовать обозначение X_t .

Определение. Случайный процесс X_t называется марковским, если для любого момента времени развитие процесса в последующие моменты времени (при ) зависит только от состояния процесса в момент времени t₀ и не зависит от того, когда и как процесс пришел в это состояние.

Пусть некоторый физический объект в каждый момент времени может находиться в одном из своих возможных состояний, число которых конечно или счетное. В этом случае иногда говорят о дискретном множестве состояний. Состояния могут быть качественными и описываться словами, или количественными и характеризоваться некоторыми числами. Представление о множестве состояний и о структуре переходов из состояния в состояние дает схема, которая называется графом состояний. Будем стрелками обозначать возможные переходы, а через – возможные состояния.

Например, в графе состояний (рис. 4.5.1) E0 означает, что устройство новое и не включено в работу, E₁ – устройство работает, E₂ – устройство неисправно, E₃ – происходит поиск причин неисправности, E₄ – производится ремонт, E₅ – устройство признано не подлежащим ремонту и утилизировано. Если ремонт удался, то происходит переход в состояние E₁.

Взаимное расположение состояний в графе позволяет их классифицировать следующим образом:

1. Состояние называется источником, если объект может выйти их него, но попасть вновь в него не может (в приведенном примере состояние E₀).
2. Состояние называется поглощающим (или концевым), если в него можно войти, но из него выйти нельзя (в приведенном примере состояние E₅).
3. Состояние E_i называется соседним к состоянию E_j , если возможен непосредственный переход из состояния E_j в состояние Ei . В приведенном примере E₃ соседнее состояние по отношению к E₂, но E₂ не соседнее состояние по отношению к E₃.
4. Подмножество состояний называется эргодическим (или связным), если из каждого состояния этого подмножества можно попасть в любое другое состояние этого подмножества.

Например, в графе (см. рис. 4.5.2)два эргодических подмножества состояний: и

Случайный процесс изменения состояний объекта можно понимать как процесс блуждания по множеству состояний графа.

С точки зрения описания объекта первостепенный интерес представляют вероятности состояний этого объекта. Обозначим через – вероятность того, что в момент времени t объект находится в состоянии E_i . Очевидно, что

Часто интерес представляет лишь установившийся режим работы (или стационарный режим), в который объект входит после достаточно долгого времени работы. При стационарном режиме процесс перехода из состояния в состояние продолжается, но вероятности состояний не изменяются. Обозначим эти вероятности через P_i . Так что

Величину P_i можно понимать как среднюю долю времени, в течение которой объект находится в состоянии E_i. В общем случае зависят от всей предыстории переходов из состояния в состояние до момента времени t. Это чрезвычайно усложняет математическую модель такого процесса. В математическом плане наиболее просты марковские процессы, не обладающие «памятью» о прошлом.

Еще раз повторим, что случайный процесс с дискретным множеством состояний называется марковским, если для любого момента времени t₀ вероятность каждого из его состояний в будущем (при ) зависит только от его состояния в настоящий момент и не зависит от того, когда и как процесс пришел в это состояние.

Если переходы из состояния в состояние могут происходить только в определенные моменты времени то процесс называют цепью Маркова. Моменты переходов из состояния в состояние называют шагами процесса. Наглядным примером марковской цепи могут служить детские игры, в которых продвижение фишки зависит от выпадения той или иной грани игрального кубика.

Важными характеристиками марковской цепи являются условные вероятности перехода системы на k-м шаге в состояние E_j, если на предыдущем -м шаге она была в состоянии E_i. Обозначим эти вероятности через и назовем их переходными вероятностями. Вероятность можно понимать, как вероятность сохранить свое состояние E_i на k-м шаге. Переходные вероятности удобно записывать в виде прямоугольной таблицы (квадратной матрицы):

Эту матрицу называют матрицей переходных вероятностей или просто переходной матрицей. Так как на каждом шаге система находиться в одном из своих возможных состояний, то для любой строки матрицы сумма ее элементов равна единице. Матрицы, обладающие этим свойством, называют стохастическими.

Для однозначного в вероятностном смысле описания процесса переходов из состояния в состояние нужно, помимо переходных матриц, указать начальное распределение состояний, т.е. вероятности Обычно процесс начинается из определенного состояния E_i . Тогда а при

Цепь Маркова называется однородной, если переходные вероятности не меняются от шага к шагу, т.е. и мы имеем одну и ту же матрицу перехода на каждом шаге.

Заметим, что каждому графу состояний для однородной цепи соответствует определенная переходная матрица.

Графу состояний (рис. 4.5.3) соответствует переходная матрица

где  (это вероятности сохранить свое состояние на очередном шаге).

Пусть задано распределение состояний в начальный момент времени: По формуле полной вероятности получаем распределение состояний после первого шага:

Используя полученные вероятности, можно по формуле полной вероятности вычислить вероятности состояний на втором шаге:

Продолжение этих рассуждений приводит к рекуррентному соотношению 

При определенных условиях цепи Маркова входят в стационарный режим, при котором переходы из состояния в состояние продолжаются, но вероятности переходов не изменяются и не зависят от номера шага. Эти вероятности называют финальными или предельными. Будем обозначать финальные вероятности через

Условия существования финальных вероятностей:

1. множество всех состояний должно быть эргодическим;
2. цепь должна быть однородной (во всяком случае переходные вероятности должны удовлетворять условию:
3. должно быть хорошее перемешивание состояний (не должно быть периодических циклов). 

Например, для цепи с графом состояний условие 3) не выполняется, так как при начале из состояния Е₁ на нечетном шаге цепь будет находиться в состоянии Е₂, а на четном — в состоянии Е₁.

Если для однородной цепи финальное распределение существует, то

и равенства (4.5.1) имеют вид

Иногда в этой записи выделяют слагаемые в правой части с Тогда

или

Для определения финальных вероятностей нужно решить систему линейных однородных уравнений (4.5.2). Такая система всегда совместна, (имеет тривиальное решение при всех i). Если же есть нетривиальные решения, то их бесконечно много. Для выбора необходимого единственного решения следует добавить условие нормировки

Это равенство можно добавить вместо одного из уравнений системы (4.5.2). Итак, для нахождения финальных вероятностей состояний марковской цепи нужно решить систему уравнений

Пример 4.30.

Граф состояний марковской цепи изображен на рис. 4.5.4. При начальном распределении найти наименее вероятное состояние на третьем шаге. Найти финальные вероятности состояний цепи.

Решение. Переходная матрица этой цепи имеет вид

Найдем вероятности состояний цепи на первом шаге. Воспользуемся формулой (4.5.1), но учтем, что переходные вероятности нам каждом шаге одинаковы (цепь однородная) и поэтому

На втором шаге имеем вероятности состояний:

Для третьего шага получаем вероятности:

Можно, повторяя вывод уравнений (4.5.1), для определения финальных вероятностей записать систему равенств

 Но проще составить систему (4.5.3):

Решая систему, например, по правилу Крамера, получим Эти результаты означают, что примерно 20% времени цепь проведет в состоянии Е₁, 10% времени – состоянии Е₂, 70% времени – в состоянии Е₃.

Ответ. Е₂ – наименее вероятное состояние на третьем шаге;

Пример 4.31.

В городе N каждый житель имел одну из профессий A, B или C. Дети в следующем поколении сохраняли профессию отцов с вероятностями соответственно 0,6, 0,2 и 0,4 и с равными вероятностями выбирали любую из двух других профессий. Если в данный момент профессию A имеет 20% жителей города, профессию B – 30%, а профессию C – 50% жителей, то

1) каково распределение по профессиям будет в следующем поколении;

2) каким будет распределение по профессиям через много поколений (финальное распределение)?

Решение. Смену поколений будем считать шагом Марковской цепи. Имеем начальное распределение (на нулевом шаге): Переходная матрица имеет вид:

В соответствии с формулами (4.5.1) получаем распределение вероятностей на первом шаге (в первом поколении): 

Для вычисления финальных вероятностей составляем систему уравнений (4.5.2)

Эта система уравнений при условии нормировки имеет решение

Ответ. 

Пример 4.32.

Устройство состоит из двух блоков (например, двигатель и ходовая часть). Пусть A означает безотказную работу первого блока, B – безотказную работу второго блока. По истечении каждой единицы времени проверяется состояние этих блоков, и в случае неисправности производится их ремонт. Вероятность безотказной работы блоков в течение единицы времени равны соответственно 0,9 и 0,8. Если неисправность блока обнаружена, то вероятность отремонтировать блок в течение единицы времени равна соответственно 0,3 и 0,4. Найти предельные вероятности для состояний устройства:

Замечание. В сформулированном примере по умолчанию предполагается, что распределение времени безотказной работы и распределение времени ремонта каждого блока не имеют «памяти» о прошлом. Единственным распределением такого сорта является показательное распределение. Если, например, время ремонта распределено по показательному закону и ремонт уже продолжается некоторое время, то оставшаяся часть времени ремонта имеет то же самое распределение, что и в начале ремонта.

Решение. Поскольку состояния блоков наблюдаются в конце каждой единицы времени, то моменты наблюдения можно считать шагами однородной марковской цепи. Учитывая независимость времени безотказной работы и времени ремонта узлов, определим переходные вероятности:

В итоге переходная матрица имеет вид

Составим систему уравнений для определения финальных вероятностей:

Это система линейных однородных уравнений, она имеет бесконечно много решений. Для получения единственного нужного нам решения вместо любого из уравнений запишем условие нормировки Решая систему, например, по формулам Крамера получим

Ответ.  

Пример 4.33.

В зоне обслуживания бригады ремонтников находится три прибора, работающих в автоматическом режиме. В конце каждого месяца ремонтники проводят профилактический осмотр приборов и, в случае обнаружения неисправных, забирают их для ремонта или замены на новые. Отремонтированный (или новый) прибор возвращают на место при очередном профилактическом осмотре, т.е. через месяц. Вероятность выхода из строя в течение месяца работающего прибора равна 1/3. Требуется найти стационарное распределение вероятностей числа исправных приборов в начале каждого месяца.

Решение. Рассмотрим марковскую цепь, состояния которой будем различать по числу работоспособных приборов. Пусть – означает, что работоспособны приборы. Всего имеется четыре возможных состояния:

Составим переходную матрицу этой цепи. Если на данном шаге цепь находится в состоянии E₀, то на очередном шаге будут доставлены три работоспособных прибора и цепь с вероятностью 1 перейдет в состояние E₃. Поэтому

Если на данном шаге цепи имеется только один работоспособный прибор, то следующем шаге будет поставлено два новых прибора и вероятность перехода равна вероятности того, что имеющийся в наличии прибор сохранит свою работоспособность, т.е. Вероятность же перехода равна вероятности выхода из строя имеющегося прибора, т.е.

При наличии на данном шаге двух годных приборов в соответствии с формулой Бернулли, имеем переходные вероятности:

Наконец, при трех годных приборах на данном шаге

Запишем переходную матрицу:

Этой переходной матрице соответствует система уравнений (4.5.2) для вычисления стационарных вероятностей: 

Решая эту систему уравнений, с учетом условия нормировки получаем

Ответ. 

Марковские процессы с непрерывным временем и дискретным множеством состояний

Пусть переходы процесса из состояния в состояние происходят под воздействием каких-то потоков событий (поток отказов, восстановлений и т.д.). Будем считать, что переход процесса из состояния Е_i в состояние E_j происходит под воздействием пуассоновского потока событий интенсивности , т.е. как только первое событие потока произошло, тотчас произошел и переход В этих условиях вероятность перехода из состояния Е_i в состояние E_j за малый промежуток времени равна Если все потоки событий, переводящих процесс из состояния в состояние, пуассоновские, то процесс переходов будет марковским.

Суммарный поток событий, выводящих процесс из состояния Е_i, тоже будет пуассоновским с интенсивностью Тогда вероятность покинуть состояние Е_i за малый промежуток времени равна

а вероятность сохранить состояние Е_i за малый промежуток времени равна

Выведем уравнения для вероятностей состояний процесса В момент процесс будет находиться в состоянии Е_i (вероятность чего равна ), если в момент t он находился в состоянии Е_i (вероятность чего равна ) и в течении времени оставался в этом состоянии (вероятность чего равна   ), или процесс в момент времени t находился в любом другом состоянии (с вероятностью ) и за время  перешел в состояние Е_i (вероятность чего равна  ). Символическая запись этой длинной фразы имеет вид

Если перегруппировать слагаемые, разделить равенство на , то при получим систему уравнений

Это система уравнений Колмогорова А.Н. Для решения системы нужно задать начальные условия, а вместо одного из уравнений можно использовать условие нормировки

Пример 4.34.

На рис. 4.6.1 дан граф состояний некоторого объекта. Интенсивности переходов из состояния в состояние указаны на этом же рисунке. Записать систему уравнений для вероятностей состояний объекта. При постоянных и найти предельные (финитные) вероятности его состояний.

Система уравнений Колмогорова (4.6.1) в рассматриваемом случае имеет вид

Вместо одного из уравнений (например, вместо второго) можно воспользоваться условием нормировки

Если то существуют стационарные вероятности, для которых все и система уравнений принимает вид

Эта система имеет решение

Пример 4.35.

В некотором механизме могут происходить отказы двух типов. Пусть вероятность отказа первого типа в интервале времени равна  а вероятность отказа второго типа в том же интервале равна В состоянии отказа производится ремонт, длительность которого имеет экспоненциальное распределение с параметром, зависящим от типа отказа. Пусть и – значения этих параметров. Требуется найти долю времени, в течение которой механизм будет работать безотказно.

Решение. Обозначим через – рабочее состояние механизма, через – состояние го отказа. Тогда граф состояний механизма имеет вид, изображенный на рис. 4.6.3.

Система уравнений (4.6.1) для этого случая имеет вид

Условия существования стационарных вероятностей марковского процесса выполнены. Поэтому при вероятности – постоянные величины, а Для стационарных вероятностей получаем систему

Из второго и третьего уравнений находим соответственно и Вместо первого уравнения используем условие нормировки:

Откуда

Ответ.  

Модели управления запасами

В этом разделе мы рассмотрим простейшие математические модели функционирования систем, которые можно назвать хранилищем или складом. На рис. 4.7.1 изображена общая схема такой системы.

И поступление продукции и ее расход могут быть случайными и во времени и по объему.

Простым примером может служить водохранилище, уровень воды в котором зависит от притока (определяемого случайно выпадающими осадками) и расхода воды на разные нужды.

Представляют, например, интерес:

• 1) стационарное распределение запаса и условия его существования;
• 2) оптимальная политика пополнения и расхода запаса;
• 3) распределение периода нулевого уровня и т.д.

Для определенности будем говорить о модели водохранилища. Рассмотрим простейшую модель с дискретным временем, в которой уровень рассматривается в моменты (например, каждый день утром в определенный час).

1. Приток. Пусть X_k – количество воды, поступившее в водохранилище за единицу времени (год, сутки, час и т.д.) от k до (k +1) моментов. Величины полагаем независимыми и одинаково распределенными.

2. Сток. Пусть объем водохранилища равен K. Обозначим через Z_n размер запаса в момент т.е. количество воды перед поступлением в хранилище X_n. Если , то водохранилище переполняется и избыток теряется. Поэтому в водохранилище запас будет равен

3. Правило расхода воды. В момент времени из водохранилища выпускают количество воды, равное если  . Если же то расходуют весь имеющийся запас Так что величина расхода равна Из этих допущений можно сделать вывод, что размер запаса удовлетворяет рекуррентному соотношению:

Последовательность образует однородную цепь Маркова.

Упростим задачу еще, полагая приток дискретным. Пусть 

В этом случае цепь Маркова имеет конечное число состояний Обозначим вероятности переходов из начального состояния за n шагов через

Найдем стационарное распределение размера запаса. Для простоты будем считать, что количество воды, расходуемой в момент равно

Обозначим производящую функцию распределения вероятностей через

Тогда средний приток в единицу времени равен

Матрица переходных вероятностей для цепи Маркова имеет вид:

Если все то цепь неприводимая и непериодическая. Поэтому существует стационарное распределение вероятностей

которые являются единственным решением уравнений

при условии, что Для этих вероятностей имеет место следующая теорема.

Теорема Морана (Moran P.). 1. Если – стационарное распределение запаса воды в хранилище емкости K, то отношения

не зависят от K.

2. Значения можно найти как коэффициенты при в разложении по степеням функции

Доказательство. Для доказательства первой части теоремы достаточно записать уравнения для финальных вероятностей

Решая последовательно эти уравнения, получим из первого уравнения:

Из второго уравнения получим:

Продолжение этого процесса завершает доказательство первой части. Для доказательства второй части рассмотрим функцию и покажем, что при она разлагается в ряд по степеням z, коэффициенты которого совпадают с (4.7.4). Для этого преобразуем функцию :

Можно показать, что

В самом деле,

Отсюда при

Здесь величина равна среднему притоку.

Итак, представляет из себя сумму бесконечной геометрической прогрессии со знаменателем который тоже разложим по степеням z. Разложим в степенной ряд:

Коэффициенты определяются из равенства

если приравнять коэффициенты при одинаковых степенях z в его правой и левой частях. Величины этих коэффициентов совпадают с их значениями по формулам (4.7.4). Этим и завершается доказательство теоремы.

Пример 4.36.

Пусть в хранилище объема K поступление запаса имеет распределение

При переполнении хранилища излишки теряются. Каждую единицу времени из хранилища потребляют единицу запаса. Требуется найти вероятность того, что к моменту очередного расхода запаса хранилище окажется пустым.

Решение. Воспользуемся теоремой Морана. Для этого сначала найдем производящую функцию для распределения случайной величины X.

Имеем 

Если то можно считать суммой бесконечной убывающей прогрессии. Поэтому

Из этой записи следует, что

Эти коэффициенты можно преобразовать к виду: 

Тогда в соответствии с формулами (4.7.2) имеем 

Если объем хранилища неограничен, то из условия нормировки:

Тогда 

Если же объем хранилища равен К, то согласно теореме Морана соотношения (4.7.6) остаются в силе, но условие нормировки имеет вид 

Поэтому – вероятность того, что к моменту очередного расхода запаса хранилище окажется пустым,

Ответ. 

Пример 4.37.

Хранилище имеет емкость шести единиц хранения (например, шесть контейнеров, шесть вагонов и т.д.). В течение каждого дня в хранилище поступает случайное количество продукции X. Величины X независимы и одинаково распределены:

При заполнении хранилища избыток поступившей продукции теряется. В конце каждого дня из хранилища отпускается потребителю две единицы продукции (или весь запас, если он меньше двух).

Для стационарного режима требуется найти: вероятность того, что поставляемая продукция будет полностью (без потерь) принята на хранение; вероятность того, что отпуск продукции будет производиться в полном объеме.

Решение. Будем рассматривать состояния хранилища мгновение спустя после очередной отгрузки. Тогда возможных состояний будет пять: где номер состояния соответствует числу находящихся на хранении единиц продукции.

В нашем примере Составим переходную матрицу:

В соответствии с переходной матрицей запишем систему уравнений (4.7.1) для вычисления стационарных вероятностей:

Вместо любого из уравнений можно взять условие нормировки Итак, имеем систему уравнений

Структура уравнений системы такова, что позволяет легко выразить все неизвестные величины через одну из них. Например, из последнего уравнения имеем

Подставляя найденное выражение для u₃ в предыдущее уравнение, получаем

С учетом (4.7.7) и (4.7.8) из третьего уравнения находим, что

Из первого уравнения и соотношений (4.7.7) – (4.7.9) следует, что

Воспользуемся теперь условием нормировки

откуда Подставляя найденное значение u₄ в равенства (4.7.7) – (4.7.10), получаем

Поставляемая продукция будет полностью (без потерь) принята на хранение, если в хранилище, после очередной отгрузки, останется не более трех единиц продукции (вероятность чего равна ), или в хранилище останется четыре единицы продукции, но до очередной отгрузки поступит не более двух единиц продукции (вероятность чего равна ). Поэтому вероятность полного приема продукции равна

Математическое ожидание количества теряемой продукции при каждом ее поступлении равно

ед. прод.

Вероятность того, что отпуск продукции будет производиться в полном объеме (в количестве двух единиц), равна

Заметим, что В среднем поступает столько, сколько должно тратиться за день. Но за счет неравномерности поступления продукции в хранилище возникают и неполные поставки и потери продукции из-за переполнения склада.

Ответ. 0, 906; 0,962.

Пример 4.38.

Хранилище имеет емкость пять единиц хранения. В течение каждого дня в хранилище поступает случайное количество X единиц продукции. Величины X независимы и имеют одинаковое распределение

При заполнении хранилища избыток поступившей продукции теряется. В конце каждого дня из хранилища отпускается потребителю случайное число единиц продукции (или весь запас, если он не превосходит ). Известно, что а

Для стационарного режима найдите: вероятность того, что поставляемая продукция будет полностью (без потерь) принята на хранение; вероятность того, что отпуск продукции будет производиться в полном объеме.

Решение. Если рассматривать состояние хранилища в моменты сразу после очередной отгрузки продукции, то имеется пять возможных состояний: где номер состояния соответствует числу находящихся на хранении единиц продукции. Состояния хранилища в моменты после очередной отгрузки образуют цепь Маркова. Найдем ее переходные вероятности.

Переход произойдет, если в пустое хранилище поступит одна единица продукции и она достоверно будет отгружена, или поступят две единицы продукции и обе будут отгружены. Поэтому

Переходы происходят, если в хранилище поступает на единицу продукции больше, чем затем отгружается. Поэтому

Переходы происходят, если поступает одна единица хранения, а отгружаются две. Вероятность этого

Хранилище сохранит свое состояние E₂ или E₃, если поступит столько единиц хранения, сколько и будет отгружено. Поэтому

Переходы происходят, если поступит три единицы хранения, а будет отгружена только одна. Поэтому

Для перехода необходимо, чтобы поступила одна единица хранения и она была отгружена или поступили две или три единицы хранения и были отгружены две. Вероятность этого

Переход произойдет, если в хранилище поступит две или три единицы продукции, а будет отгружена только одна, вероятность чего равна

Если в хранилище четыре единицы продукции, то при любом поступлении новой продукции хранилище будет заполнено целиком. Тогда для перехода необходима отгрузка двух единиц продукции. Вероятность этого

Хранилище сохранит свое состояние E₄, если при поступлении любого количества единиц хранения (хранилище тогда будет заполнено) будет отгружена одна единица хранения. Вероятность этого

Итак, переходная матрица имеет вид:

В соответствии с переходной матрицей запишем систему уравнений (4.7.1) для вычисления стационарных вероятностей:

Это система линейных однородных уравнений. Вместо любого из уравнений можно взять условие нормировки Тогда получится система линейных неоднородных уравнений. Решая эту систему любым способом (по формулам Крамера, по методу Гаусса и т.д.) получим, что

Вероятность потери поступающей продукции из-за переполнения склада равна т.е. потери составят около 7%. Вероятность полного приема на хранение равна

Вероятность отгрузки в требуемом объеме равна

Ответ.  0,9275; 0,9153.

Полумарковские процессы

Случайный процесс конечным числом состояний называется полумарковским процессом (ПМП), если время пребывания процесса в каждом из состояний случайно и зависит только от этого состояния и от того, в какое состояние затем перейдет процесс.

Пусть – возможные состояния процесса. Чтобы задать ПМП необходимо указать:

1. матрицу вероятностей переходов
2. матрицу функций распределения – функция распределения времени пребывания процесса в состоянии при условии, что следующим состоянием будет
3. начальное распределение (например, при – это означает, что процесс начинается из состояния Е₁).

Заметим, что марковский процесс с непрерывным временем и конечным числом состояний можно считать ПМП, у которого время пребывания в каждом состоянии распределено показательно. Марковскую цепь можно рассматривать в непрерывном времени как ПМП, у которого время пребывания в каждом состоянии равно 1.

Практический интерес представляют многие характеристики ПМП:

1. среднее время достижения состояния из начального состояния;
2. среднее число попаданий в состояние за время t;
3. стационарные вероятности того, что процесс находится в состоянии .

Рассмотрим способы вычисления некоторых характеристик процесса. Если обозначить функцию распределения времени пребывания в состоянии через  то

где – среднее время пребывания в состоянии , а – математическое ожидание, соответствующее распределению

Обозначим через – среднее время до первого попадания из состояния в состояние Легко видеть, что

или

Откуда в силу (4.8.1) получаем систему уравнений для определения 

Аналогично можно провести рассуждения о среднем времени пребывания процесса в множестве состояний M. Обозначим через среднее время пребывания процесса в множестве состояний M, если это пребывание началось из состояния Можно показать, что

В заключение приведем частичную формулировку одной из важных теорем о ПМП.

Теорема Пайка (Pyke). Стационарные вероятности пребывания процесса в состояниях  равны 

где – финитные вероятности вложенной марковской цепи, – среднее время пребывания в состоянии , а – стационарные вероятности состояний.

Пример 4.39.

Пусть устройство состоит из трех однотипных приборов. В момент времени t=0 начинает работу прибор №1, который спустя случайное время Т₁ выходит из строя. В этот момент начинает работу прибор №2, длительность безотказной работы которого равна Т₂, и начинается ремонт прибора № 1, причем время ремонта равно  Если то в момент времени начинает работу прибор №1, а прибор №2 поступает на ремонт. Если же то начинает работать элемент №3, а вышедшие из стоя приборы продолжают ремонтироваться в порядке очереди с той же интенсивностью, и т.д. Устройство отказывает, если все три прибора выходят из строя. Предположим, что величины и независимы и имеют соответственно функции распределения и . Вычислим среднюю длительность безотказной работы системы (или «наработку на отказ»).

Пусть – количество работоспособных приборов в момент времени t. Система начинает работу при трех работоспособных приборах, поэтому при t=0 имеем , а в момент, когда , устройство выходит из строя. Одна из возможных реализаций процесса изображена на рис. 4.8.1

Процесс не марковский. Вложим в этот процесс марковскую цепь, а вместе с нею и полумарковский процесс следующим образом: при  а далее равно состоянию процесса после последнего перед t выхода из строя прибора.

Для процесса в моменты переходов из состояния в состояние имеем вероятности переходов

Остается вычислить среднюю длительность пребывания системы в множестве состояний при условии, что функционирование системы начинается из состояния , т.е. наработка на отказ равна . Последнюю величину можно найти из системы уравнений, которая согласно (4.8.2) имеет вид:

С учетом значений вероятностей переходов и того, что математические ожидания получаем

Ответ.  

Пример 4.40.

В одноканальную систему с потерями поступает простейший поток требований интенсивности Времена обслуживания независимы и каждое имеет некоторое распределение В любой момент времени обслуживающий прибор может отказать. Если прибор свободен, то время его безотказной работы в этом состоянии имеет показательное распределение с параметром . Время безотказной работы прибора, занятого обслуживанием, тоже имеет показательное распределение, но с параметром . Отказавший прибор тотчас начинают ремонтировать и время восстановления имеет распределение . При отказе прибора обсуживаемое требование теряется, а новые требования не принимаются до окончания ремонта. Все названные величины стохастически независимы. Необходимо найти среднее время пребывания системы в отказном состоянии.

Решение. Будем различать состояние E₀, в котором обслуживающий прибор исправен и свободен, состояние E₁, в котором прибор обслуживает требование, состояние E₂, в котором прибор неисправен и ремонтируется. Пусть – состояние системы в момент времени t. Процесс q t( ) является полумарковским. Назовем его характеристики.

1. Переходные вероятности:

(того, что требование поступит в свободную систему ранее, чем прибор выйдет из строя)

(того, что время обслуживания меньше времени безотказной 354 работы занятого прибора) 

Итак, переходная матрица имеет вид: 

Запишем уравнения для финитных вероятностей вложенной цепи:

Из первого и второго уравнений следует, что Поэтому из условия нормировки получаем, что

2. Вычислим теперь среднее время пребывания в каждом из состояний. Время пребывания в состоянии E₀ равно минимальному из времени паузы и времени безотказной работы свободного прибора. Пусть X – время пребывания в состоянии E₀, X₀ – время безотказной работы в ненагруженном состоянии, а X₁ – время до прихода ближайшего требования. Тогда X имеет функцию распределения

Это показательный закон распределения с параметром Поэтому среднее время пребывания в состоянии E₀ равно Время пребывания в состоянии E₁ равно минимуму времени обслуживания и времени выхода из строя занятого прибора. Поэтому

 

Это равенство получается из следующих соображений. Если X – неотрицательная случайная величина с функцией распределения то

в этом можно убедиться, взяв по частям интеграл в правой части равенства.

Пусть T – время пребывания системы в состоянии E₁, V – время обслуживания, W – время безотказной работы прибора в занятом состоянии. Тогда Так как а то

Время пребывания в состоянии E₃ равно времени ремонта. Поэтому

Доля времени пребывания в отказном состоянии равна стационарной вероятности состояния E₂. По формуле (4.8.4) эта стационарная вероятность равна

Ответ. 

Задачи с решением на случайные процессы

Поток требований называется простейшим, если интервалы времени между последовательными моментами прихода требований независимы и имеют показательный закон распределения.

Заметим, что в показательном законе распределения наиболее вероятны малые значения случайной величины. Это означает, что часто будут реализовываться малые интервалы между требованиями и редко – большие. Для наблюдателя это будет выглядеть как локальные сгущения требований и локальные разряжения. Тем самым подтверждается бытующее представление о «полосе везения» и «полосе невезения». Действительно, случайные события, даже будучи независимыми, имеют свойство группироваться во времени.

Задача 5.1 (о времени ожидания).

Отметим одну особенность простейшего потока, связанную с «парадоксом времени ожидания». Предположим сначала, что к остановке с равными интервалами подходят автобусы (поток автобусов детерминированный). Пассажир в случайный момент времени приходит на остановку и ожидает ближайшего по времени автобуса. Каково среднее время ожидания пассажира?

Решение. Пусть интервал между автобусами равен t. Так как равновозможно любое значение времени ожидания Х в пределах от 0 до , то среднее время ожидания равно

Пусть теперь моменты прибытия автобусов на остановку образуют простейший поток интенсивности Так как интервалы между последовательно приходящими автобусами имеют показательный закон распределения, то средний интервал между прибытиями автобусов будет равен

Интеграл можно взять по частям. Поэтому 

Плотность вероятности того, что момент прихода пассажира придется на интервал между автобусами длины , имеет вид

Согласно (5.1) при интервале между автобусами длиной х среднее время ожидания равно . Поэтому среднее время ожидания в случае простейшего потока равно

(последний интеграл дважды берется по частям). Итак, при регулярном потоке среднее время ожидания равно половине интервала между прибытиями автобусов. При чисто случайном потоке автобусов среднее время ожидания совпадает со средним интервалом между автобусами.

Заметим, что среднее время ожидания пассажира может быть значительно больше среднего интервала между автобусами. Например, пусть автобусы приходят по расписанию, но такому, что сначала подряд с интервалами в две минуты проходят пять автобусов, а шестой приходит через 50 минут. Тогда средний интервал будет равен мин.

Пассажир может с вероятностью 1/5 попасть на череду коротких интервалов между автобусами и среднее время ожидания для него будет равно 1 мин. На большой интервал можно попасть с вероятностью 5/6 и тогда среднее время ожидания будет 25 мин. Поэтому среднее время ожидания равно мин. Минимальным среднее время ожидания будет при регулярном потоке автобусов при равных интервалах между ними.

Проведем рассмотрение в общем случае. Момент, начиная с которого мы начинаем наблюдать поток событий, можно считать случайной точкой на оси времени t. Пусть в потоке событий интервалы между соседними событиями независимы и имеют одинаковые функции плотности вероятности (такие потоки называют потоками Пальма).

Найдем плотность вероятности длины того интервала , на который попала случайная точка t. Понятно, что шансы точкой попасть в длинный интервал больше, чем в короткий. Поэтому сам факт попадания случайной точки t на интервал меняет его распределение. Рассмотрим

Чтобы вычислить эту вероятность, предположим, что имеем дело с большой серией из n интервалов. Среднее число интервалов, имеющих длину в пределах от до равно а средняя длина суммы таких интервалов равна Средняя же длина всех n интервалов равна Поэтому 

При получается точное равенство, из которого следует:

Средняя длина интервала, в который попала точка, равна

Так как  то 

Например, для показательного закона распределения интервалов (для простейшего потока событий интенсивности поэтому и

График этой функции плотности вероятности изображен на рис. 5.1. Если для показательного закона распределения наиболее вероятны малые значения, то для вероятности смещены в сторону больших значений.

Пусть и соответственно функция распределения и функция плотности вероятности интервала X между моментами появления соседних событий. Предположим, что с момента появления последнего события уже прошло время t. Найдем распределения оставшейся части интервала, которую обозначим через R:

откуда 

Задача 5.2 (о наилучшем выборе)

Имеется n однородных предметов различного качества, причем заранее о предметах ничего не известно. Предметы можно выбирать наугад по одному и обследовать. Если качество предмета нас не устраивает, то выбираем очередной предмет, но к отвергнутому предмету вернуться нельзя. Какой стратегии следовать, чтобы вероятность выбрать наилучший предмет была наибольшей? (Эту задачу называют еще задачей о разборчивой невесте. К невесте последовательно сватаются n женихов. Жених, получивший отказ, повторно не сватается.)

Решение. Поскольку качество этих предметов нам неизвестно, то для начала необходимо получить представление о том, чего следует ожидать. Рассмотрим следующий порядок действий: Просмотрим предметов и отвергнем их, не взирая на качество. Затем остановим свой выбор на первом предмете, который окажется лучше всех ранее просмотренных.

Вычислим вероятность выбрать наилучший предмет при таком образе действий, а затем определим оптимальное значение .

Обозначим через – событие, состоящее в том, что наилучшим является й предмет и при этом наилучший из первых k предметов находится среди первых предметов (последнее условие гарантирует нам, что дело дойдет до выбора го предмета.). Тогда 

Выберем число s между 0 и 1 и пусть – наибольшее целое число, меньшее, чем ns. Определим при наилучшее значение s (наилучшее в смысле максимизации исследуемой вероятности). Заметим:

Найдем максимальное значение функции По необходимому условию экстремума  – критическая точка. В этой точке функция имеет максимум так как в этой точке

Итак, оптимальная стратегия рекомендует просмотреть примерно треть предметов (точнее, ) и затем остановить свой выбор на первом предмете лучшем, чем все ранее просмотренные. Не исключено, что лучший предмет уже был просмотрен в первой трети предметов, и отвергнут. Тогда придется остановиться на последнем из предметов. Еще раз подчеркнем, что предлагаемая стратегия не гарантирует выбор наилучшего предмета, но делает его выбор наиболее вероятным.

Задача 5.3.

Вы принимаете участие в телеигре, и Вам предлагают выбрать одну из трех шкатулок, в одной из которых лежат деньги. Вы выбрали некоторую шкатулку (например, шкатулку №1). Ведущий после этого открывает одну из двух других шкатулок (например, шкатулку №3), показывает, что она пуста, и спрашивает: не желаете ли Вы изменить свое решение и выбрать шкатулку №2? Следует ли Вам менять свое решение или нет?

Решение. Будем полагать, что ведущий знает, где деньги лежат, и поэтому открывает именно пустую шкатулку. Насчет шкатулки с деньгами есть три одинаково вероятных предположения: – деньги находятся в й шкатулке,

Событие A состоит в том, что Вы выбрали шкатулку №1, а ведущий открыл шкатулку №3. При пустой третьей шкатулке в силу симметрии Ваши шансы на выигрыш равны 1/2.

Если деньги действительно находятся в первой шкатулке, то ведущий с вероятностью 1/2 откроет именно шкатулку №3. Поэтому

Если деньги находятся во второй шкатулке, то ведущий с вероятностью 1 откроет именно шкатулку №3

Если деньги в третьей шкатулке, то вероятность выбора ведущим третьей шкатулки нулевая

По формулам Байеса 

Если ведущий не знает где деньги лежат, то и тогда

Итак, игроку предварительно следует осведомиться у ведущего, знает ли он где деньги лежат. При положительном ответе следует изменить свой выбор. Если ведущий не знает, в какой шкатулке деньги, то менять выбор смысла нет.

Задача 5.4.

Производитель некоторой продукции затеял рекламную акцию. Объявлено, что в каждый пакет продукта заложен один из n различных типов жетонов. Покупатель, собравший все n типов жетонов, получает дисконтную карту для длительных скидок на этот продукт. Сколько в среднем пакетов продукта придется купить, чтобы собрать полный комплект из n различных жетонов?

Решение. Понятно, что по мере накопления жетонов, шансы найти новый жетон в очередном пакете убывают. Обозначим через – число пакетов, которые придется купить после обретения -го жетона, чтобы найтий жетон. Тогда общее число купленных пакетов

А математическое ожидание этого числа равно 

Вероятность того, что для поиска второго жетона придется вскрыть k пакетов, равна

(имеется в виду, что раз попадутся пакеты с уже обретенным жетоном и k-й по счету жетон с вероятностью - будет содержать жетон нового типа). Соответственно

Известно, что это геометрический закон распределения. Но для геометрического закона распределения: среднее значение равно

В нашем случае для вероятность Поэтому В итоге

или

Например, при имеем

В заключение можно заметить, что при больших n можно воспользоваться асимптотической формулой

Приложения

Таблица П.1

Таблица значений функции 

Таблица П.2

Таблица значений функции 

Таблица П.3

Значения удовлетворяющие равенству где – плотность вероятности распределения Стьюдента с n–1 степенью свободы

Таблица П.4

Значения удовлетворяющие равенству , где – плотность распределения «хи-квадрат» с степенями свободы

Таблица П.5

Значения функции (распределение Пуассона)

Определение случайных процессов

Элементы теории случайных процессов:

Пусть задано вероятностное пространство , где  - пространст­во элементарных событий, F -  -алгебра событий, Р - вероятностная мера.
Рассмотрим функцию  двух аргументов, где  элемент  и t - свободный аргумент, обычно время.
 

Случайным процессом называется случайная величина , заданная на вероятностном пространстве  Так как параметр t интерпретиру­ется как время, то если t = (0,1,2,...), то говорят что  - процесс с дис­кретным временем', если  - процесс с непрерывным временем.
 

Пусть  приняло какое-то конкретное значение  Тогда  будет функцией только аргумента t и называется реализацией случайного процесса. Другими словами, реализация - это тот вид, который принимает случайный процесс в результате какого-то конкретного опыта (рис. 13.1). В каждом опыте наблюдается своя реализация  случайного процесса (СП). Сово­купность реализаций  носит название ансамбля. Значение случайного процесса в некоторый момент времени t называется отсчетом.

Рассмотрим отсчет  случайного процесса x(t) в момент времени  (см. рис. 13.1).

Если нас интересует только  то это будет одномерная случайная величина, свойства которой полностью описываются одномерной плотностью рас­пределений  Отметим, что в отличие от теории вероятностей  зависит не только от  но и от  Одномерная плотность распределения  дает некоторое представление о свойствах случайного процесса, но не полное.

Более подробное представление о случайном процессе получается, если рассматривать два отсчета , берущихся в моменты времени   И характеризовать их двумерной плотностью распределения:  Тогда мерная плотность распределения запишется так:

                                             (13.1)

Чем больше берется отсчетов и чем ближе они расположены друг к другу, тем подробнее описывается случайный процесс.

В пределе, когда мы получаем совершенно точное представление о свойствах случайного процесса, т. е. случайный процесс описывается полностью, если задать все для всех  и всех

Числовые характеристики случайного процесса

При экспериментальном получении случайного процесса можно сравнительно легко указать  трудно узнать  а измерить плотность распределения более высокого порядка практически невозможно. Поэтому на практике ограничиваются изучением некоторых характеристик случайного процесса, менее полных, но все же дающих представление об его основных свойствах.
 

Математическое ожидание случайного процесса (среднее по ансамблю) вводится следующим образом:

В отличие от теории вероятностей  не число, а функция от времени.
Оно дает некоторую кривую, около которой группируются все реализации случайного процесса (рис. 13.2).

Дисперсия случайного процесса (средняя по ансамблю):
                                       (13.3)

Дисперсия определяет, насколько сильно отдельные реализации могут отклоняться от математического ожидания. В отличие от теории вероятностей это также не число, а функция времени.

Функция корреляции случайного процесса (средняя по ансамблю)'.
                                    (13.4)

Эта функция является важнейшей характеристикой случайного процесса.
Функция корреляции характеризует степень зависимости между отсчетами случайного процесса, взятыми в разные моменты времени.

Наряду с  употребляется еще одна функция корреляции - это функ­ция корреляции флуктуаций'.
(13.5)
 

И нормированная функция корреляцию.
                                           (13.6)

Последняя ничем по смыслу не отличается от коэффициента корреляции и определяет степень линейной зависимости отсчетов случайного процесса в моменты времени

Стационарные случайные процессы

Случайный процесс называется стационарным в узком смысле, если для любых  и любых целых  имеет место равенство
                 (13.7)

Смысл определения в следующем.

В левой части равенства стоят отсчеты, берущиеся в моменты времени  и плотность распределений  полностью описывает свойства случайного процесса в моменты времени  В правой части равенства стоят отсчеты, берущиеся в моменты времени  и соответствующая плотность распределений  описывает свойства случайного процесса в эти сдвинутые моменты времени. Равенство этих плотностей распределений означает, что свойства случайного процесса одинаковы как в моменты времени  , так и в моменты времени  Таким образом, стационарность в узком смысле означает, что все свойства, характеристики и т. п. случайного процесса не зависят от начала отсчета времени. Грубо говоря, какими свойствами обладает случайный процесс сегодня, такие же свойства он имел год тому назад и такие же свойства он будет иметь через 1000 лет. Но реально это несколько не так. Все меняется, но нас интересуют отрезки времени, малые по сравнению со временем существования самого процесса.
 

Следствия стационарности:

1. Предположим в (13.7) , получим

Поскольку  произвольно, то полагая  получим:

Поэтому

 Отметим, что у стационарных случайных процессов математическое ожидание, дисперсия и плотность распределения от времени не зависят и D - числа, плотность распределения  - функция только от

 2. Полагая в (13.7)  = 2 и  = получим

Тогда функция корреляции принимает вид

Видим, что у стационарных случайных процессов функция корреляции зависит лишь от разности  моментов времени, т. е. является функцией одного аргумента.
 

Случайный процесс называется стационарным в широком смысле, если его математическое ожидание и дисперсия от времени не зависят, а функция корреляции зависит лишь от разности моментов времени

На рис. 13.3 показан вид стационарного случайного процесса.

Числовые характеристики случайного процесса - средние по времени

Ранее мы рассмотрели числовые характеристики случайного процесса, средние по ансамблю, общий вид которых
(13.8)
Они называются средними по ансамблю потому, что фиксируются моменты времени  и перебираются все возможные значения , т. е. весь ансамбль реализаций случайного процесса, на рис. 13.4 жирной линией
изображены Кривые плотностей распределений  в моменты времени

Для стационарных случайных процессов кроме средних по ансамблю можно ввести еще так называемые средние по времени. В общем виде среднее по времени представляет собой:

Характерным для средних по времени является то, что фиксируются реализации, а «перебираются» все моменты времени. В средних по времени характерно также отсутствие плотности распределения т. к. для стационарных процессов все моменты времени равноправны.

Тогда числовые характеристики средние по времени определяются так:

1. Математическое ожидание случайного процесса среднее по времени:
                         (13.10)

2. Дисперсия случайного процесса средняя по времени:
                               (13.11)

3. Функция корреляции, средняя по времени (в ней фигурирует произведение значений случайного процесса в два различных момента времени  и ). Учитывая, что усредненная величина имеет вид , получим
                        (13.12) 

Свойства функций корреляции случайного процесса

1. Функция корреляции является симметричной функцией:

Для стационарного случайного процесса - четная функция:

2. Функция корреляции - ограниченная функция. Воспользуемся неравенством

Шварца (неравенство Коши-Буняковского):
                                      (13.13)
Обозначим отсчеты, как  и подставим в (13.13):

 С учетом определения (13.4), получаем

Тогда

 Когда  получаем:

3. Для стационарного случайного процесса дисперсия и математическое ожидание могут быть получены через функцию корреляции: 

Откуда следует, что
.
Найдем дисперсию:

Если рассматривать функцию корреляции флуктуаций (13.5), то

4. Функция корреляции является положительно определенной функцией.

Рассмотрим моменты времени , и произвольные величины  поскольку:

вычисляя математическое ожидание, получим

 

Следствие: для любой положительно определенной функции можно построить такой случайный процесс, для которого  будет функцией корреляции.

5. Время корреляции для стационарного случайного процесса определяется как
                                       (13.14)

Время корреляции определяет, насколько далеко по времени наблюдается корреляционная связь между отсчетами в случайном процессе.

6. При изучении реальных случайных процессов для  используют следующие аппроксимации:

Зависимость  приведена на рис. 13.5.

Зависимость  приведена на рис. 13.6.

Эргодические случайные процессы

Случайный прогресс называется эргодическим, если для него временные средние с вероятностью, равной 1, совпадают с соответствующими средними по ансамблю:

Эргодическим может быть только стационарный случайный процесс, но не всякий стационарный случайный процесс может быть эргодичен. Эргодичность имеет большое значение: она позволяет заменить изучение ансамбля реализаций изучением одной длинной реализации, т. к. каждая реализация (у эрго­дического случайного процесса) с вероятностью 1 имеет те же характеристики, что и весь ансамбль.

Спектр мощности случайного процесса

Из курса математического анализа известно, что любая достаточно гладкая функция, квадрат которой интегрируем меньшая  может быть пред­ставлена в виде интеграла Фурье (прямое и обратное преобразование Фурье):
                                  (13.15)
                              (13.16)

где  - спектр функции , причем

 - амплитудный спектр и

 - фазовый спектр функции x(t) .
Для стационарного случайного процесса поэтому преобра­зование Фурье можно ввести так: определим урезанный случайный процесс 

Тогда  и для процесса  можно написать  разложение в интеграл Фурье:

Рассмотрим величину  . В большинстве физических формул  - величина пропорциональна энергии случайного процесса на интервале а величина W имеет смысл средней мощности случайного процесса.

ее свойство: 

                  (13.19)
Обозначим  -эта функция называется спектром мощности случайного процесса.
 

Тогда запишем среднюю мощность так:
                         (13.20)
где  - мощность, выделяемая случайным процессом в полосе частот

Спектр мощности не является независимой характеристикой случайного процесса. Спектр мощности  можно связать с функцией корреляции  эту связь определяет следующая теорема, изложенная в разделе 13.8.

Теорема Винера-Хинчина

Эта теорема устанавливает связь между спектром мощности и функцией корреляции. Запишем функцию корреляции (13.12) через урезанный случайный процесс:

комплексная величина, поэтому запишем  в виде комплексно сопряженных величин, используя (13.17):  и учтем сопряженную вели­чину

                                (13.21)

Таким образом, видим, что функция корреляции является прямым преобразованием Фурье от спектра мощности
                 (13.22)

Тогда спектр мощности определится через обратное преобразование Фурье:

                          (13.23)
Запишем спектр мощности через тригонометрические функции, используя формулу Эйлера:

                                       (13.24)

Последний интеграл в (13.24) равен нулю, т. к.  четная функция. Тогда
              (13.25)

Отсюда следует, что спектр мощности  также четная функция. С учетом выше сказанного перепишем функцию корреляции (13.22):

                                    (13.26)

В формулы (13.25), (13.26) входит круговая частота   линейная частота. Перепишем эти формулы через линейную частоту, вводя обо­значения  Тогда
                    (13.27)
                     (13.28)

В этих формулах фигурируют отрицательные частоты от  до 0, т. к. они ничем не отличаются от положительных, то часто рассматривают только частотный интервал  и определяют  так:

                         (13.29)

где  - только для

В (13.29) мощность отрицательных частот прибавили к мощности поло­жительных, тогда
                 (13.30)

 (13.31) 

Если вместо  взять функцию корреляции флуктуаций, то получится спектр мощности флуктуаций:
                                              (13.32)

                                                   (13.33)
 

Соотношение неопределенности для стационарных случайных процессов

Шириной спектра случайного процесса называется величина

Время корреляции

Умножая (13.34) на (13.35) получаем

Подставляя в круговую частоту, получим  и окончательно
                                       (13.36)

Разложение случайного процесса в ряд Котельникова

Пусть  - функция корреляции случайного процесса  Учитывая, что  можно записать  Здесь функция корреляции зависит от момента времени , поэтому запишем функцию корреляции как функцию двух аргументов . Тогда на основании теоремы Винера- Хинчина можно записать

Теорема: Если  для всех  при , то имеет место разло­жение

                                         (13.38)

где  - отсчет случайного процесса в момент времени
На рис. 13.7 показана заштрихованная область частот, для которой спектр мощности

Доказательство:

Предположим, что спектр мощности является периодической функцией с периодом  Тогда спектр мощности можно представить в виде ряда Фурье:

                          (13.39)
Коэффициенты  определяются как

Подставим  в (13.39):

Определим функцию корреляции, используя (13.37):

Поскольку функция корреляции симметрична, то можно записать

Докажем основное положение теоремы. Используем следующее опреде­ление сходимости: Последовательность случайных величин сходится к случайной величине X в среднем квадратическом, если  Это определение заложено в основу метода наименьших квадратов.

Используя (13.38), можно записать

что и является доказательством нашей теоремы.

Классификация случайных процессов

Ранее, в разделе 13.1 мы отмечали, что все случайные процессы делятся на два основных класса: прогрессы с дискретным временем и процессы с непрерывным временем. После описания вероятностных характеристик случайного процесса, в частности мерной плотности распределения (раздел 13.1), мы да­лее ввели следующее разделение случайных процессов с учетом ограничений их вероятностных характеристик: стационарные в узком смысле и стационарные в широком смысле (раздел 13.3). Затем для стационарных случайных процессов в узком смысле мы ввели понятие эргодических случайных процессов (раздел 13.6). Далее мы рассмотрели энергетические характеристики случайных процессов, в частности спектр мощности случайного процесса (раздел 13.7).

Иногда стационарные случайные процессы классифицируют по спектральным
характеристикам: различают стационарные случайные процессы в широком смысле - узкополосные, когда спектр мощности сосредоточен в узкой полосе частот возле определенной фиксированной частоты  В разделе 13.9 мы вве­ли понятие ширины спектра  если  то стационарный случайный процесс будет называться узкополосным. На рис. 13.8 изображен узкополосный спектр мощности  случайного процесса. На рис. 13.9 функция корреляции узкополосного случайного процесса.

 

 Из рис. 13.9 видим, что функция корреляции узкополосного случайного процесса - это быстро осциллирующая функция с частотой  но с медленно меняющейся огибающей. Ширина спектра  и время корреляции определяются правыми частями формул (13.34) и (13.35).

Следующим классом будут стационарные в широком смысле случайные процессы - широкополосные. Здесь спектр мощности сохраняет постоянное значение  на всех частотах (рис. 13.10):
 (13.41)

Тогда стационарный в широком смысле случайный процесс с равномер­ным спектром мощности на всех частотах называется белым шумом. Функ­ция корреляции белого шума представляет собой 5-функцию, расположенную в начале координат, (рис. 13.11):

 

Для белого шума характерно то, что два его отсчета, взятые в сколь угод­ но близкие моменты времени, некоррелированы. Однако на практике белый шум реализовать невозможно, т. к. полная мощность белого шума бесконечна, а реальные случайные процессы имеют конечную мощность. И для реального случайного процесса рядом стоящие отсчеты коррелированы. Поэтому белый шум используют в качестве математической модели случайного процесса, что позволяет упростить анализ прохождения через линейные радиотехнические устройства с конечной полосой пропускания. Отметим, что любой случайный процесс, у которого спектр мощности сохраняет постоянное значение в некоторой полосе частот, может рассматриваться как белый шум. Но таких случайных процессов в природе не существует. Тем не менее такая модель случайного процесса оказывается удобной для анализа различных радиотехнических систем.

Еще одной моделью случайных процессов, которая находит широкое применение в приложениях теории случайных процессов, являются марковские случайные процессы.

Марковские случайные процессы

Марковские случайные процессы делятся на четыре основных типа в зависимости от того, какое множество значений (дискретное или непрерывное) принимает случайный процесс  и его параметр t в области задания процесса  .марковские цепи (дискретный процесс с дискретным временем), .марковские последовательности (непрерывный процесс с дискретным временем), дискретный .марковский процесс (дискретный процесс с непрерывным временем), непрерывнозначный .марковский процесс
(непрерывный процесс с непрерывным временем). Ниже в таблице приведены временные реализации для этих процессов.

Марковскими процессами называются такие, в которых будущее не зависит от прошлого, а определяется только настоящим.
 

Цепи Маркова

Пусть некоторая физическая система может находиться в состояниях  и переходить случайным образом из состояния в состояние в фиксированные моменты времени Эволюция системы образует дискретную цепь Маркова с дискретным временем, если выполняется следующее условие (13.43) (условная вероятность в состояниив момент времени  опре­деляется при условии, что в момент система была в состоянии  ): 

Дискретной цепью Маркова называется такой случайный процесс, в котором вероятность того, что система окажется в некотором состоянии  в момент времени , зависит лишь от того, в каком состоянии находилась система в предыдущий момент времени  и не зависит от эволюции систе­мы до момента времени 

Можно отметить, что в цепях Маркова зависимость между состояниями простирается лишь на один шаг назад.

Введем понятие переходной вероятности - это вероятность перехода системы из одного состояния в другое:

Если  со временем не меняется, т. е. от не зависит, то цепь Маркова называют однородной. Рассмотрим свойства таких цепей. Переходные вероятности однородной цепи Маркова образуют матрицу переходных вероятностей.

                                (13.45)

Свойства матрицы переходных вероятностей:

1.

2. Сумма по строке -  - количество состояний.

Матрицы, удовлетворяющие этим свойствам, называются стохастическими. Величины  дают вероятности перехода из состояния  в состояние  за один шаг. Заметим, что здесь  - вероятность того, что система, перешедшая к данному шагу в состоянии  , в нем же и задерживается на очередном шаге.
 

Вероятность перехода за  шагов. Рассмотрим вероятность перехода из состояния , которое реализовано в  испытании, в состояние  за  шагов, т. е. в состояние  испытании. Эта вероятность зависит только от (и не зависит от ). Обозначим ее  Тогда  - вероятность перехода за  шагов из состояния в состояние  - вероятность перехода за  шагов из состояния - (рис. 13.12). Используя формулу полной вероятности и учитывая, что промежуточные состояния  испытании образуют полную группу попарно несовместимых событий, получим
    (13.46)

Формула Маркова для цепей

Обозначим через , матрицу, составленную из вероятностей  таким образом - матрица перехода через  испытаний. Используя формулу для перемножения квадратных матриц (13.46), можно записать в матричном виде:
                               (13.47)
Применяя последовательно формулу (13.47), получим

Можно ожидать, что при переходах в п шагов влияние начального распределения с ростом  должно ослабевать в том смысле, что  при  независимо от . То есть если существует предел  то это свойство цепей Маркова называется эргодичностью.
Пусть  - вероятность того, что в  испытании осуществится событие , назовем  - абсолютной вероятностью.

Пусть существует предел
                            (13.48)
 

Тогда говорят, что существует предельное, финальное, распределение веро­ятностей  состояний  , не зависящее от начального распределения . Финальные вероятности удовлетворяют следующей системе уравнений:

 

Пример №8

Дана цепь Маркова, которая описывается матрицей переходных вероятностей

(сумма вероятностей по строке равна 1).

Необходимо определить вероятность  системы в 1-м состоянии.
 

Решение.

Запишем вероятность перехода за  шагов, применяя формулу (13.46), получим для

Обозначая  , запишем вероятность перехода за  шагов в новых переменных:

Учтем, что  - сумма геометрической прогрессии, тогда

Найдем предел при

Тогда искомая вероятность вычисляется так:

Марковские процессы с непрерывным временем

Случайный процесс X(t) называется марковским, если для любого момента времени  при известном значении  случайные величины  не зависят от случайных величин  т. е. марковские процессы характеризуются тем, что вероятностные свойства процесса в момент  определяются состоянием в момент  и не зависят от состояний процесса до момента

Среди марковских процессов с непрерывным множеством состояний наиболее важными являются процессы, которые имеют -мерную плотность рас­пределения. Если  - случайный процесс, , то пусть для каждого набора моментов времени мерная случайная величина  имеет  мерную плотность распределения  Эта плотность обладает следующими свойствами:

1.  симметрична относительно любых перестановок пар аргументов  т. к. выражает вероятность совместного осуществления событий  и, значит, не зависит от порядка их перечисления.

2. Плотность любого мерного распределения при  определятся с помощью мерного распределения:

                     (13.49)

Условная вероятность для марковского процесса 

Поскольку вероятностные свойства процесса в момент  определяются состоянием в момент и не зависят от протекания процессов в предшествующие моменты времени, тогда условная плотность распределения

                    (13.51)

Условную плотность распределения  называют переходной плотностью распределения в состояние  при условии, что процесс находится в состоянии

Зная, что  для условной плотности распределения

                                    (13.52)

Учитываем свойство марковских цепей:

                                                (13.53)

Тогда  и применяя эту формулу в правой части для  а затем для , получим
                                            (13.54)

Отсюда видно, что для задания мерной плотности распределения марковского процесса достаточно знать лишь две функции: одномерную плотность  и переходную плотность распределения .

Рассмотрим 3 момента времени:  Согласно (13.54), имеем
                             (13.55)

                                             (13.56)

Используя (13.49) для  , получим
                                        (13.57)

Подставляя в (13.57) уравнения (13.55) и (13.56), получим

Это уравнение Смолуковского (или Колмогорова-Чепмена) является основным в теории непрерывных марковских процессов.

Уравнения Колмогорова

Введем следующие обозначения:

Запишем переходные вероятности через уравнение Смолуковского в моменты
                                (13.59)

                                       (13.60)
Вычтем из формулы (13.60) формулу (13.59):

                                    (13.61)
Разложим в ряд Тейлора функцию

Подставляя это разложение в интеграл (13.61), разделим левую и правую часть на  и перейдем к пределу при
                            (13.62)

                (13.63)

Это первое уравнение Колмогорова, где
             (13.64)

              (13.65)

Аналогично выводится втрое уравнение Колмогорова:

                  (13.66)

Здесь - те же функции, что и  (13.64) и  (13.65), но взятые для

Непрерывный марковский процесс, который описывается уравнениями (13.63) и (13.66) называется диффузионным. Коэффициент  называется коэффициентом сноса, а коэффициент  - коэффициентом диффузии.
Уравнение (13.66) называется прямым уравнением Колмогорова, а уравнение (13.63) называется обратным уравнением Колмогорова. Уравнения Колмогорова относятся к классу параболических дифференциальных уравнений в частных производных.