Понятие случайного процесса. Стационарные случайные процессы

Сибирский Государственный Университет Телекоммуникаций и Информатики

Кафедра РТС

Реферат по дисциплине «Теория электрической связи» на тему:

«Случайные процессы».

Выполнил: студент группы …

Принял: Криволапов Геннадий Илларионович

Новосибирск 2002

1. Случайные процессы и их характеристики

2. Определение одномерной функции распределения вероятностей случайных процессов.
Случайные процессы и их характеристики.

Детерминированное, т. е. заранее известное сообщение не содержит информации. Поэтому в теории связи источник сообщения следует рассматривать как устройство, осуществляющее выбор из некоторого множества возможных сообщений. Каждая конкретная реализация сообщения возникает с определённой вероятностью, которая в общем случае зависит от того, какие сообщения передавались раньше. Точно так же и посылаемая в канал реализация сигнала является элементом некоторого множества, выбираемого с определённой вероятностью. Множество, на котором задана вероятностная мера, называют ансамблем. Ансамбли сообщений и сигналов могут быть конечными (в дискретном случае) или бесконечными.

Ансамбль

функций времени является случайным процессом.

Случайными процессами называются такие процессы, которые математически описываются случайными функциями времени. Случайной называется функция, значения которой при каждом значении аргумента являются случайными величинами.

Случайная функция времени

, описывающая случайный процесс, в результате опыта принимает ту или иную конкретную форму , неизвестную заранее. Эти возможные формы случайной функции называются реализациями случайного процесса.

Мгновенные значения случайного процесса в фиксированный момент времени t i являются случайными величинами и называются сечением случайного процесса.

Статистические свойства случайного процесса

как множества (ансамбля) реализации , характеризуются законами распределения, аналитическими выражениями которых являются функции распределения.

Для некоторого фиксированного момента времени t i одномерная функция распределения

определяет вероятность того, что мгновенное значение случайного процесса в этот момент времени примет значение, меньшее или равное X, то есть вероятность того, что

В общем случае скалярный процесс X(t) полностью задан, если для любого набора моментов времени

и любых значений можно вычислить вероятность того, что X(t) принимает в указанные моменты времени значения, не превышающие соответственно . . называется n-мерной функцией распределения вероятности процесса.

Если существует частная производная функции распределения по x i , то можно определить плотность распределения вероятности. Одномерная плотность распределения вероятностей случайного процесса определяется соотношением

Аналогично определяются многомерные (n-мерные) функции распределения для совокупности моментов времени t 1 , t 2 ,..,t i ,..,t n , которые более полно характеризуют случайный процесс одновременно в n сечениях, обозначаемые как

В теории связи наиболее широкое применение находят двумерные функции распределения

Во многих практических случаях для характеристики случайных процессов достаточно знать лишь его усредненные, так называемые, числовые характеристики (моментные функции). Наиболее часто используются математическое ожидание (первый начальный момент), дисперсия (второй центральный момент), ковариационная функция и корреляционная функция.

Простейшей характеристикой случайного процесса является его математическое ожидание

которое представляет собой неслучайную функцию времени, около которой различным образом располагаются отдельные реализации случайного процесса.

Математическое ожидание случайного процесса - сигналов электросвязи представляет собой постоянную составляющую.

Дисперсией случайного процесса называется неслучайная функция времени, значения которой для каждого момента времени равны математическому ожиданию квадрата отклонения случайного процесса от его математического ожидания

Дисперсия определяет степень разброса значений случайного процесса около математического ожидания.

Применительно к сигналам электросвязи дисперсия является мощностью переменной составляющей на нагрузке 1 Ом и измеряется в Ваттах.

В качестве характеристики, учитывающей статистическую связь между значениями случайного процесса в различные моменты времени, используется ковариационная функция случайного процесса

определяемая как математическое ожидание от произведения значений случайного процесса в два различных момента времени (в двух сечениях).

На практике чаще используют корреляционную функцию, которая определяется как математическое ожидание произведения центрированного случайного процесса в два различных момента времени. Центрированный процесс представляет собой только переменную составляющую.

Таким образом, числовые характеристики получаются путем усреднения соответствующей случайной величины по множеству (ансамблю) ее возможных значений. Операция усреднения по множеству обозначается прямой горизонтальной чертой сверху.

Важнейшим классом случайных процессов, встречающихся на практике, является класс стационарных случайных процессов. Случайный процесс называется стационарным в узком смысле, если его многомерная функция распределения (и, следовательно, числовые характеристики) не зависит от начала отсчета времени, т.е. от сдвига всех сечений вправо или влево на один и тот же интервал времени ∆t. При этом оказывается, что одномерная функция распределения, математическое ожидание и дисперсия вообще не зависят от времени:

а двухмерная функция распределения и корреляционная функция, и ковариационная функция зависят только от расстояния между сечениями

Иногда случайный процесс называют стационарным в широком смысле, если приведенные условия выполняются лишь для числовых характеристик. Узкое и широкое определения стационарности не тождественны. Случайные процессы, стационарные в узком смысле, всегда стационарны в широком смысле, но не наоборот.

Если приведенные выше условия не выполняются, то случайный процесс будет нестационарным. Для нестационарного процесса плотность вероятности является функцией времени. При этом со временем могут изменяться математическое ожидание, дисперсия случайного процесса или то и другое вместе.

Среди стационарных случайных процессов очень важное значение имеют так называемые эргодические процессы, для которых статистические характеристики можно найти усреднением не только по ансамблю реализации, но и по времени одной реализации продолжительностью Т. При этом числовые характеристики, полученные по одной реализации путем усреднения по времени, с вероятностью, сколь угодно близкой к единице, совпадают с соответствующими числовыми характеристиками, полученными путем усреднения по множеству (ансамблю) реализации в один момент времени. Следовательно, для эргодических процессов:

Операция усреднения по времени одной реализации обозначается волнистой линией сверху.

Существует теорема, согласно которой стационарные в узком смысле процессы при достаточно общих предположениях являются эргодическими.

Свойство эргодичности стационарных случайных процессов имеет большое практическое значение. Для таких процессов любая реализация полностью определяет свойства всего процесса в целом. Это позволяет при определении статистических характеристик случайного процесса ограничиться рассмотрением лишь одной реализации достаточно большой длительности, как это и делается в настоящей лабораторной работе при определении одномерной плотности вероятности.

Помехи в системах связи описываются методами теории случайных процессов.

Функция называется случайной, если в результате эксперимента она принимает тот или иной вид, заранее неизвестно, какой именно. Случайным процессом называется случайная функция времени. Конкретный вид, который принимает случайный процесс в результате эксперимента, называется реализацией случайного процесса.

На рис. 1.19 показана совокупность нескольких (трех) реализаций случайного процесса , , . Такая совокупность называется ансамблем реализаций. При фиксированном значении момента времени в первом эксперименте получим конкретное значение , во втором – , в третьем – .

Случайный процесс носит двойственный характер. С одной стороны, в каждом конкретном эксперименте он представлен своей реализацией – неслучайной функцией времени. С другой стороны, случайный процесс описывается совокупностью случайных величин.

Действительно, рассмотрим случайный процесс в фиксированный момент времени Тогда в каждом эксперименте принимает одно значение , причем заранее неизвестно, какое именно. Таким образом, случайный процесс, рассматриваемый в фиксированный момент времени является случайной величиной. Если зафиксированы два момента времени и , то в каждом эксперименте будем получать два значения и . При этом совместное рассмотрение этих значений приводит к системе двух случайных величин. При анализе случайных процессов в N моментов времени приходим к совокупности или системе N случайных величин .

Математическое ожидание, дисперсия и корреляционная функция случайного процесса.Поскольку случайный процесс, рассматриваемый в фиксированный момент времени, является случайной величиной, то можно говорить о математическом ожидании и дисперсии случайного процесса:

, .

Так же, как и для случайной величины, дисперсия характеризует разброс значений случайного процесса относительно среднего значения . Чем больше , тем больше вероятность появления очень больших положительных и отрицательных значений процесса. Более удобной характеристикой является среднее квадратичное отклонение (СКО) , имеющее ту же размерность, что и сам случайный процесс.

Если случайный процесс описывает, например, изменение дальности до объекта, то математическое ожидание – средняя дальность в метрах; дисперсия измеряется в квадратных метрах, а Ско – в метрах и характеризует разброс возможных значений дальности относительно средней.

Среднее значение и дисперсия являются очень важными характеристиками, позволяющими судить о поведении случайного процесса в фиксированный момент времени. Однако, если необходимо оценить «скорость» изменения процесса, то наблюдений в один момент времени недостаточно. Для этого используют две случайные величины , рассматриваемые совместно. Так же, как и для случайных величин, вводится характеристика связи или зависимости между и . Для случайного процесса эта характеристика зависит от двух моментов времени и и называетсякорреляционной функцией: .

Стационарные случайные процессы. Многие процессы в системах управления протекают однородно во времени. Их основные характеристики не изменяются. Такие процессы называютсястационарными. Точное определение можно дать следующим образом. Случайный процесс называется стационарным, если любые его вероятностные характеристики не зависят от сдвига начала отсчета времени. Для стационарного случайного процесса математическое ожидание, дисперсия и СКО постоянны: , .

Корреляционная функция стационарного процесса не зависит от начала отсчета t, т.е. зависит только от разности моментов времени:

Корреляционная функция стационарного случайного процесса имеет следующие свойства:

1) ; 2) ; 3) .

Часто корреляционные функции процессов в системах связи имеют вид, показанный на рис. 1.20.

Рис. 1.20. Корреляционные функции процессов

Интервал времени , на котором корреляционная функция, т.е. величина связи между значениями случайного процесса, уменьшается в М раз, называетсяинтервалом или временем корреляции случайного процесса. Обычно или . Можно сказать, что значения случайного процесса, отличающиеся по времени на интервал корреляции, слабо связаны друг с другом.

Таким образом, знание корреляционной функции позволяет судить о скорости изменения случайного процесса.

Другой важной характеристикой является энергетический спектр случайного процесса. Он определяется как преобразование Фурье от корреляционной функции:

Очевидно, справедливо и обратное преобразование:

Энергетический спектр показывает распределение мощности случайного процесса, например помехи, на оси частот.

При анализе САУ очень важно определить характеристики случайного процесса на выходе линейной системы при известных характеристиках процесса на входе САУ. Предположим, что линейная система задана импульсной переходной характеристикой . Тогда выходной сигнал в момент времени определяется интегралом Дюамеля:

где – процесс на входе системы. Для нахождения корреляционной функции запишем и после перемножения найдем математическое ожидание

В ряде физических и химических исследований последних десятилетий возникла потребность, наряду с одномерными и многомерными случайными величинами, рассматривать случайные процессы, то есть процессы, для которых определена вероятность того или иного их течения. Примером случайного процесса может служить координата частицы, совершающей броуновское движение. В В. т. случайный процесс рассматривают обычно как однопараметрическое семейство случайных величин Х (t). В подавляющем числе приложений параметр t является временем, но этим параметром может быть, например, точка пространства, и тогда обычно говорят о случайной функции. В том случае, когда параметр t пробегает целочисленные значения, случайная функция называется случайной последовательностью. Подобно тому, как случайная величина характеризуется законом распределения, случайный процесс может быть охарактеризован совокупностью совместных законов распределения для X (t1), X (t2),..., X (tn)для всевозможных моментов времени t1, t2,..., tn при любом n > 0. В настоящее время наиболее интересные конкретные результаты теории случайных процессов получены в двух специальных направлениях.

Исторически первыми изучались марковские процессы. Случайный процесс Х (t) называется марковским, если для любых двух моментов времени t0 и t1 (t0 < t1) условное распределение вероятностей X (t1) при условии, что заданы все значения Х (t) при t Ј t0, зависит только от X (t0) (в силу этого марковские случайные процессы иногда называют процессами без последействия). Марковские процессы являются естественным обобщением детерминированных процессов, рассматриваемых в классической физике. В детерминированных процессах состояние системы в момент времени t0 однозначно определяет ход процесса в будущем; в марковских процессах состояние системы в момент времени t0 однозначно определяет распределение вероятностей хода процесса при t > t0, причём никакие сведения о ходе процесса до момента времени t0 не изменяют это распределение.

Вторым крупным направлением теории случайных процессов является теория стационарных случайных процессов. Стационарность процесса, то есть неизменность во времени его вероятностных закономерностей, налагает сильное ограничение на процесс и позволяет из одного этого допущения извлечь ряд важных следствий (например, возможность так называемого спектрального разложения

где z (l) случайная функция с независимыми приращениями). В то же время схема стационарных процессов с хорошим приближением описывает многие физические явления.

Теория случайных процессов тесно связана с классической проблематикой предельных теорем для сумм случайных величин. Те законы распределения, которые выступают при изучении сумм случайных величин как предельные, в теории случайных процессов являются точными законами распределения соответствующих характеристик. Этот факт позволяет доказывать многие предельные теоремы с помощью соответствующих случайных процессов.

Математическими моделями случайных сигналов и помех являются случайные процессы. Случайным процессом (СП) называется изменение случайной величины во времени . К случайным процессам относится большинство процессов, протекающих в радиотехнических устройствах, а также помехи, сопровождающие передачу сигналов по каналам связи. Случайные процессы могут быть непрерывными (НСП), либо дискретными (ДСП) в зависимости от того, какая случайная величина непрерывная или дискретная изменятся во времени. В дальнейшем основное внимание будет уделено НСП.

Прежде чем приступить к изучению случайных процессов необходимо определится со способами их представления. Будем обозначать случайный процесс через , а его конкретную реализацию – через . Случайный процесс может быть представлен либо совокупностью (ансамблем) реализаций , либо одной , но достаточно протяженной во времени реализацией . Если сфотографировать несколько осциллограмм случайного процесса и фотографии расположить одну под другой, то совокупность этих фотографий будет представлять ансамбль реализаций (рис. 5.3).

Здесь – первая, вторая, …, k-ая реализации процесса. Если же отобразить изменение случайной величины на ленте самописца на достаточно большом интервале времени T, то процесс будет представлен единственной реализацией (рис. 5.3).

Как и случайные величины, случайные процессы описываются законами распределения и вероятностными (числовыми) характеристиками. Вероятностные характеристики могут быть получены как усреднение значений случайного процесса по ансамблю реализаций, так и усреднением по одной реализации.

Пусть случайный процесс представлен ансамблем реализаций (рис. 5.3). Если выбрать произвольный момент времени и зафиксировать значения, принимаемые реализациями в этот момент времени, то совокупность этих значений образует одномерное сечение СП

и представляет собой случайную величину . Как уже подчеркивалось выше, исчерпывающей характеристикой случайной величины является функция распределения или одномерная плотность вероятности

Естественно как , так и , обладают всеми свойствами функции распределения и плотности распределения вероятности, рассмотренными выше.

Числовые характеристики в сечении определяются в соответствии с выражениями (5.20), (5.22), (5.24) и (5.26). Так, в частности математическое ожидание СП в сечении определяется выражением

а дисперсия – выражением

Однако, законов распределения и числовых характеристик только в сечении недостаточно для описания случайного процесса, который развивается во времени. Поэтому, необходимо рассмотреть второе сечении (рис. 5.3). В этом случае СП будет описываться уже двумя случайными величинами и , разнесенными между собой на интервал времени и характеризоваться двумерной функцией распределения и двумерной плотностью , где , . Очевидно, если ввести в рассмотрение третье, четвертое и т.д. сечения, можно прийти к многомерной (N-мерной) функции распределения и соответственно к многомерной плотности распределения .

Важнейшей характеристикой случайного процесса служит автокорреляционная функция (АКФ)

устанавливающая степень статистической связи между значениями СП в моменты времени и

Представление СП в виде ансамбля реализаций приводит к понятию стационарности процесса. Случайный процесс является стационарным , если все начальные и центральные моменты не зависят от времени, т.е.

, .

Это жесткие условия, поэтому при их выполнении СП считается стационаром в узком смысле .

На практике используется понятие стационарности в широком смысле . Случайный процесс стационарен в широком смысле, если его математическое ожидание и дисперсия не зависят от времени, т.е.:

а автокорреляционная функция определяется только интервалом и не зависит от выбора на оси времени

В дальнейшем будут рассматриваться только стационарные в широком смысле случайные процессы.

Выше отмечалось, что случайный процесс помимо представления ансамблем реализаций, может быть представлен единственной реализацией на интервале времени T. Очевидно, все характеристики процесса могут быть получены усреднением значений процесса по времени.

Математическое ожидание СП при усреднении по времени определяется следующим образом:

. (5.46)

Отсюда следует физический смысл : математическое ожидание – это среднее значение (постоянная составляющая) процесса.

Дисперсия СП определяется выражением

и имеет физический смысл средней мощности переменной составляющей процесса.

Автокорреляционная функция при усреднении по времени

Случайный процесс называется эргодическим , если его вероятностные характеристики, полученные усреднением по ансамблю, совпадают с вероятностными характеристиками, полученными усреднением по времени единственной реализации из этого ансамбля. Эргодические процессы являются стационарными.

Использование выражений (5.46), (5.47) и (5.48) требует, строго говоря, реализации случайного процесса большой (теоретически бесконечной) протяженности. При решении практических задач интервал времени ограничен. При этом большинство процессов считают приблизительно эргодическими и вероятностные характеристики определяют в соответствии с выражениями

; (5.49)

;

Случайные процессы, у которых исключено математическое ожидание, называются центрированными . В дальнейшем под и будут подразумеваться значения центрированных случайных процессов. Тогда выражения для дисперсии и автокорреляционной функции принимают вид

; (5.50)

Отметим свойства АКФ эргодических случайных процессов:

– автокорреляционная функция является вещественной функцией аргумента ,

– автокорреляционная функция является четной функцией, т.е. ,

– при увеличении АКФ убывает (необязательно монотонно) и при стремится к нулю,

– значение АКФ при равно дисперсии (средней мощности) процесса

На практике часто приходится иметь дело с двумя и более СП. Так например, на вход радиоприемника одновременно поступает смесь случайного сигнала и помехи. Взаимную связь между двумя случайными процессами устанавливает взаимная корреляционная функция (ВКФ). Если и – два случайных процесса, характеризующиеся реализациями и , то взаимная корреляционная функция определяется выражением

СЛУЧАЙНЫЕ ПРОЦЕССЫ - процессы, протекание которых во времени частично пли полностью непредсказуемо. Теория С. п. служит для построения количественных моделей реальных процессов, в т. ч. для прогнозирования их будущих значений на основе текущей информации и априорных данных, для выделения полезной информации при наличии помех, оценки неизмеряемых параметров и др.

В медицине большое число процессов (напр., процесс размножения опухолевых клеток, число вызовов скорой помощи и др.) определяется столь большим количеством неконтролируемых факторов, что адекватное их описание и анализ целесообразно проводить в рамках теории С. п.

Математически С. п. представляют собой такие функции времени, значение к-рых в каждый момент является случайной величиной (см. Вероятностей теория). Каждому элементарному случайному событию при этом соответствует нек-рая определенная неслучайная функция времени, называемая реализацией, или траекторией, С. п. Свойства реализаций служат основным предметом исследования теории С. п. Эти свойства выражаются вероятностью нек-рых событий (напр., выхода траекторий за фиксированный уровень, попадание в заданную область, наличие или отсутствие скачков в заданном интервале времени и др.). В рамках теории С. п. решаются также некоторые статистические задачи (напр., задачи фильтрации, экстеро- и интерополяций).

В общем случае принято считать, что случайный процесс задан (т. е. задание сформулировано), когда определены все совместные функции распределения значений процесса для любого конечного набора моментов времени; функции распределения носят название конечномерных функций распределения.

Другими неслучайными функциями, связанными с С. п., являются m{t) - математическое ожидание С. п., характеризующее среднее по множеству наблюдений значение С. п., и R (ti, t2) - корреляционная функция, характеризующая степень зависимости значений С. п. в разные моменты времени (см. Корреляционный анализ).

Основные классы случайных процессов. Учитывая большое разнообразие С. п., из всей их совокупности выделены отдельные классы и для каждого класса разработаны свои методы исследования.

Стационарные С. п. - это С. п., в к-рых все конечномерные функции распределения ие меняются при сдвиге времени на фиксированную величину. Стационарные С. п. обладают рядом характерных свойств: среднее значение стационарного С. п. в каждый момент одно и то же, а корреляционная функция R(t1,t2), зависит лишь от разности между моментами времени t1 и t2. С. п. этого типа могут быть представлены суммой, или интегралом, гармонических колебаний, амплитуды и фазы к-рых являются случайными величинами. Интенсивности гармонических составляющих образуют спектр С. п. Частным случаем стационарных С. п. является эргодический стационарный С. п.: в рамках этого метода по одной единственной реализации С. п. можно восстановить все его вероятностные характеристики. В частности. для каждой траектории эргодического случайного процесса среднее по времени равно математическому ожиданию С. п.

Гауссовские С. п. - это С. п., в к-рых все конечномерные функции распределений являются гауссовскими. Для его задания необходимы только две функции - математическое ожидание m (t) и корреляционная функция R(t1, t2).

Марковские С. п. обладают следующим свойством: для любого момента времени будущее процесса зависит только от его состояния в данный момент времени и не зависит от его предыстории. Для задания марковского С. п. достаточно знать лишь одномерные функции распределения и вероятности перехода из одного состояния в другое. Марковские С. п. образуют большой класс процессов, к-рый включает в себя марковские С. п. с независимыми приращениями, диффузионные С. п., скачкообразные марковские С. п., ветвящиеся С. п. и др.

Количество различных классов С. п., применяемых при математическом моделировании реальных явлений, постоянно увеличивается в соответствии с потребностями практики. В медико-биол. практике С. п. используются в основном в теоретических исследованиях, что связано со сложностью математического аппарата, применяемого при анализе С. п. Основатель кибернетики Винер (N. Wiener) с помощью теории стационарных С. п. в 1961 г. исследовал ритмы биотоков головного мозга. Позже С. п. нашли применение при количественных исследованиях в нейрофизиологии и кардиологии (стационарные и диффузионные С. п.), онкологии (марковские случайные процессы размножения и гибели), в эпидемиологии и здравоохранении.

Библиография: Балантер Б. И. Вероятностные модели в физиологии, М., 1977; Вентце ль А. Д. Курс теории случайных процессов, М., 1975; Винер Н. Нелинейные задачи в теории случайных процессов, пер. с англ., М., 1961; Г и х-м а н И. И. и Скороход А. В. Теория случайных процессов, т. 2, М., 1973.