Статистическая устойчивость

Cтатистическая устойчивость — физический феномен, проявляющийся в стабильности статистик (функций выборки), в частности стабильности частости (относительной частоты) массовых событий и средних величин (то есть слабой их зависимости от объема данных).

Физическая природа феномена статистической устойчивости раскрывается при наблюдении за массовыми событиями.

В настоящее время известно две теории, описывающие этот феномен: классическая теория вероятностей, имеющая многовековую историю развития, и теория гиперслучайных явлений, разрабатываемая в последние десятилетия.

История вопроса

На феномен статистической устойчивости впервые обратил внимание в 1669 г. торговец сукном Дж. Граунт. Сохранились отрывочные сведения об исследованиях статистической устойчивости, проводимых в период с конца XVII по конец XIX столетия Я. Бернулли, У. Пети, Х. Гюйгенсом, Д. Венном, С. Д. Пуассоном, И. Ж. Бьенеме, А. Курно, А. Кетле, и др.

Систематические исследования статистической устойчивости начались в конце XIX века. Немецкий статистик В. Лексис в 1879 г. впервые попытался связать понятие статистической устойчивости частоты с дисперсией (разбросом значений) случайной величины. На рубеже столетий и в начале XX века исследованием статистической устойчивости занимались К. Пирсон, А. А. Чупров, В. И. фон Борткевич, А. А. Марков, Р. фон Мизес и др.

Новый этап экспериментальных исследований начался в конце XX в. Необходимость в проведении дополнительных исследований вызвана новыми задачами прикладного плана и обнаружением ряда явлений, которые не удается удовлетворительно объяснить и описать в рамках классической теории вероятностей. К новым задачам относятся, в частности, сверхточное измерение физических величин и сверхточное прогнозирование развития событий на больших интервалах наблюдения, а к числу сравнительно недавно обнаруженных явлений можно отнести непредсказуемо меняющуюся дрейфовую (прогрессирующую) погрешность, а также повсеместно обнаруживаемые фликкер-шумы, которые не удается подавить путем усреднения данных.

Статистическая устойчивость относительной частоты событий

Исследованием статистической устойчивости относительной частоты различных массовых событий занимались многие ученых. Известно, например, что экспериментальные исследования частоты выпадения сторон монеты проводили П. С. Лаплас, Г. Бюффон, К. Пирсон, лауреат Нобелевской премии Р. Фейнман, А. де Морган, В. С. Джевонс, В. И. Романовский, У. Феллер и др. На первый взгляд совершенно тривиальная задача для них таковой не представлялась. Очевидно, что угадать точно, какая сторона выпадет, невозможно. Но, принимая во внимание равновозможность выпадения любой из сторон, представляется естественным предположить, что при большом числе подбрасываний примерно в 50 % случаев будет выпадать орел и примерно в 50 % случаев — решка. Иначе, относительные частоты этих двух событий, рассчитываемые как отношение числа выпадений соответственно орла и решки к общему числу опытов, будет примерно равняться 0,5. В табл. 1 приведены некоторые результаты экспериментов с подбрасыванием монеты. В табл. 2 представлены результаты десяти серий экспериментов по подбрасыванию монеты по 1000 испытаний в каждой серии.

Таблица 1. Результаты опытов с подбрасыванием монеты

Таблица 2. Результаты опытов с подбрасыванием монеты

Как видно из таблиц, предположение о том, что при большом количестве опытов относительная частота выпадения орла примерно равна 0,5, полностью подтверждается. Интригующим результатом этих экспериментов является даже не то, что при большом количестве бросков относительная частота выпадения определенной стороны монеты примерно равна 0,5, а факт стабильности (устойчивости) этой относительной частоты — слабая зависимость от числа бросков.

При многократном подбрасывании симметричного игрального кубика частота выпадения любой из его сторон также проявляет свойство стабильности. Эта величина близка к 1/6.

Экспериментальные исследования других реальных физических событий показывают, что при большом количестве опытов относительные частоты событий стабилизируются, что указывает на фундаментальный характер феномена статистической устойчивости.

Статистическая устойчивость статистик

Феномен статистической устойчивости проявляется не только в стабильности относительной частоты массовых событий, но и в стабильности средних значений различных процессов, а также их выборочных средних, вычисляемых путем усреднения дискретных отсчетов выборки. Обратим внимание, что феномен статистической устойчивости наблюдается при усреднении процессов разного типа: случайных, детерминированных и реальных физических процессов.

Пример 1. Для иллюстрации на рис. 1а и 1в приведены реализация случайного шума и фрагмент периодического детерминированного процесса, а на рис. 1б и 1г — соответствующие выборочные средние, рассчитанные на интервале от 0 до текущего значения аргумента. На рис. 1б и 1в видно, что по мере увеличения интервала усреднения средние значения реализаций случайного и детерминированного процессов стабилизируются и уровень флуктуаций усредненных величин уменьшается.

Рис. 1. Реализация белого гауссовского шума (а), фрагмент косинусоиды (в) и соответствующие им выборочные средние (б, г)

Пример 2. На рис. 2а приведен фрагмент записи эффективного (действующего) значения напряжения городской электросети длительностью 1,8 ч, содержащий 32 тысячи дискретных отсчетов (период дискретизации 0,2 с), а на рис. 2б — выборочное среднее колебания. Как следует из рисунка, на интервале наблюдения напряжение флуктуирует в диапазоне от 228 В до 250 В, а среднее значение плавно изменяется. Исходное колебание представляет собой явно незатухающий процесс, а среднее значение проявляет тенденцию стремления к определенному значению (в районе 234 В). На протяжении первых 30 минут наблюдения среднее значение изменяется от 228 В до 234 В (перепад составляет 6 В), а на протяжении последних 30 минут — от 235 В до 234,7 В (перепад равен 0,3 В).

Рис. 2. Изменения напряжения городской электросети на протяжении 1,8 ч наблюдения (а) и соответствующего выборочного среднего (б)

Таким образом, увеличение времени усреднения привело к существенному уменьшению размаха средней величины (в 20 раз) и стабилизации ее значения.

Феномен статистической устойчивости наблюдается при вычислении не только средних величин, но также и других статистик, в частности, выборочного среднеквадратического отклонения.

Свойства статистической устойчивости

Эмерджентность

Статистическая устойчивость относительной частоты — свойство массовых (множественных) событий. Это свойство не присуще одиночному событию, но присуще их совокупности. Аналогично, статистическая устойчивость статистик — свойство, присущее множеству отсчетов. Поэтому статистическую устойчивость относительной частоты событий и статистик можно рассматривать как эмерджентное свойство.

Гипотеза идеальной статистической устойчивости

Анализируя табл. 1 и 2, представляется естественным предположить, что при неограниченном увеличении числа повторов уровень флуктуации относительной частоты любого реального события стремится к нулю. Анализируя же изображенные на рис. 1б, 1г и 2б процессы, можно предположить, что при неограниченном увеличении объема выборки (увеличении времени наблюдения) уровень флуктуации выборочного среднего любого детерминированного, случайного или реального физического колебания также стремится к нулю. Иными словами, можно выдвинуть гипотезу, что имеет место сходимость последовательности относительных частот $p_{1}\left(A\right),p_{2}\left(A\right),\ldots$ события $A$ к некоторой детерминированной величине $P(A)$ и сходимость последовательности $y_{1},y_{2},\ldots$ средних величин к некоторой детерминированной величине $m$, то есть $\lim _{n\to \infty }p_{n}=P(A)$, $\lim _{n\to \infty }y_{n}=m$.

Критика гипотезы идеальной статистической устойчивости

Многие годы считалось, что гипотеза идеальной статистической устойчивости адекватно отражает реальность. Однако ряд ученых (среди которых даже основоположник современной аксиоматической теории вероятностей А. Н. Колмогоров и такие известные ученые как А. А. Марков, А. В. Скороход, Э. Борель, В. Н. Тутубалин и др.) отмечали, что идеальная статистическая устойчивость справедлива лишь с определенными оговорками. Они подозревали, что теория вероятностей описывает реальные физические явления не совсем адекватно.

Гипотеза ограниченной статистической устойчивости

Обратим внимание, что возможность адекватного описания относительной частоты событий и выборочного среднего процессов выражениями $\lim _{n\to \infty }p_{n}=P(A)$, $\lim _{n\to \infty }y_{n}=m$ — не более как предположение. Оно не следует из каких-либо экспериментов и, тем более, из логических умозаключений. Нетрудно убедиться, что не все процессы, причем даже колебательного типа, обладают свойством статистической устойчивости.

Пример 3. Для иллюстрации на рис. 3а и рис. 3в приведены два детерминированных колебания, а на рис. 3б и рис. 3г — их выборочные средние. В обоих случаях, как видно из рисунка, выборочные средние не стабилизируются, то есть колебания статистически неустойчивы.

Рис. 3. Статистически неустойчивые колебания (а, в) и соответствующие им выборочные средние (б, г)

Результаты множества экспериментальных исследований реальных физических процессов при больших объемах данных показывают, что последовательности $p_{1}(A),p_{2}(A),\ldots$ и $y_{1},y_{2},\ldots$ тенденции к сходимости не проявляют. Хотя обычно тенденция стабилизации частоты событий и средних величин хорошо прослеживается при относительно небольшом объеме данных, при большом их объеме она не фиксируется. Это указывает на то, что феномен статистической устойчивости носит не идеальный, а ограниченный характер.

Пример 4. В подтверждение на рис. 4а приведен 60-часовой фрагмент, той же, что и на рис. 2а, записи колебания напряжения $x(t)$ городской электросети, а на рис. 4б — соответствующее среднее $y(t)$.

Рис. 4. Изменения напряжения городской электросети на протяжении 60 ч наблюдения (а) и соответствующего выборочного среднего (б)

Процессы, изображенные на рис. 2б и рис. 4б, существенно различаются. В процессе на рис. 2б можно усмотреть тенденцию к стабилизации среднего; в значительно же более длительном процессе на рис. 4б нет даже намека на стабилизацию.

Формализованное описание феномена статистической устойчивости

Шестая проблема Д. Гильберта

До конца XIX в. теория вероятностей рассматривалась как физическая дисциплина. На II Международном конгрессе математиков (1900 г.) Давид Гильберта, формулируя насущные проблемы математики, акцентировал внимание на следующем: «С исследованиями по основаниям геометрии близко связана задача об аксиоматическом построении по этому же образцу тех физических дисциплин, в которых уже теперь математика играет выдающуюся роль: это в первую очередь теория вероятностей и механика». Это так называемая шестая проблема Гильберта.

На призыв Д. Гильберта откликнулось около десятка видных ученых того времени. Среди них Р. фон Мизес, предлагавший статистический вариант аксиоматизации теории вероятностей, и А. Н. Колмогоров, предложивший в 1929 г. аксиоматическую теорию на основе теории множеств и теории меры. В 20-х-30-х г. прошлого столетия велась острая борьба вариантов аксиоматизации теории вероятностей. В конечном итоге победил аксиоматический подход, предложенный А. Н. Колмогоров, который в настоящее время возведен даже в ранг международного стандарта ISO.

Формализованное описание феномена статистической устойчивости в рамках теории вероятностей

Теория вероятностей А. Н. Колмогорова — чисто математическая дисциплина, объектом исследования которой является абстрактное вероятностное пространство, а предметом исследования — математические зависимости между его элементами. Физические начала в этой теории отсутствуют, а феномен статистической устойчивости учитывается в идеализированном виде аксиомой счетной аддитивности, что эквивалентно принятию гипотезы идеальной статистической устойчивости.

Формализованное описание феномена статистической устойчивости в рамках теории гиперслучайных явлений

В отличие от математической теории вероятностей А. Н. Колмогорова, теория гиперслучайных явлений — физико-математическая теория, объектом исследования которой является физический феномен статистической устойчивости, а предметом исследования — способы адекватного его описания с помощью гиперслучайных моделей (гиперслучайных явлений), учитывающих нарушения статистической устойчивости.

Теория гиперслучайных явлений не перечеркивает достижения классической теории вероятностей и математической статистики, а дополняет их, распространяя положения этих дисциплин на случай, ими не рассматриваемый: отсутствие сходимости статистик.

Параметры статистической устойчивости

Существует целый ряд параметров, характеризующих статистическую устойчивость, в частности, параметры статистической неустойчивости по отношению к среднему, параметры статистической неустойчивости по отношению к среднеквадратическому отклонению, интервалы статистической устойчивости по отношению к среднему, к среднеквадратическому отклонению и другим статистикам и пр.

Области эффективного использования различных методов описания феномена статистической устойчивости

Основными параметрами, определяющими границы области эффективного использования классической теории вероятностей и теории гиперслучайных явлений для описания феномена статистической устойчивости, являются интервалы статистической устойчивости по отношению к статистикам. В пределах этих интервалов нарушения статистической устойчивости пренебрежимо малы и поэтому при решении статистических задач возможно и целесообразно применение теории вероятностей; вне этих интервалов нарушения статистической устойчивости оказываются существенными и поэтому приходится использовать методы теории гиперслучайных явлений.

Ограниченность статистической устойчивости проявляется при больших объемах выборки и предельном переходе. Поскольку зачастую объемы выборки невелики, стохастические модели обеспечивают решение многих практических задач с приемлемой точностью. Как правило, эти модели проще, чем гиперслучайные модели и потому при не очень больших объемах выборки оказываются предпочтительными. Гиперслучайные модели имеют явные преимущества перед стохастическими и другими моделями в тех случаях, когда проявляется ограниченный характер феномена статистической устойчивости, — обычно при больших интервалах наблюдения и больших объемах выборки.

Поэтому первоочередная область применения гиперслучайных моделей связана со статистической обработкой различных физических процессов (электрических, магнитных, электромагнитных, акустических, гидроакустических, сейсмоакустических, метеорологических и др.) большой длительности, а также с высокоточными измерениями физических величин и прогнозированием физических процессов на основе статистической обработки больших массивов данных.

Гиперслучайные модели могут быть полезны при решении и других задач, в частности, как выяснилось, при проектировании радиоэлектронной аппаратуры.