Деякі питання щодо статистичної випадковості

Зі статистичної випадковості Вікіпедії :

Глобальна випадковість та локальна випадковість різні. Більшість філософських концепцій випадковості є глобальними, оскільки вони ґрунтуються на ідеї, що "з часом" послідовність виглядає справді випадковою, навіть якщо певні підрядки не виглядають випадковими. Наприклад, у "справді" випадковій послідовності чисел достатньої довжини, ймовірно, були б довгі послідовності нічого, крім нулів, хоча в цілому послідовність може бути випадковою. Локальна випадковість стосується ідеї про те, що можуть бути мінімальні довжини послідовностей, в яких наближені випадкові розподіли.Довгі розтяжки одних і тих же цифр, навіть ті, що породжуються "справді" випадковими процесами, зменшать "локальну випадковість" вибірки (це може бути лише локально випадковою для послідовностей 10000 цифр; якщо послідовності менше 1000 можуть не здаватися випадковими взагалі, наприклад).

Таким чином, послідовність, що демонструє візерунок, не є статистично випадковою. Відповідно до принципів теорії Рамзі, досить великі об'єкти обов'язково повинні містити задану підструктуру ("повний розлад неможливий").

Я не зовсім розумію значення двох речень жирним шрифтом.

1. Чи означає перше речення, що щось робить послідовність локальною випадковою на більшій довжині, а не локальною випадковою на меншій довжині?

   Як працює приклад усередині дужок?

2. Чи означає друге речення, що послідовність, що демонструє візерунок, не може бути доведена статистично випадковою? Чому?

Спасибі

Концепцію можна акуратно проілюструвати деяким виконавчим кодом. Ми починаємо (в R), використовуючи хороший псевдогенератор випадкових чисел, щоб створити послідовність 10000 нулів і одиниць:

set.seed(17)
x <- floor(runif(10000, min=0, max=2))

Це проходить кілька основних тестів на випадкові числа. Наприклад, Т-тест для порівняння середнього до $1/2$ має р-значення %, що дозволяє прийняти гіпотезу про те , що нулі і одиниці равновероятно.$40.09$

З цих чисел ми переходимо до отримання підрядки послідовних значень, починаючи з 5081-го значення:$1000$

x0 <- x[1:1000 + 5080]

Якщо вони виглядатимуть випадково, вони також повинні пройти те саме тестування випадкових чисел. Наприклад, давайте перевіримо, чи є їх середнє значення 1/2:

> t.test(x0-1/2)

    One Sample t-test

data:  x0 - 1/2 
t = 2.6005, df = 999, p-value = 0.009445
alternative hypothesis: true mean is not equal to 0 
95 percent confidence interval:
 0.01006167 0.07193833 
sample estimates:
mean of x 
    0.041 

Низьке значення р (менше 1%) наводить на думку , середнє значно більше , ніж . Дійсно, сукупна сума цієї сукупності має сильну тенденцію до зростання:$1/2$

> plot(cumsum(x0-1/2))

Це не випадкова поведінка!

Порівнюючи початкову послідовність (побудовану у вигляді кумулятивної суми) з цією послідовністю, виявляється, що відбувається:

$9000$

Як показали ці прості аналізи, жоден тест не може "довести", що послідовність виявляється випадковою. Все, що ми можемо зробити, - це перевірити, чи послідовності відхиляються достатньо від поведінки, що очікується від випадкових послідовностей, щоб запропонувати докази того, що вони не є випадковими. Ось так працюють батареї тестів з випадковими числами : вони шукають шаблони, які малоймовірно виникають у послідовностях випадкових чисел. Кожен раз у довгий час вони змусять нас зробити висновок, що справді випадкова послідовність чисел не видається випадковою: ми відкинемо її, спробуючи щось інше.

Зрештою, так само - як ми всі мертві - будь-який по-справжньому генератор випадкових чисел генерує кожну можливу послідовність з 1000 цифр, і це буде робити нескінченно багато разів. Що нас врятує від логічної катастрофи - це те, що нам доведеться чекати жахливо довгий час, щоб відбулася така явна аберація.

Цей уривок використовує терміни "локальна випадковість" та "глобальна випадковість" для розрізнення того, що може статися з кінцевою кількістю вибірок випадкової величини, та розподілу ймовірності чи очікування випадкової величини.

$x_i$$\{0,1\}$$\theta$$\theta$$\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n x_i = \theta$

$[0,1]$$[a,b]$$0 \leq a < b \leq 1$$\theta$ .

Тут нічого нового.

$n$ , тим більше шансів на те, що поведінка виглядає "локально випадковою", а "локально випадкова" визначена (неправильно) як проявляє шаблони, близькі до середнього ( у цьому прикладі.)

Таким чином, я б не спалив надто багато клітин мозку, думаючи про цей уривок. Математично це не так точно і насправді вводить в оману характер випадковості.

Редагувати на основі коментаря: @kjetilbhalvorsen +1 до вашого коментаря для історичних знань. Однак я все-таки вважаю, що значення цих термінів є обмеженим та оманливим. Таблиці, які ви описуєте, здаються, що вводять в оману наслідки, що невеликі зразки, які, наприклад, вибірки, означають далеко від фактичного очікуваного значення або, можливо, малоймовірну, але, безумовно, можливу довгу послідовність повторень 0 (на моєму прикладі Бернуллі), якимось чином виявляють менша випадковість (кажучи, що вони не виявляють цієї фальшивої "локальної випадковості"). Я не можу придумати що-небудь більш оманливого для статиста-початківця!

Я думаю, що автори поста у Вікіпедії неправильно трактують випадковість. Так, можуть бути розтяжки, які здаються не випадковими, але якщо процес, який створив послідовність, справді випадковий, таким повинен бути вихід. Якщо певні послідовності виявляються невипадковими, це читач помилково сприймає (тобто люди призначені для пошуку шаблонів). Наша здатність бачити на нічному небі Велику Ковшану та Оріона тощо не свідчить про те, що візерунки зірок не випадкові. Я згоден, що випадковість часто виявляється не випадковою. Якщо процес генерує справді не випадкові шаблони для коротких послідовностей, це не випадковий процес.

Я не думаю, що процес змінюється в різних розмірах вибірки. Ви збільшуєте розмір вибірки, збільшуєте ймовірність того, що ми бачимо випадкову послідовність, яка нам здається не випадковою. Якщо є 10% шансів, що ми побачимо закономірність у 20 випадкових спостереженнях, збільшення загальної кількості спостережень до 10000 збільшило б ймовірність того, що ми десь побачимо не випадковість.