Чи є синонімами "випадкова вибірка" та "iid випадкова змінна"?

Мені важко зрозуміти значення "випадкової вибірки", а також "iid випадкової змінної". Я намагався з’ясувати значення з кількох джерел, але просто все більше і більше плутався. Я публікую тут те, що я спробував і дізнався:

Імовірність та статистика Degroot говорить:

Випадкові вибірки / iid / Розмір вибірки: Розгляньте заданий розподіл ймовірностей на реальній лінії, який може бути представлений або pf, або pdf $f$ . Кажуть , що $n$ випадкових величин $X_1 , . . . , X_n$ утворюють випадкову вибірку з цього розподілу, якщо ці випадкові величини незалежні і граничне pf або pdf кожної з них $f$ . Такі випадкові величини також називаються незалежними та однаково розподіленими, скороченими iid. Ми називаємо число n випадкових змінних як розмір вибірки.

Але одна з інших книг зі статистикою, яку я маю, говорить:

У випадковій вибірці ми гарантуємо, що кожна окрема одиниця в сукупності отримує рівний шанс (ймовірність) бути обраною.

Отже, у мене є відчуття, що idid - це елементи, які будують випадкову вибірку, а процедура отримання випадкової вибірки - випадкова вибірка. Я правий?

PS: Я дуже розгублений у цій темі, тому буду вдячний за ретельну відповідь. Спасибі.

Ви не кажете, що таке інша книга статистики, але я б припустив, що це книга (або розділ) про кінцевий вибірки населення .

Коли ви відбираєте вибіркові випадкові величини, тобто коли ви вважаєте множину з n випадкових величин, ви знаєте, що якщо вони незалежні, f ( x 1 , … , x n ) = f ( x 1 ) ⋯ f ( x n ) і однаково розподілені , зокрема E ( X i ) = μ та Var ( X i$X_1,\dots,X_n$$n$$f(x_1,\dots,x_n)=f(x_1)\cdots f(x_n)$$E(X_i)=\mu$ для всіх i , то: ¯ X = ∑ i X $\text{Var}(X_i)=\sigma^2$$i$ деσ2- другий центральний момент.

$$\overline{X}=\frac{\sum_i X_i}{n},\quad E(\overline{X})=\mu,\quad \text{Var}(\overline{X})=\frac{\sigma^2}{n}$$ $\sigma^2$

Вибірка кінцевої сукупності дещо відрізняється. Якщо популяція має розмір , у вибірці без заміни є ($N$ можливі зразкиsiрозміруnі вони є однозначними: p(si)=$\binom{N}{n}$$s_i$$n$ Наприклад, якщоN=5іn=3, простір вибірки дорівнює{s1,…,s10}, а можливі вибірки: s 1 ={1,2,3}, s 2 ={1,2,4}, s 3 ={1,2,5}, s

$$p(s_i)=\frac{1}{\binom{N}{n}}\quad\forall i=1,\dots,\binom{N}{n}$$ $N=5$$n=3$$\{s_1,\dots,s_{10}\}$ Якщо порахувати кількість випадків у кожної людини, ви можете бачити, що їх шість, тобто кожна людина має рівний ланцюг вибору (6/10). Отже, кожнеsiє випадковою вибіркою згідно з другим визначенням. Приблизно, це не iid випадкова вибірка, оскільки індивіди не є випадковими змінними: ви можете послідовно оцінюватиE[X]за середньою вибіркою, але ніколи не дізнаєтесь його точне значення, але виможетезнати точну середню сукупність, якщоn=N(нехай повторюю: приблизно.) $$\begin{gather}s_1=\{1,2,3\},s_2=\{1,2,4\},s_3=\{1,2,5\},s_4=\{1,3,4\},s_5=\{1,3,5\},\\ s_6=\{1,4,5\},s_7=\{2,3,4\},s_8=\{2,3,5\},s_9=\{2,4,5\},s_{10}=\{3,4,5\}\end{gather}$$ $s_i$$E[X]$$n=N$${}^1$

$\mu$$n<N$$\mu$

$$\overline{y}_s=\sum_{i=1}^n y_i,\quad E(\overline{y}_s)=\mu$$ $$\text{Var}(\overline{y}_s)=\frac{\tilde\sigma^2}{n}\left(1-\frac{n}{N}\right)$$ $\tilde\sigma^2$$\frac{\sum_{i=1}^N(y_i-\overline{y})^2}{N-1}$. Factor $(1-n/N)$ is usally called "finite population correction factor".

This is a quick example of how a (random variable) i.i.d. random sample and a (finite population) random sample may differ. Statistical inference is mainly about random variable sampling, sampling theory is about finite population sampling.

---

${}^1$ Say you are manufacturing light bulbs and wish to know their average life span. Your "population" is just a theoretical or virtual one, at least if you keep manufacturing light bulbs. So you have to model a data generation process and intepret a set of light bulbs as a (random variable) sample. Say now that you find a box of 1000 light bulbs and wish to know their average life span. You can select a small set of light bulbs (a finite population sample), but you could select all of them. If you select a small sample, this doesn't transform light bulbs into random variables: the random variable is generated by you, as the choice between "all" and "a small set" is up to you. However, when a finite population is very large (say your country population), when choosing "all" is not viable, the second situation is better handled as the first one.

I will not bore you with probabilistic definitions and formulas, which you may easily pick up at any textbook (or here is a good place to start)

Just think of this intuitively, random sample is a set of random values. In general, each one of the values may either be identically or differently distributed. $i.i.d.$ sample is a special case of random sample, such that every value comes from the same distribution as the others and its value does not have any influence upon other values. Independence deals with $how$ the values were generated

$i.i.d$ example: draw a random card from a deck and return it back (do this 5 times). You will get 5 realized values (cards). Each one of these values comes from a uniform distribution (there is equal probability to get each one of the outcomes) and each draw is independent of the others (i.e. the fact that you get an ace of spades in the first draw, does not influence in any way the result you may get in other draws).

non $i.i.d.$ example: Now do the same thing, but without returning the card to the deck (I hope you fill the difference by now). Again you will have 5 realized values (cards) after you do this. But clearly they are dependent (the fact that you draw the ace of spades on the first draw, means you will not have a chance to get in on the 2nd draw).

A Random Variable usually written X, is a variable whose possible values are numerical outcomes of a random phenomenon. The random phenomenon may produce outcomes that have numerical values captured by the random variable --e.g. number of heads in 10 tosses of a coin or incomes/heights etc in a sample -- but that is not necessary .
More generally a Random Variable is a function that maps random outcomes to numeric values. E.g. each day may be sunny, cloudy or rainy. We can define a Random Variable that takes the value 1 if it is rainy, 2 if it is cloudy and 3 if it is sunny. The domain of a random variable is the set of possible outcomes.
To establish a Random Variable there must be a process or experiment that is associated with possible outcomes that can not be predicted with certainty.

Coming now to the issue of independence. Two Random Variables are independent if the value of one of them does not affect the PDF of the other. We don't revise our predictions regarding the probabilities of different values of one variable when we know something about the other variable. Therefore in the case of independence the Posterior PDFs are identical to the Prior PDFs. E.g. when we toss a unbiased coin repeatedly, the information we have about the outcome of the 5 prior tosses does not affect our prediction about the current toss, it will be always 0.5. However, if the bias of the coin is unknown and is modeled as a Random Variable, then the outcome of the previous 5 tosses affects our predictions regarding the current toss because it allows us to make inferences regarding the unknown bias of the coin. In that case the Random Variables capturing the number of Heads in a sequence of n tosses are dependent and not independent.

Coming now to the issue of Sampling. The purpose of Sampling is to inform us about the properties of an underlying distribution that is not known and must be inferred. Remember that a Distribution refers to the relative likelihood of possible outcomes in the Sample Space (which may also be a Conditional Universe). So when we Sample we chose a finite number of outcomes from the Sample space and we reproduce the Sample Space in a smaller more manageable scale. Equal probability then refers to the process of the Sampling not the probability of the Outcomes in the Sample. Equal probability sampling implies that the Sample will reflect the proportions of the outcomes in the original Sample Space. E.g. if we ask 10,000 people if they have ever been arrested it is probable that the sample we will end up will not be representative of the Population -- the Sample Space-- since people who would have been arrested might refuse to reply, therefore the proportion of possible outcomes (arrested - not arrested) will differ between our sample and the population for systematic reasons. Or if we chose a particular neighborhood to conduct a survey the results will not be representative of the City as a whole. So equal probability sampling implies that there are no systematic reasons --other than pure randomness-- that makes us believe that the proportions of possible outcomes in our sample are different from the proportions of outcomes in the Population / Sample Space.

Випадкова вибірка - це реалізація послідовності випадкових змінних. Ці випадкові змінні можуть бути iid чи ні.