Чи може хтось допомогти пояснити різницю між незалежним та випадковим?

21

Чи в статистиці незалежні та випадкові описують однакові характеристики? Яка різниця між ними? Ми часто стикаємось з описом на зразок "двох незалежних випадкових змінних" або "випадкової вибірки". Мені цікаво, яка точна різниця між ними. Чи може хтось пояснити це і навести кілька прикладів? наприклад, незалежний, але випадковий процес?

distributions sampling randomness

— тянтіанхен
джерело

Тут злиті дві чіткі (на не дуже глибокому рівні) концепції. "Незалежні" в сенсі незалежно генерують спостереження, а "незалежні змінні" wrt їх розподілу.

— ttnphns

3

Це дивне питання, адже якби ви порадили формальним визначенням "випадкової змінної" та "незалежної", - що, як видається, підказує "статистика" - ви виявите, що вони мають мало спільного.

— whuber

@ttnphns, Так, я думаю, мене більше плутали термін "незалежно генеровані спостереження" з "генерованим випадковим чином". Під час вибірки ми часто чуємо (просту) випадкову вибірку, завдяки чому я відчуваю себе незалежними вибірками. Я думаю, якщо ми дійсно хочемо поєднати обидві характеристики при описі методу вибірки, це повинно бути: вибір спостережень не залежить один від одного (= незалежно) і вірогідність відбору спостереження відома (= випадковим чином)?

— tiantianchen

1

Якщо ми перевіримо визначення незалежності від wiki: "У теорії ймовірностей дві події є незалежними, статистично незалежними або стохастично незалежними, якщо виникнення однієї не впливає на ймовірність іншого.", Слід базувати залежність двох спостережень. про те, як вони генеруються / вибираються, а не як вони виглядають у даних. Тоді два однакових зауваження у випадку, про який я згадував вище, все ж повинні бути незалежними.

— tiantianchen

2

Будь ласка, не плутайте евристичне пояснення на початку будь-якого запису у Вікіпедії з визначенням. Визначення подано під заголовком "визначення" у цій же статті . Це один із запропонованих тут відповідей Тіма.

— whuber

35

Я спробую пояснити це нетехнічним виразом: Випадкова величина описує результат експерименту; ви не можете знати заздалегідь, яким буде точний результат, але у вас є деяка інформація: ви знаєте, які результати можливі, і ви знаєте, для кожного результату, його ймовірність.

Наприклад, якщо ви кинете справедливу монету, то ви не знаєте заздалегідь, чи отримаєте ви голову чи хвіст, але знаєте, що це можливі результати, і ви знаєте, що кожен має 50% шансів на появу.

Щоб пояснити незалежність, вам потрібно кинути дві справедливі монети. Після кидання першої монети ви знаєте, що для другого кидання ймовірність голови все ще становить 50%, а для хвоста також. Якщо перший жеребкування не впливає на ймовірності другого, то обидва кидки незалежні. Якщо перший жереб впливає на ймовірності другого кидання, то вони залежні.

Приклад залежних кидок - коли ви склеюєте дві монети разом.

3

Іншою парою залежних змінних було б "чи є у вас голови" та "чи є у вас хвости". Обидва випадкові, але не залежать один від одного.

— користувач253751

3

@immibis Або розкачайте справедливі кістки, запишіть значення. потім ще раз розгорніть його і помножте значення на записане значення. Це значення є випадковим, але залежить від першого перегону.

— Кроулі

8

Випадкова відноситься до випадкової величини , а незалежна - до ймовірнісної незалежності. Під незалежністю ми маємо на увазі, що спостереження за однією змінною нічого не говорить нам про іншу, або, формальніше, якщо і є двома випадковими змінними, то ми говоримо, що вони незалежні, якщо $X$ $Y$

p_{X, Y} (x, y) = p_{X} (x) p_{Y} (y)

$p_{X,Y}(x, y) = p_X(x)\,p_Y(y)$

більше того

E (X Y) = E (X) E (Y)

$E(XY) = E(X)E(Y)$

а їх коваріація дорівнює нулю. Мінлива Random залежить від , якщо вона може бути записана у вигляді функції від $Y$ $X$ $X$

Y = f (X)

$Y = f(X)$

Таким чином , в цьому випадку є випадковим і залежить від . $Y$ $X$

Називати процес "незалежним" досить вводить в оману - незалежно від чого? Я думаю, ви мали на увазі, що є деякі незалежні та однаково розподілені випадкові величини (перевірте тут , або тут ), які походять від якогось процесу. Під незалежними ми б тут означали, що вони незалежні один від одного. Існують процеси, що створюють залежні випадкові величини, наприклад $X_1,\dots,X_k$

X_{i} = X_{i - 1} + ε

$X_i = X_{i-1} + \varepsilon$

де - деякий випадковий шум. Очевидно, що в такому випадку залежить від , але це також випадково. $\varepsilon$ $X_i$ $X_{i-1}$

— Тім
джерело

Що означає

якщо X - випадкова величина? Я думаю, що ви плутаєте RV і події: два RV X і Y є незалежними, якщо події

і

є незалежними для всіх r, s

P (X)

$P(X)$

P (X \leq r)

$P(X\leq r)$

P (Y \leq s)

$P(Y\leq s)$

— Matthew Towers

Тоді будь-які дві безперервні випадкові величини незалежні.

— Меттью Тауерс

@m_t_ Я справді не думаю, що обговорення нотацій веде кудись (див., наприклад, en.wikipedia.org/wiki/… )

— Тім

1

@m_t_ це розділення волосся, див. stats.stackexchange.com/questions/16321/… або math.ucsd.edu/~napkaria/crypto/handouts/IndepDepRV.pdf

— Tim

2

@tiantianchen навпаки: якщо у вас є iid випадкових змінних, ви можете побудувати функцію ймовірності, помноживши окремі файли pdf, оскільки вони незалежні.

— Тім

1

Змінні застосовуються у всіх галузях математики. Визначення незалежності та випадковості змінної застосовуються в односторонньому порядку до всіх форм математики, а не лише до статистики.

Наприклад, осі X і Y у двовимірній евклідовій геометрії представляють незалежні змінні, однак їх значення не (як правило) призначаються випадковим чином.

Дві задані змінні можуть бути випадковими, незалежними (одна від одної), або обома, або жодними. Статистика, як правило, зосереджується на випадковості (правильніше, на ймовірності), і незалежність двох змінних чи ні може мати багато наслідків для ймовірності спостереження за результатами.

Ви схильні бачити ці два властивості (незалежність та випадковість), описані разом при вивченні статистики, оскільки обидва важливо знати і можуть впливати на відповідь на відповідне питання. Однак ці властивості не є синонімами, і в інших галузях математики вони не обов'язково зустрічаються разом.

— Стів-О
джерело

Спасибі. Чи можете ви пояснити більше про те, "незалежність двох змінних може мати багато наслідків для того, щоб ймовірність даних результатів спостерігалася".

— tiantianchen

3

Це нестатистична відповідь, яка стосується іншого почуття «незалежного», ніж те, яке використовується у питанні. Це також плутає два почуття "змінної": одне є математичним, а друге - статистичним визначенням випадкової величини (яка, безумовно, не є такою ж, як змінні на геометричних осях).

— whuber

1

The notion of independence is relative, while you can be random by yourself. In your example, you have "two independent random variables", and do not need to talk about several "random sampling".

Suppose you cast a perfect die several times. The outcome $6,5,3,5, 4\ldots$ is a priori random. Knowing the past, you cannot predict the number following 4. Suppose I generate a sequence from the other side of the die: $6\to1$ , $3\to4$ . I get $1,2,4,2, 3\ldots$ . It is as random as the first one. You cannot guess what comes after $3$ . But the two sequences are completely dependent.

If one casts two dice in parallel (without interactions between they), their respective sequences will be random and independent.

— Laurent Duval
джерело

1

This may be a little technical given the level of the OP, but regarding your statement "You cannot be independent (of something) alone (as a process, a sequence)" consider the following: Any random variable X, which equals a constant c with probability one, is independent of "everything", including itself. I.e., for such an X, X is independent of X. You can easily check that per the definition of independence.

— Mark L. Stone

@Mark L. Stone I shall correct this false statement. By alone I meant "in itself". In your definition, are you allowed to say:

X

$X$ is independent, or

X

$X$ and

X

$X$ are independent?

— Laurent Duval

X is independent of itself. I.e., X is independent of X.

— Mark L. Stone

0

When you have a pair of values when the first is randomly generated and the second has any dependence on the first one. e.g. height and weight of a man. There is correlation between them. But they are both random.

— scarabeus
джерело

Although this post uses the words "random" and "dependent," it doesn't define them or clearly distinguish them. Indeed, it seems to suggest that "random=dependent"!

— whuber

0

The coin example is a great illustration of a random and independent variable, a good good way to think of a random but dependent variable would be the next card drawn from a seven deck shoe of playing cards, the -likelihood- of any specific numerical outcome changes depending on the cards previously dealt, but until only one value of card remains in the shoe, the value of the card to come next will remain random.

— phantombread
джерело

3

Probably worth replacing the word "likelihood" by "probability" here, since likelihood has a separate technical definition in statistics

— Silverfish

1

A probability that depends on other events (often previous events, but sometimes based on knowledge of future or simultaneous events - there actually is no temporal direction to this) is called a conditional probability. The word likelihood is used to refer to a kind of "probability in reverse" (or in the continuous case, a probability density) - that is, one calculates the probability of an outcome (e.g. your data) conditional on your model parameter(s), but if we think of this the other way round, it's the likelihood of that parameter, given your data.

— Silverfish

1

Unless you're calculating the likelihood of a parameter, it's best to avoid the word "likelihood" in statistics, even where in normal English one would use "likelihood" as a synonym for the probability of an event (e.g. "rolling ten sixes in a row in a game of dice has a very low likelihood" is fine for colloquial English, but isn't using the word correctly in a statistical sense). "Let

π

$π$ be a parameter denoting the probability that a biased die rolls a six; calculate the likelihood that

π = 1 / 6

$π=1/6$ given that ten rolls of the die were all sixes" is statistically correct but jargony

— Silverfish

-1

David Bohm in his work Causality and Chance in Modern Physics (London: Routledge, 1957/1984) describes causality, chance, randomness, and independence:

"In nature nothing remains constant. Everything is in a perpetual state of transformation, motion, and change. However, we discover that nothing simply surges up out of nothing without having antecedents that existed before. Likewise, nothing ever disappears without a trace, in the sense that it gives rise to absolutley nothing existing at later times. .... everything comes from other things and gives rise to other things. This principle is not yet a statement of the existence of causality in nature. To come to causality, the next step is then to note that as we study processes taking place under a wide range of conditions, we discover that inside all of the complexity of change and transformation there are relationships that remain effectively constant. .... At this point, however, we meet a new problem. For the necessity of a causal law is never absolute. Thus, we see that one must conceive of the law of nature as necessary only if one abstracts from contingencies, representing essentially independent factors which may exist outside the scope of things that can be treated by the laws under consideration, and which do not follow necessarily from anything that may be specified under the context of these laws. Such contingencies lead to chance." (pp.1-2)

"The tendency for contingencies lying outside a given context to fluctuate independently of happenings inside that context has demonstrated itself to be so widespread that one may enunciate it as a principle; namely, the principle of randomness. By randomness we mean just that this independence leads to fluctuation of these contingencies in a very complicated way over a wide range of possibliities, but in such a manner that statistical averages have a regular and approximately predictable behaviour." (p.22)

— noumenal
джерело

3

Your definition of "random" seems unusual. It appears to be intimately connected with concepts of "predictability" and "pattern"--but what exactly do those mean? For instance, if an experiment that potentially could yield any number between

0

$0$ and

1

$1$ were consistently observed to yield values of either

1 / 3

$1/3$ or

4 / 7

$4/7$ , that would seem to be a "pattern" and--to the extent it differs from the original infinite set of possible values--is at least partially "predictable." Where you write "if you plot..." it seems you are claiming that no univariate variable can be random!

— whuber

3

You seem to be discussing stochastic processes (in time) rather than randomness and random variables.

— whuber

4

I believe part of the difficulty we are having in communicating is that you appear to be thinking of "independent" in the sense of an independent variable in regression. Although some elements of the question might suggest that, the phrases "two independent random variables" and "random sampling" indicate otherwise.

— whuber

1

I cannot even tell what your understanding is, because your answer provides no definitions. I'm having to guess what you're trying to say from the examples and descriptions you give. They appear to differ from the senses of "random" and "independent" in the ways I have described in previous comments.

— whuber

1

I'd add to @whuber comments that your definition mentioning random variables influencing each other may be misleading. "Influence" is a very strong term implicating some kind of causality etc. while the formal definition of independence does not require any causality or influence but it is simply about relations of joint vs individual probabilities.

— Tim