Запитання з тегом «intuition»

Я намагаюся зрозуміти, як працює аналіз основних компонентів (PCA) у предметному (подвійному) просторі . Розглянемо 2D набір даних з двома змінними, x1x1x_1 і , і точок даних (матриця даних дорівнює та передбачається центром). Звичайна презентація PCA полягає в тому, що ми розглядаємо точок у , записуємо матрицю коваріації та знаходимо …

19 pca  linear-algebra  intuition  geometry 

Розглянемо елементарну ідентичність дисперсії: Var(X)===E[(X−E[X])2]...E[X2]−(E[X])2Var(X)=E[(X−E[X])2]=...=E[X2]−(E[X])2 \begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray} Це проста алгебраїчна маніпуляція визначення центрального моменту на нецентральні моменти. Це дозволяє зручно маніпулювати в інших контекстах. Він також дозволяє обчислити дисперсію за допомогою одного проходу над даними, а не через два …

19 variance  descriptive-statistics  intuition 

Я бачив і насолоджувався питанням Ознайомлення з аналізом основних компонентів , і тепер у мене є те саме питання для незалежного аналізу компонентів. Я хочу сказати, що я хочу поставити вичерпне запитання про інтуїтивні способи розуміння ICA? Я хочу це зрозуміти . Я хочу досягти мети цього. Я хочу відчути …

18 intuition  ica 

Я думав над тим, щоб написати публікацію в блозі про цей цікавий аналіз Клейнберга (2002), який досліджує труднощі кластеризації. Кляйнберг окреслює три, здавалося б, інтуїтивні дезидерати для функції кластеризації, а потім доводить, що такої функції не існує. Існує багато алгоритмів кластеризації, які задовольняють два з трьох критеріїв; однак жодна функція …

17 mathematical-statistics  clustering  intuition  hierarchical-clustering 

Я читав тут , що даний зразок X1,X2,...,XnX1,X2,...,Xn X_1,X_2,...,X_n від безперервного розподілу з cdf FXFX F_X , зразок, відповідний Ui=FX(Xi)Ui=FX(Xi) U_i = F_X(X_i) відповідає стандартному рівномірному розподілу. Я підтвердив це, використовуючи якісні симуляції в Python, і мені було легко переконатись у взаємозв'язку. import matplotlib.pyplot as plt import scipy.stats xs = …

17 pdf  uniform  cdf  intuition 

Я працював, вважаючи, що медіана вибірки є більш міцною мірою центральної тенденції, ніж середня вибірка, оскільки вона ігнорує людей, що втратили похилого віку. Тому я був здивований, дізнавшись (у відповіді на інше запитання ), що для зразків, узятих із звичайного розподілу, дисперсія середньої вибірки менша, ніж дисперсія середньої вибірки (принаймні …

17 distributions  median  intuition  mean  efficiency 

Питання: Яка ідея та інтуїція лежать в основі оцінки максимально можливої ​​ймовірності (QMLE; також відома як псевдооцінка максимальної ймовірності, PMLE)? Що змушує оцінювач працювати, коли фактичний розподіл помилок не відповідає передбачуваному розподілу помилок? Сайт Вікіпедії для QMLE чудовий (короткий, інтуїтивно зрозумілий), але я можу використати ще трохи інтуїції та деталей, …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Мене плутає рівняння, яке служить визначенням рівня небезпеки. Я розумію, що таке рівень небезпеки, але я просто не бачу, як рівняння виражає цю інтуїцію. Якщо - випадкова величина, яка представляє момент часу смерті когось на часовому інтервалі . Тоді рівень небезпеки:xxx[0,T][0,T][0,T] h(x)=f(x)1−F(x)h(x)=f(x)1−F(x)h(x)=\frac{f(x)}{1-F(x)} Там , де не представляє собою ймовірність смерті …

16 survival  intuition  hazard 

Сьогодні я викладав вступний клас статистики, і студент підійшов до мене із запитанням, яке я перефразую тут так: "Чому стандартне відхилення визначається як sqrt дисперсії, а не як sqrt суми квадратів над N?" Визначимо дисперсію популяції: σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} І стандартне відхилення: σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} . Інтерпретація ми можемо дати σσ\sigma , що вона …

16 variance  standard-deviation  intuition  teaching 

Процедура ЕМ видається непосвяченим як більш-менш чорна магія. Оцініть параметри HMM (наприклад) за допомогою контрольованих даних. Потім розшифруйте нетегіровані дані, використовуючи вперед-назад для "підрахунку" події так, як ніби дані позначені, більш-менш. Чому це робить модель кращою? Я щось знаю про математику, але я все ще бажаю якоїсь ментальної картини.

16 expectation-maximization  intuition 

Я багато разів читав, що випадкові ефекти (BLUPs / умовні режими для, скажімо, предметів) не є параметрами лінійної моделі змішаних ефектів, а натомість можуть бути отримані з розрахункових параметрів дисперсії / коваріації. Наприклад, Рейнгольд Клієль та ін. (2011) стан: Випадкові ефекти - це відхилення суб'єктів від великої середньої RT та …

15 mixed-model  intuition  blup 

У відео лекціях з Гарвардської статистики 110: Курс ймовірності, який можна знайти на iTunes та YouTube, я зіткнувся з цією проблемою. Я спробував узагальнити це тут: Припустимо, нам подають випадкову руку з двома картками зі стандартної колоди. Яка ймовірність того, що обидві карти є тузами, враховуючи, що у нас є …

15 probability  conditional-probability  intuition 

Я вважав, що концепція типового набору є досить інтуїтивно зрозумілою: послідовність довжини nnn належить до типового набору A(n)ϵAϵ(n)A_\epsilon ^{(n)} якщо ймовірність виходу послідовності буде великою. Отже, будь-яка послідовність, яка, ймовірно, була б в A(n)ϵAϵ(n)A_\epsilon ^{(n)} . (Я уникаю формального визначення, пов'язаного з ентропією, тому що я намагаюся його зрозуміти якісно.) …

15 entropy  intuition  information-theory 

Наскільки я зрозумів, кореляція відстані є надійним і універсальним способом перевірити, чи існує зв’язок між двома числовими змінними. Наприклад, якщо у нас є набір пар чисел: (x1, y1) (x2, y2) ... (xn, yn) ми можемо використовувати кореляцію відстані, щоб перевірити, чи існує якесь (не обов'язково лінійне) відношення між двома змінними …

15 correlation  independence  intuition  distance-covariance 

У книзі Стівена Пінкера « Кращі ангели нашої природи» він зазначає це Ймовірність - питання перспективи. Якщо розглядатись з достатньо близькою відстані, окремі події мають визначальні причини. Навіть гортання монети можна передбачити з початкових умов і законів фізики, і досвідчений фокусник може використовувати ці закони щоразу, щоб кидати голови. Однак, …

15 probability  central-limit-theorem  intuition