Статистика та великі дані

Припустимо, я зробив: н1н1n_1 незалежні випробування з невідомим рівнем успіху p1p1p_1 і спостерігали к1к1k_1 успіхи. н2н2n_2 незалежні випробування з невідомим рівнем успіху p2p2p_2 і спостерігали к2к2k_2 успіхи. Якщо, зараз p1=p2= : сторp1=p2=:pp_1 = p_2 =: p але досі невідома, ймовірність р (к2)p(к2)p(k_2) спостерігати к2к2k_2 для даної к1к1k_1(або навпаки) пропорційна , …

9 hypothesis-testing  binomial  references 

Я знаю, що лінійна алгебра та аналіз (особливо теорія вимірювань) важливі. Чи корисно проходити курси випускників з реального та складного аналізу? Чи слід брати курси з абстрактної алгебри за межі вступних курсів, наприклад, комутативної алгебри та алгебраїчної геометрії?

9 mathematical-statistics  academia  algebraic-statistics 

У мене є багато супутникових растрових зображень, доступних від різних датчиків. З них грубіші мають дуже рясну часову роздільну здатність. Растри середньої роздільної здатності, як правило, мають менші дати придбання, але все ще доступна деяка ступінь інформації. Більш точна роздільна здатність має дуже низький часовий дозвіл, який охоплює від 2 …

9 time-series  machine-learning  predictive-models  multivariate-regression 

Індекс стійкості населення кількісно визначає зміну розподілу змінної шляхом порівняння зразків даних за два часові періоди. Він дуже часто використовується для вимірювання зрушень у балах. Він обчислюється так: 1) Вибірка за базовий період дискретизується. Зазвичай він розподіляється на децили 2) Вибірка з цільового періоду дискретизується за допомогою тих же інтервалів, …

9 distributions  kullback-leibler 

Схоже, що для управління з упорядкованими вимірюваннями дослідники, як правило, мають справу з поліхорною кореляцією . (Наприклад, для виготовлення матриці перед тим, як робити факторний аналіз.) Чому так? Коефіцієнт кореляції рейтингу Кендалл Тау та коефіцієнт кореляції рейтингу Спірмена також підходять для упорядкованих даних. Будь-які точки "про" і "проти" за цих …

9 correlation  ordinal-data  spearman-rho  kendall-tau  polychoric 

Я хотів би кодувати kmeans, що кластеруються в python, використовуючи панди та scikit learn. Для того, щоб вибрати хороший k, я хотів би зашифрувати статистику прогалини від Tibshirani та ін 2001 ( pdf ). Мені хотілося б знати, чи можу я використати результат inertia_ від scikit і адаптувати статистичну формулу …

9 clustering  python  k-means  scikit-learn  metric 

ОНОВЛЕННЯ 25 січня 2014 року: помилка тепер виправлена. Будь ласка, ігноруйте обчислені значення очікуваного значення у завантаженому зображенні - вони неправильні. Я не видаляю зображення, оскільки воно створило відповідь на це запитання. ОНОВЛЕННЯ 10 січня 2014 року: помилка виявлена ​​- математичний друк в одному з використаних джерел. Підготовка корекції ... …

9 normal-distribution  expected-value  order-statistics  minimum 

Я новачок у статистиці і намагаюся зрозуміти різницю між ANOVA та лінійною регресією. Я використовую R для дослідження цього. Я читав різні статті про те, чому ANOVA і регресія відрізняються, але все одно однакові, і як можна візуалізувати і т. Д. Я думаю, що я там симпатичний, але один біт …

9 r  regression  anova 

У мене є набір даних з двома категоричними номінальними змінними (обидві з 5 категоріями). Мені хотілося б знати, чи (і як) мені вдається виявити потенційні кореляції між категоріями цих двох змінних. Іншими словами, чи, наприклад, результати категорії в змінній 1 показують сильну кореляцію з конкретною категорією у змінній 2. Оскільки …

9 correlation  residuals  contingency-tables  categorical-data 

Дозволяє Х1, . . . ,ХнХ1,...,ХнX_{1},...,X_{n}бути чіткими спостереженнями (відсутність зв’язків). ДозволяєХ∗1, . . . ,Х∗нХ1∗,...,Хн∗X_{1}^{*},...,X_{n}^{*}позначимо зразок завантаження (зразок із емпіричного CDF) і нехай . Знайдіть та .Х¯∗н=1н∑нi = 1Х∗iХ¯н∗=1н∑i=1нХi∗\bar{X}_{n}^{*}=\frac{1}{n}\sum_{i=1}^{n}X_{i}^{*}Е(Х¯∗н)Е(Х¯н∗)E(\bar{X}_{n}^{*})V a r (Х¯∗н)Vаr(Х¯н∗)\mathrm{Var}(\bar{X}_{n}^{*}) Я маю досі це те, що є кожен з вірогідністю так що та що дає Х∗iХi∗X_{i}^{*}Х1, . . …

9 self-study  variance  bootstrap  cdf  conditional-expectation 

Припустимо, у мене є поздовжні дані форми Y =(Y1, … ,YJ) ∼ N( μ , Σ )Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)(У мене є кілька спостережень, це просто форма єдиного). Мене цікавлять обмеження щодоΣΣ\Sigma. Без обмеженьΣΣ\Sigma еквівалентно прийому Yj=αj+∑ℓ = 1j - 1ϕℓ jYj - ℓ+εjYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εj …

9 feature-selection  lasso  shrinkage 

Я готуюсь до інтерв'ю, яке вимагає гідного знання базової ймовірності (принаймні, щоб пройти саме інтерв'ю). Я працюю в нижченаведеному аркуші зі своїх студентських днів як перегляд. Здебільшого це було досить просто, але я повністю заплутався у питанні 12. http://www.trin.cam.ac.uk/dpk10/IA/exsheet2.pdf Будь-яка допомога буде вдячна. Редагувати: питання: Припустимо, що є незалежними однаково …

9 probability  self-study  random-variable 

У мене є два масиви з 2D балів, і мені потрібно оцінити їх співвідношення. Яку формулу я повинен використовувати? Приклад масивів: Х: ( ( 1 , 5 ) , ( 2 , 5 ) , ( 1 , 7 ) , ( 4 , 1 ) ) ,Х:((1,5),(2,5),(1,7),(4,1)),X: ((1,5),(2,5),(1,7),(4,1)), Y: …

9 correlation 

Я хочу оцінити точність тестів на нормальність для різних розмірів вибірки в R (я розумію, що тести на нормальність можуть бути оманливими ). Наприклад, щоб переглянути тест Шапіро-Вілка, я провожу наступне моделювання (а також графік результатів) і очікував би, що в міру збільшення розміру вибірки ймовірність відхилення нуля зменшується: n …

9 r  simulation  power-analysis  normality-assumption 

Нещодавно я закінчив читати Чай з дегустацією леді , веселу книгу про історію статистики. В кінці книги автор Девід Сальсбург пропонує три відкриті філософські проблеми в статистиці, розв’язання яких він стверджує, мали б більші наслідки для застосування статистичної теорії в науці. Я ніколи раніше не чув про ці проблеми, тому …

9 probability