Статистика та великі дані

Мені було цікаво, в чому полягає теоретична різниця між тестом Ранко-Сум Вілкоксона та Тестом підписаного рангу Вілкоксона з використанням парних спостережень. Я знаю, що тест Wilcoxon Rank-Sum дозволяє проводити різну кількість спостережень у двох різних зразках, тоді як тест підписаного рейтингу для парних зразків цього не дозволяє, однак на мою …

22 paired-data  wilcoxon-signed-rank  wilcoxon-mann-whitney 

Я чистий студент з математики, малий досвід прикладної математики. З минулої осені я відвідував заняття з книги Casella & Berger, і закінчив сотні (230+) сторінок проблем із фізичними вправами в книзі. Зараз я перебуваю в главі 10. Однак, оскільки я не користувався статистикою або не планував стати статистикою, я не …

22 distributions  references  eda 

Я слухав розмову і бачив цей слайд: Наскільки це правда?

22 deep-learning  deep-belief-networks 

Як я можу перевірити, чи є мої дані, наприклад, зарплата від постійного експоненціального розподілу в R? Ось гістограма мого зразка: . Будь-яка допомога буде дуже вдячна!

22 r  distributions  goodness-of-fit  exponential 

Коли ми робимо кілька регресій і кажемо, що ми дивимось на середню зміну змінної yyy для зміни змінної xxx , тримаючи всі інші змінні постійними, за яких значень ми тримаємо інші змінні постійними? Їхнє значення? Нуль? Будь-яке значення? Я схильний думати, що це має будь-яку цінність; просто шукаю роз'яснення. Якби …

22 multiple-regression  interpretation  least-squares  regression-coefficients  controlling-for-a-variable 

У цьому коментарі Нік Кокс написав: Об’єднання в класи - це древній метод. Незважаючи на те, що гістограми можуть бути корисними, сучасне статистичне програмне забезпечення дозволяє легко, а також доцільно пристосувати розподіли до вихідних даних. Binning просто викидає деталі, які є вирішальними при визначенні того, які розподіли правдоподібні. Контекст цього …

22 references  histogram  binning  qq-plot 

Це питання стосується ефективного способу обчислення основних компонентів. Багато текстів на лінійній PCA пропонують використовувати сингулярне розкладання значення випадкових даних . Тобто, якщо ми маємо дані і хочемо замінити змінні (її стовпці ) основними компонентами, ми робимо SVD: , сингулярні значення (квадратні корені власних значень), що займають основну діагональ , …

22 pca  algorithms  svd  matrix-decomposition 

Я виконую незалежних статистичних тестів з однаковою нульовою гіпотезою і хотів би об'єднати результати в одну -значну величину. Схоже, існує два "прийнятих" методу: метод Фішера та метод Стоуффера .рNNNppp Моє запитання стосується методу Стоуффера. Для кожного окремого тесту я отримую z-бал . Під нульовою гіпотезою, кожен з них розподіляються зі …

22 hypothesis-testing  chi-squared  p-value  multiple-comparisons  combining-p-values 

У мене є відчуття, що це, можливо, просили в іншому місці, але не дуже з типом базового опису, який мені потрібен. Я знаю, що непараметричні покладаються на медіану замість середнього для порівняння ... чогось. Я також вважаю, що він покладається на "ступінь свободи" (?) Замість стандартного відхилення. Виправте мене, якщо …

22 hypothesis-testing  nonparametric  wilcoxon-mann-whitney 

Зараз я переживаю «Байєсівське розум і машинне навчання» Девіда Барбера, і це надзвичайно добре написана та захоплююча книга для вивчення основ. Тож питання до того, хто це вже зробив. Який наступний набір книг я повинен пройти після того, як я отримаю достатнє знання з більшістю концепцій Барбер?

22 machine-learning  bayesian  references  graphical-model 

З того, що я мало знаю, алгоритм ЕМ може бути використаний для пошуку максимальної ймовірності, коли встановлення на нуль часткових похідних стосовно параметрів вірогідності дає набір рівнянь, які неможливо вирішити аналітично. Але чи потрібен алгоритм ЕМ замість того, щоб використовувати якусь чисельну техніку, щоб спробувати знайти максимум ймовірності щодо обмеження …

22 expectation-maximization 

Чи машинне навчання є важливим предметом для ознайомлення з будь-яким статистиком? Здається, машинне навчання - це статистика. Чому програми статистики (для студентів та аспірантів) не вимагають машинного навчання?

22 machine-learning  careers 

Працюючи з багатьма вхідними змінними, ми часто стурбовані мультиколінеарністю . Існує ряд заходів мультиколінеарності, які використовуються для виявлення, продумування та / або спілкування мультиколінеарності. Деякі поширені рекомендації: Множинний для конкретної змінної R2jRj2R^2_j Допуск для певної змінної 1 - R2j1-Rj21-R^2_j Коефіцієнт інфляції дисперсії для певної змінної VIF = 1толерантністьVIF=1толерантність\text{VIF}=\frac{1}{\text{tolerance}} Номер умови …

22 multicollinearity 

Я заглядав у завантажувальний пакет у R, і, хоча знайшов чимало хороших праймерів, як ним користуватися, я ще не знайшов нічого, що б точно описувало, що відбувається "поза кадром". Наприклад, у цьому прикладі посібник показує, як використовувати стандартні коефіцієнти регресії як вихідну точку для регресії завантажувальної стрічки, але не пояснює, …

22 r  regression  bootstrap  regression-coefficients 

R-пакет randomForest R не може обробляти коефіцієнт з більш ніж 32 рівнями. Коли йому задано більше 32 рівнів, він видає повідомлення про помилку: Не може працювати з категоричними прогнозами з більш ніж 32 категоріями. Але у мене є кілька факторів. Деякі з них мають рівні 1000+, а деякі - 100+. …

22 r  random-forest  many-categories