Статистика та великі дані

Питання та відповіді для людей, зацікавлених у статистиці, машинному навчанні, аналізі даних, інтелектуальному аналізу даних та візуалізації даних

3
Як вирішити, яку сімейство glm використовувати?
У мене є дані про щільність риби, які я намагаюся порівняти між декількома різними техніками збору, дані мають багато нулів, а гістограма виглядає химерною, підходящою для розподілу пуассона, за винятком того, що, як щільність, це не цілі дані. Я відносно новичок у ГЛМ і останні кілька днів шукаю в Інтернеті, …

3
Що означає негативний R-квадрат?
Скажімо, у мене є деякі дані, а потім я підходжу дані до моделі (нелінійна регресія). Тоді я обчислюю R-квадрат ( R2R2R^2 ). Якщо R-квадрат негативний, що це означає? Це означає, що моя модель погана? Я знаю, що діапазон R2R2R^2 може бути [-1,1]. Коли R2R2R^2 дорівнює 0, що це також означає?

3
Логістична регресія або Т-тест?
Група людей відповідає на одне запитання. Відповідь може бути "так" або "ні". Дослідник хоче знати, чи пов’язаний вік з типом відповіді. Асоціацію оцінювали шляхом логістичної регресії, де вік є пояснювальною змінною, а тип відповіді (так, ні) - залежною змінною. Окремо це було розглянуто шляхом обчислення середнього віку груп, які відповіли …

2
Представлення ефектів взаємодії у спрямованих ациклічних графіках
Направлені ациклічні графіки (DAGs; наприклад, Greenland, et al, 1999) є частиною формалізму причинного висновку від контрафактичного тлумачення табору причинності. На цих графіках наявність стрілки від змінної до змінної стверджує, що змінна безпосередньо викликає (деяку зміну ризику) змінної , а відсутність такої стрілки стверджує, що змінна не викликає безпосередньо (деяка зміна …

2
Чи правильно використовувати кореляційну матрицю для вибору предикторів регресії?
Кілька днів тому мій психолог-дослідник розповів мені про свій метод вибору змінних до лінійної регресійної моделі. Я думаю, що це не добре, але мені потрібно попросити когось іншого, щоб переконатися. Метод: Подивіться на кореляційну матрицю між усіма змінними (включаючи залежну змінну Y) і виберіть ті предиктори Xs, які найбільше співвідносяться …

2
Як інтерпретувати QQ-графік p-значень
Я займаюсь дослідженнями асоціацій GWAS SNP щодо захворювань, використовуючи програмне забезпечення під назвою plink ( http://pngu.mgh.harvard.edu/~purcell/plink/download.shtml ). За результатами асоціації я отримую p-значення для всіх SNP, які були проаналізовані. Тепер я використовую QQ-графік цих p-значень, щоб показати, чи дуже низьке p-значення відрізняється від очікуваного розподілу p-значень (рівномірний розподіл). Якщо р-значення …
17 qq-plot 

2
Що таке "коефіцієнти лінійних дискримінантів" у LDA?
В R, я використовую ldaфункцію з бібліотеки , MASSщоб зробити класифікацію. Як я розумію, LDA вхід xxx буде присвоєний міткою yyy , яка максимізує p(y|x)p(y|x)p(y|x) , правда? Але коли я підходять до моделі, в якій x=(Lag1,Lag2)x=(Lag1,Lag2)x=(Lag1,Lag2)y=Direction,y=Direction,y=Direction, я не зовсім розумію вихід lda, Редагувати: щоб відтворити вихідний результат, спочатку запустіть: library(MASS) …

1
Чи тотожні розподіли з однаковими моментами ідентичні
Наступні схожі, але відрізняються від попередніх публікацій тут і тут Враховуючи два розподіли, які допускають моменти всіх порядків, якщо всі моменти двох розподілів однакові, то чи є вони однаковими розподілами ae? Враховуючи два розподіли, які допускають функції, що генерують моменти, якщо вони мають однакові моменти, чи однакові їх функції, що …

2
Чи має сенс використовувати змінну дати в регресії?
Я не звик використовувати змінні у форматі дат у Р. Мені просто цікаво, чи можна додати змінну дати як пояснювальну змінну в лінійну регресійну модель. Якщо це можливо, як можна інтерпретувати коефіцієнт? Це вплив одного дня на змінну результату? Дивіться мою суть з прикладом того, що я намагаюся зробити.

4
Інтуїція до функції накопичувальної небезпеки (аналіз виживання)
Я намагаюся отримати інтуїцію щодо кожної з основних функцій в актуарній науці (спеціально для моделі пропорційних ризиків Кокса). Ось що я маю досі: f(x)f(x)f(x) : починаючи з часу початку, розподілу ймовірності, коли ви помрете. F(x)F(x)F(x) : просто кумулятивний розподіл. На часTTT , який відсоток населення буде мертвим? S(x)S(x)S(x) :1−F(x)1−F(x)1-F(x) . …

8
Якісь пропозиції щодо хорошого вступного підручника зі статистики для студентів?
Сподіваюся, ви можете дати мені кілька пропозицій. Я викладаю в дуже різноманітному коледжі (який складається з груп меншин), і студенти - це здебільшого спеціальність з психології. Більшість учнів є старшими зі середньої школи, але деякі з них - старші учні, що повертаються старше 40 років. Більшість студентів мають мотиваційні проблеми …

3
Який тест Діккі-Фуллера для часового ряду моделювався з перехопленням / дрейфом та лінійною тенденцією?
Коротка версія: У мене є часовий ряд кліматичних даних, які я тестую на стаціонарність. Виходячи з попередніх досліджень, я очікую, що модель, що лежить в основі (або "генерація", так би мовити) даних, має термін перехоплення та позитивну лінійну тенденцію часу. Щоб перевірити ці дані на стабільність, чи слід використовувати тест …

4
Нормалізація до перехресної перевірки
Чи мають нормалізуючі дані (щоб мати нульове середнє значення та стандартне відхилення одиниці) перед виконанням повторної перехресної перевірки k-кратного перешкоди, як-небудь негативні наслідки, такі як перевиконання? Примітка. Це стосується ситуації, коли #cases> total #features Я перетворюю деякі свої дані за допомогою перетворення журналу, а потім нормалізую всі дані, як зазначено …

6
Як знайти місцеві вершини / долини в ряді даних?
Ось мій експеримент: Я використовую findPeaksфункцію в квантовому пакеті: Я хочу виявити "локальні" піки в межах допуску 5, тобто перші місця після скидання часового ряду від локальних піків на 5: aa=100:1 bb=sin(aa/3) cc=aa*bb plot(cc, type="l") p=findPeaks(cc, 5) points(p, cc[p]) p Вихід є [1] 3 22 41 Це здається неправильним, оскільки …
17 r  time-series 

2
Як мені організувати презентацію плакатів?
Наразі я складаю презентацію плаката і хотів би отримати поради (або посилання на поради) щодо деяких аспектів графіки. Для прикладів плакатів, про які я говорю, дивіться додатковий матеріал до статей ASA Data Expo в томі 20 випуску 2 Журналу обчислювальної та графічної статистики (інший приклад - тут ( Hendrix et …

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.