Статистика та великі дані

Яке точне значення підписного позначення в умовних очікуваннях в рамках теорії вимірювань? Ці підписки не відображаються у визначенні умовного очікування, але ми можемо бачити, наприклад, на цій сторінці вікіпедії . (Зауважте, що це було не завжди так, та сама сторінка кілька місяців тому).EX[f(X)]EX[f(X)]\mathbb{E}_X[f(X)] Яким має бути, наприклад, значення з X …

64 conditional-expectation  notation 

Я деякий час із задоволенням використовую моделі зі змішаними ефектами з поздовжніми даними. Я б хотів, щоб я міг підходити до відносин AR в lmer (я думаю, я маю рацію, що не можу цього зробити?), Але я не думаю, що це відчайдушно важливо, тому я не переживаю занадто сильно. Я …

63 mixed-model  gee 

Було багато дебатів у рамках статистики між байєсами та відвідувачами. Я, як правило, вважаю це досить відвертим (хоча я думаю, що він затих). З іншого боку, я зустрів кількох людей, які цілком прагматично поглядають на це питання, кажучи, що іноді зручніше проводити аналіз частотизму, а іноді простіше провести байєсівський аналіз. …

63 bayesian  frequentist 

Книга Талеба «Чорний лебідь» була бестселером New York Times, коли вона вийшла кілька років тому. Книга зараз у другому виданні. Після зустрічі зі статистиками на JSM (щорічній статистичній конференції) Талеб дещо зменшив критику статистики. Але суть книги полягає в тому, що статистика не дуже корисна, оскільки вона покладається на нормальний …

63 extreme-value  rare-events 

В останні кілька років я прочитав низку робіт, що заперечували проти використання тестування значимості нульової гіпотези в науці, але не думав вести постійний список. Нещодавно колега попросив мене щодо такого списку, тому я подумав, що я попрошу всіх тут допомогти створити його. Щоб почати все, ось що у мене поки …

63 hypothesis-testing  statistical-significance  references  p-value 

Я намагався відтворити деякі дослідження (за допомогою PCA) від SPSS в Р. На моєму досвіді, principal() функція з пакету psychбула єдиною функцією, яка наблизилася (або якщо моя пам'ять слугує мені правильно, мертвим), щоб відповідати результату. Щоб відповідати тим самим результатам, що і в SPSS, мені довелося використовувати параметр principal(..., rotate …

63 r  spss  pca  factor-analysis  factor-rotation 

Чи справді різні та багатоваріантні регресії різняться? Що таке змінна в будь-якому випадку?

63 regression  multiple-regression  terminology  multivariate-regression 

У мене складається враження, що коли люди посилаються на мережу "глибокої віри", що це в основному нейронна мережа, але дуже велика. Це правильно чи чи мережа глибоких переконань також означає, що алгоритм сам по собі відрізняється (тобто немає нейронної мережі вперед, але, можливо, щось із петлями зворотного зв'язку)?

62 machine-learning  neural-networks  deep-learning  deep-belief-networks 

Чи є конкретна мета з точки зору ефективності чи функціональності, чому алгоритм k-засобів не використовує, наприклад, подібність косинуса (dis) як метрику відстані, а може використовувати лише евклідову норму? Загалом, чи відповідає метод К-засобів та чи буде правильним, якщо розглядаються чи використовуються інші відстані, ніж Евклідова? [Доповнення від @ttnphns. Питання двозначне. …

62 clustering  k-means  distance-functions  euclidean 

Я ціную корисність завантажувальної програми для отримання оцінок невизначеності, але одне, що мене завжди турбує, - це те, що розподіл, відповідний цим оцінкам, - це розподіл, визначений вибіркою. Загалом, здається, поганою ідеєю вважати, що наші вибіркові частоти виглядають точно як базові розподіли, тому чому обгрунтовано / прийнятно отримувати оцінки невизначеності …

62 bootstrap  uncertainty 

Кожен отримав бібліотечні чи кодові пропозиції щодо того, як насправді побудувати пару зразкових дерев : getTree(rfobj, k, labelVar=TRUE) (Так, я знаю, що ви не повинні цього робити оперативно, РФ - це чорна скринька тощо) як добре працюють кодовані фактори тощо) Попередні запитання без гідної відповіді: Як зробити випадкові ліси більш …

62 r  data-visualization  random-forest  cart 

У своїй книзі "Вся статистика" професор Ларрі Вассерман подає наступний приклад (11.10, стор. 188). Припустимо , що ми маємо щільність такої , що , де є відомим (невід'ємне интегрируемой) функції і нормалізація постійної є невідомою .f ( x ) = cffff(x)=cg(x)f(x)=cg(x)f(x)=c\,g(x)c > 0gggc>0c>0c>0 Нас цікавлять ті випадки, коли ми не …

62 bayesian  mathematical-statistics 

Я емпірично знаю, що це так. Я щойно розробив моделі, які натрапляють на цю загадку. Я також підозрюю, що це не обов'язково відповідь так / ні. Я маю на увазі те, що якщо A і B співвідносяться з C, це може мати певний вплив на співвідношення між A і B. …

62 correlation  cross-correlation 

Відповідаючи на це питання, Джон Крісті запропонував, що відповідність логістичних регресійних моделей слід оцінювати шляхом оцінки залишків. Мені знайоме, як інтерпретувати залишки в OLS, вони знаходяться в тій же шкалі, що і DV, і дуже чітко різниця між y та y, передбаченими моделлю. Однак для логістичної регресії я раніше просто …

62 r  logistic  generalized-linear-model  residuals  aic 

Чим відрізняються дискретні дані від безперервних даних?

62 continuous-data  discrete-data