Статистика та великі дані

Оскільки, як видається, загальним консенсусом є використання змішаних моделей через lmer()R замість класичної ANOVA (з часто цитованих причин, таких як незбалансовані конструкції, перехрещені випадкові ефекти тощо), я б хотів спробувати це зі своїми даними. Однак я переживаю, що мені вдасться "продати" такий підхід своєму керівнику (який очікує класичного аналізу з …

27 r  mixed-model  repeated-measures  lme4-nlme  references 

Хоча я знаю, що існує ряд функцій для генерації теплових карт в R, проблема полягає в тому, що я не в змозі створити візуально привабливі карти. Наприклад, наведені нижче зображення є хорошими прикладами теплових карт, яких я хочу уникати. У першому явно бракує деталей, тоді як другий (на основі тих …

27 r  data-visualization  spatial 

Я багато разів бачив твердження, що вони повинні бути вичерпними (приклади в таких книгах завжди були настільки складені, що вони були насправді), з іншого боку, я також багато разів бачив книги, які заявляють, що вони повинні бути ексклюзивними ( наприклад як та як ), не уточнюючи вичерпного питання. Тільки перед …

27 hypothesis-testing 

Це питання було перенесено з обміну стека математики, оскільки на нього можна відповісти на перехресній валідації. Мігрували 7 років тому . У мене є питання про щось, що сказав мій вчитель статистики щодо наступної проблеми. Моє запитання навіть не щодо виникнення парадоксу Сімпсона в цій ситуації. Моє запитання полягає лише …

27 self-study  confounding  simpsons-paradox 

Загальновідомо, особливо в обробці природними мовами, що машинне навчання повинно триватись у два етапи, етап навчання та етап оцінювання, і вони повинні використовувати різні дані. Чому це? Інтуїтивно цей процес допомагає уникнути перевиконання даних, але я не бачу (інформаційно-теоретичної) причини цього. Крім того, я бачив деякі цифри, кинуті навколо того, …

27 machine-learning  cross-validation 

Це питання було перенесено з обміну стека математики, оскільки на нього можна відповісти на перехресній валідації. Мігрували 8 років тому . Коли я виконую лінійну регресію в деяких програмних пакетах (наприклад, Mathematica), я отримую p-значення, пов'язані з окремими параметрами в моделі. Наприклад, результати лінійної регресії, яка дає результат , матимуть …

27 probability  regression 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закритий минулого року . Чи є інструмент командного рядка, який приймає потік чисел (у форматі ascii) зі стандартного введення та дає основні описові статистичні дані для цього …

27 descriptive-statistics  computational-statistics  computing 

У класифікації тексту у мене є навчальний набір з приблизно 800 зразками та тестовий набір з приблизно 150 зразками. Тестовий набір ніколи не використовувався і чекав його використання до кінця. Я використовую цілий 800 навчальний набір зразків, з 10-кратним перехресним підтвердженням під час настройки та налаштування класифікаторів та функцій. Це …

27 machine-learning  classification  cross-validation  text-mining 

Заблокований . Це питання та його відповіді заблоковано, оскільки це питання поза темою, але має історичне значення. Наразі не приймає нових відповідей чи взаємодій. Мені було цікаво, чи можна робити символічні обчислення в R? Наприклад, Я сподівався отримати зворотну частину символьної матриці коваріації 3D-гауссового розподілу. Чи можна також зробити символічну …

27 r 

Я використовую AIC (інформаційний критерій Akaike) для порівняння нелінійних моделей у Р. Чи справедливо порівняти АПК різних типів моделі? Зокрема, я порівнюю модель, встановлену glm, порівняно з моделлю з терміном випадкового ефекту, встановленим glmer (lme4). Якщо ні, чи існує таке порівняння? Або ідея повністю недійсна?

27 lme4-nlme  model-selection  aic 

Усі мої змінні безперервні. Рівень немає. Можна навіть мати взаємодія між змінними?

27 regression  modeling  interaction 

Розглянемо попередній Джеффрі, де , де - інформація про Фішера.p(θ)∝|i(θ)|−−−−√p(θ)∝|i(θ)|p(\theta) \propto \sqrt{|i(\theta)|}iii Я продовжую бачити це, коли його згадували як неінформативне попереднє, але я ніколи не бачив аргументу, чому він неінформативний. Зрештою, це не є постійним попереднім, тому має бути якийсь інший аргумент. Я розумію, що це не залежить від …

27 bayesian  prior 

Це питання щодо термінології. Чи "попередній розпливчастий пріоритет" такий самий, як попередній неінформативний характер, чи є якась різниця між ними? Моє враження, що вони однакові (від пошуку розпливчастих та неінформативних разом), але я не можу бути впевненим.

27 bayesian  prior  terminology 

Квантова механіка узагальнила теорію ймовірностей до від'ємних / уявних чисел, здебільшого для пояснення моделей перешкод, подвійності хвиль / частинок і взагалі дивних речей. Однак це можна сприймати більш абстрактно як некомутативне узагальнення ймовірності Байєса (цитата з Терренса Дао). Мені цікаво про ці речі, хоча аж ніяк не експерт. Чи є …

27 probability 

Я новачок у аналізі R та часових рядів. Я намагаюся знайти тенденцію тривалого (40 років) добового часового ряду температур і намагався до різних наближень. Перший - це просто проста лінійна регресія, а другий - Сезонне розкладання часових рядів Лоссом. В останньому виявляється, що сезонна складова більша за тенденцію. Але як …

27 r  time-series  trend