Статистика та великі дані

Мені щойно призначили проект проведення аналізу настроїв для деяких колекцій документів. За допомогою Googling з'явилося багато досліджень, пов'язаних з настроями. Мої запитання: Які основні методи / алгоритми аналізу настроїв у галузі машинного навчання та статистичного аналізу? Чи є чітко встановлені результати? Чи існує якесь програмне забезпечення з відкритим кодом, яке …

9 machine-learning  data-mining  text-mining  information-retrieval  sentiment-analysis 

Я маю (ккk-класова) класифікаційна проблема з набором 100 реальних оцінок прогнозів, один з яких, здається, має набагато більше пояснювальної сили, ніж будь-який з інших. Я хотів би детальніше познайомитися з ефектами інших змінних. Однак, стандартні методи машинного навчання (випадкові ліси, SVM та ін.), Схоже, переповнюються одним сильним передбачувачем і не …

9 machine-learning  classification 

Якщо припустити "повну випадковість" і надати рядок довжиною 20 символів, де кожен символ може бути одним з 62 можливих символів: Яка можлива загальна кількість комбінацій? (Вгадуючи 20 під силу 62.) Крім того, якщо нові рядки вибираються випадковим чином одна за одною і додаються до списку рядків, вибраних до цього часу, …

9 probability  combinatorics 

У мене проблеми з використанням cor()і cor.test()функцій. У мене просто дві матриці (тільки числові значення, однакова кількість рядків і стовпців), і я хочу мати номер кореляції та відповідне p-значення. Під час використання cor(matrix1, matrix2)я отримую коефіцієнти кореляції для всіх комірок. Я просто хочу одне число в результаті кор. Крім того, …

9 r  correlation 

У мене є велике опитування, в якому студенти запитували, серед іншого, рівень освіти їхньої матері. Деякі пропустили це, а деякі відповіли неправильно. Я це знаю, тому що там пізніше опитували підрозділ матері перших респондентів, і вони задали те саме питання. (Я впевнена, що існує якась менша кількість помилок, пов’язаних із …

9 data-imputation 

Відповідно до регресійного аналізу за прикладом , залишковим є різниця між реакцією та передбачуваним значенням, тоді говорять, що кожен залишок має різну дисперсію, тому нам потрібно враховувати стандартизовані залишки. Але дисперсія призначена для групи значень, як може мати одне значення дисперсія?

9 regression  residuals 

У мене є кілька результатів тесту затримки відповіді сервера. Згідно з нашим теоретичним аналізом, розподіл затримки (Функція розподілу ймовірності затримки відповіді) повинен мати велику хвостову поведінку. Але як я міг довести, що результат тестування відповідає розподілу важких хвостів?

9 regression  distributions  probability  normal-distribution  mathematical-statistics 

Використовуючи R, я встановив лінійну модель для однієї змінної відгуку з суміші безперервних та дискретних предикторів. Це є базовим, але я маю труднощі зрозуміти, як працює коефіцієнт для дискретного коефіцієнта. Поняття: Очевидно, що коефіцієнт неперервної змінної 'x' застосовується у формі, y = coefx(varx) + interceptале як це працює для коефіцієнта …

9 linear-model  regression-coefficients  contrasts 

Деякі статистичні методи - я не пам’ятаю, чи це основний компонентний аналіз чи щось подібне - іноді називають «французьким аналізом даних». Що це саме? А деякі кажуть, що це ім’я іронічне, це правда, і чому?

9 multivariate-analysis  terminology  correspondence-analysis 

Я використовую пакет kernlab в R, щоб створити SVM для класифікації деяких даних. SVM добре працює в тому, що забезпечує «передбачення» пристойної точності, проте мій список змінних вхідних даних більший, ніж я хотів би, і я не впевнений у відносній важливості різних змінних. Я хотів би реалізувати генетичний алгоритм для …

9 r  machine-learning  svm  genetic-algorithms 

Яким чином очікуване значення безперервної випадкової величини пов'язане з середньою арифметичною, медіаною тощо у ненормальному розподілі (наприклад, перекос-нормаль)? Мене цікавлять будь-які поширені / цікаві дистрибуції (наприклад, log-normal, прості бі / мультимодальні дистрибутиви, все інше дивне та чудове). Я здебільшого шукаю якісні відповіді, але будь-які кількісні чи формульні відповіді також вітаються. …

9 mean  expected-value  median 

Яка різниця між перехресною кореляцією та взаємною інформацією. Які проблеми можна вирішити за допомогою цих заходів та коли доцільно використовувати одну над іншою. Дякуємо за коментарі. Для уточнення, питання викликає зацікавленість в аналізі йомажу, а не аналізі часових рядів, хоча будь-яке просвітлення в цій області також буде оцінено

9 cross-correlation  mutual-information 

Скажімо, у вас є такі дані про виживання: obs <- data.frame( time = c(floor(runif(100) * 30), floor((runif(100)^2) * 30)), status = c(rbinom(100, 1, 0.2), rbinom(100, 1, 0.7)), group = gl(2,100) ) Для виконання стандартного тесту з ранжуванням журналу можна використовувати survdiff(Surv(time, status) ~ group, data = obs, rho = 0) …

9 r  survival  wilcoxon-signed-rank 

Чи існують стандартні алгоритми (на відміну від програм) для ієрархічної лінійної регресії? Люди зазвичай просто роблять MCMC чи є більш спеціалізовані, можливо частково закриті форми, алгоритми?

9 regression  bayesian  multiple-regression  multilevel-analysis  irls 

Скажімо, у мене є ряд рядків для проблеми класифікації: Х1, . . .ХN, YХ1,...ХN,YX_1, ... X_N, Y Де Х1, . . . ,ХNХ1,...,ХNX_1, ..., X_N є ознаками / провісниками та YYY - клас, до якого належить поєднання функцій рядка. Багато комбінацій функцій та їх класи повторюються в наборі даних, який …

9 machine-learning  classification  data-mining  logistic  stratification