Статистика та великі дані

Мені завжди говорили, що CDF унікальний, однак PDF / PMF не унікальний, чому це так? Чи можете ви навести приклад, коли PDF / PMF не унікальний?

17 probability  distributions  pdf  cdf 

Я використовував неодноразову перехресну перевірку k-кратного перегляду та повідомляв про середнє значення (метрики оцінювання, наприклад, чутливість, специфічність), обчислене як велике середнє значення для складок різних пробігів перехресної перевірки. Однак я не впевнений, як я повинен повідомити про відхилення. Тут я знайшов багато питань, що обговорювали повторну перехресну перевірку, однак жодне, …

17 cross-validation 

Відповідь на питання Зв’язок між коефіцієнтами кореляції фі, Метьюса та Пірсона? показує, що три коефіцієнтні методи - це всі еквіваленти. Я не зі статистики, тому це повинно бути легким питанням. У статті Метьюса (www.sciencedirect.com/science/article/pii/0005279575901099) описано наступне: "A correlation of: C = 1 indicates perfect agreement, C = 0 is expected …

17 correlation  interpretation  pearson-r 

Я використовую, FactoMineRщоб зменшити набір даних вимірювань до прихованих змінних. Карта змінна вище ясно для мене , щоб інтерпретувати, але я збентежений , коли мова йде про зв'язки між змінними і компонента 1. Подивившись на змінної карті, ddpі covдуже близько до компоненту в карті, і ddpAbsтрохи далі геть. Але це …

17 correlation  pca  factor-analysis  association-measure  biplot 

Ей, хлопці, я знайшов один-два документи, які використовують регресію хребта (для даних баскетболу). Мені завжди казали стандартизувати свої змінні, якщо я провів регресію хребта, але мені просто сказали це зробити, тому що хребет був варіантом масштабу (регресія хребта насправді не була частиною нашого курсу, тому наш лектор проглянув його). Ці …

17 regression  standardization 

Здається, що KNN - це дискримінаційний алгоритм навчання, але я не можу знайти Інтернет-джерел, які це підтверджували. Чи є КНН дискримінаційним алгоритмом навчання?

17 machine-learning  classification  k-nearest-neighbour 

Я не можу зрозуміти використання поліноміальних контрастів для регресії. Зокрема, я маю на увазі кодування, яке використовується Rдля вираження інтервальної змінної (порядкової змінної з однаково розташованими рівнями), описаної на цій сторінці . У прикладі цієї сторінки , якщо я правильно зрозумів, R підходить для моделі інтервальної змінної, повертаючи деякі коефіцієнти, …

17 r  regression  contrasts 

У мене наступне зображення, яке мені було сказано, є ілюстрацією того, як задній розподіл ймовірностей є комбінацією попереднього та вірогідного розподілів. Мені сказали, що в зображенні щось не так, а саме те, що задній розподіл не може мати вигляд, який він надає формі функції ймовірності. Але я з усіх сил …

17 distributions  posterior 

Говорячи про поздовжні дані, ми можемо неодноразово посилатися на дані, зібрані протягом одного часу від одного предмета / навчальної одиниці, таким чином, існують кореляції для спостережень у межах одного предмета, тобто схожість предмета. Говорячи про дані часових рядів, ми також посилаємось на дані, зібрані протягом декількох періодів часу, і це …

17 time-series  terminology  panel-data 

Базові дані : У мене є близько 1000 осіб, позначених оцінками: '1,' [добре] '2,' [середній] або '3' [погано] - це значення, які я намагаюся передбачити для людей у ​​майбутньому . На додаток до цього, у мене є деяка демографічна інформація: стать (категоричний: M / F), вік (числовий: 17-80) та расовий …

17 r  regression  logistic  missing-data  ordered-logit 

Останнім часом я вивчаю автокодери. Якщо я правильно зрозумів, автокодер - це нейронна мережа, де вхідний шар ідентичний вихідному шару. Отже, нейронна мережа намагається передбачити вихід, використовуючи вхід як золотий стандарт. У чому корисність цієї моделі? Які переваги намагаються відновити деякі вихідні елементи, зробивши їх максимально рівними вхідним елементам? Чому …

17 neural-networks  autoencoders 

Я не дуже розумію гетеросцедастичність. Мені хотілося б знати, чи підходить моя модель чи ні відповідно до цього сюжету.

17 r  regression  residuals  heteroscedasticity  independence 

Я дуже вражений тим, що Poisson GLM приймає не цілі числа! Подивіться: Дані (вміст data.txt): 1 2001 0.25 1 1 2002 0.5 1 1 2003 1 1 2 2001 0.25 1 2 2002 0.5 1 2 2003 1 1 R скрипт: t <- read.table("data.txt") names(t) <- c('site', 'year', 'count', 'weight') …

17 r  generalized-linear-model  poisson-distribution  poisson-regression 

У мене є набір даних з переважно фінансовими змінними (120 функцій, приклади 4 к), які в основному є дуже корельованими та дуже галасливими (наприклад, технічні показники), тому я хотів би вибрати приблизно 20-30 для подальшого використання при навчанні моделі (двійкова класифікація - збільшення / зменшення). Я думав про використання випадкових …

17 feature-selection  random-forest  python 

Мені було цікаво, чи існує зв’язок між та F-тестом.R2R2R^2 Як правило , R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1} і вимірює силу лінійної залежності в регресії. F-тест просто доводить гіпотезу. Чи існує взаємозв'язок між R2R2R^2 і F-тестом?

17 regression  hypothesis-testing  least-squares  goodness-of-fit