Статистика та великі дані

Перетворюючи змінні, чи потрібно вам використовувати одне й те саме перетворення? Наприклад, чи можу я вибрати і вибрати різні змінені змінні, як у: Нехай, - вік, тривалість роботи, тривалість проживання та дохід.x1,x2,x3x1,x2,x3x_1,x_2,x_3 Y = B1*sqrt(x1) + B2*-1/(x2) + B3*log(x3) Або ви повинні бути узгоджені зі своїми перетвореннями і використовувати все …

41 r  regression  logistic  data-transformation 

Припустимо, вам дано два об'єкти, точні місця яких невідомі, але розподілені відповідно до звичайних розподілів із відомими параметрами (наприклад, та . Можна припустити, що це обидві біваріантні нормали, так що положення описуються розподілом по координатам (тобто і - вектори, що містять очікувані координати для і відповідно). Ми також будемо вважати, …

41 normal-distribution  distance-functions 

Я багато разів читав / чув, що розмір вибірки принаймні 30 одиниць вважається "великим зразком" (припущення щодо нормальності засобів зазвичай приблизно дотримуються завдяки CLT, ...). Тому в своїх експериментах я зазвичай генерую зразки 30 одиниць. Чи можете ви, будь ласка, дати мені якусь посилання, яку слід навести при використанні зразка …

41 references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb 

Я знаю тести на нормальність, але як зробити тест на "Пуассон-Несс"? У мене є зразок ~ 1000 невід’ємних цілих чисел, які, я підозрюю, взяті з розподілу Пуассона, і я хотів би це перевірити.

41 hypothesis-testing  distributions  poisson-distribution  goodness-of-fit 

Якщо подивитися на Вольфрам Альфа Або ця сторінка Вікіпедії Список країн за середнім віком Зрозуміло, що медіана, здається, є статистикою вибору, коли мова йде про віки. Я не в змозі пояснити собі, чому середнє арифметичне було б гіршою статистикою. Чому так? Спочатку розміщено тут, бо я не знав, що цей …

41 mean  median 

Якщо дві змінні мають 0 кореляцію, чому вони не обов'язково є незалежними? Чи незалежні кореляційні змінні незалежні за особливих обставин? Якщо можливо, я шукаю інтуїтивне пояснення, а не високо технічне.

41 correlation  independence 

Зараз я переживаю випадковий пошук Bengio та Bergsta для оптимізації гіперпараметрів [1], де автори стверджують, що випадковий пошук є більш ефективним, ніж пошук в сітці, щоб досягти приблизно однакової продуктивності. Моє запитання: Чи згодні люди з цим твердженням? У своїй роботі я використовував пошук в сітці здебільшого через відсутність інструментів, …

41 machine-learning  hyperparameter  optimization 

Я запускаю класифікацію у Weka для певного набору даних, і я помітив, що якщо я намагаюся передбачити номінальне значення, то вихід конкретно показує правильно та неправильно прогнозовані значення. Однак тепер я запускаю його для числового атрибута, а вихід: Correlation coefficient 0.3305 Mean absolute error 11.6268 Root mean squared error 46.8547 …

41 machine-learning  error  weka  mse  rms 

Чи є глибока різниця між нормальним та гауссовим розподілом, я бачив багато паперів, що використовують їх без розрізнення, і зазвичай також посилаюся на них як на одне і те ж. Однак нещодавно мій ІП сказав мені, що нормальним є специфічний випадок гаусса із середнім = 0 та std = 1, …

41 normal-distribution  terminology 

Припустимо, і це функція щільності і функція розподілу стандартного нормального розподілу.ϕ ( ⋅ )ϕ(⋅)\phi(\cdot)Φ ( ⋅ )Φ(⋅)\Phi(\cdot) Як можна обчислити інтеграл: ∫∞- ∞Φ ( ш - аб) ϕ(w)д ш∫−∞∞Φ(w−ab)ϕ(w)dw\int^{\infty}_{-\infty}\Phi\left(\frac{w-a}{b}\right)\phi(w)\,\mathrm dw

41 mathematical-statistics  normal-distribution  integral 

Я хотів би знати, як інтерпретувати різницю значень f-вимірювання. Я знаю, що f-міра - це збалансоване середнє значення між точністю та відкликанням, але я запитую про практичне значення різниці у F-мірах. Наприклад, якщо класифікатор C1 має точність 0,4, а інший класифікатор C2 - точність 0,8, то можна сказати, що C2 …

41 classification  precision-recall 

Я визнаю, що я відносно новачок у показниках схильності та причинному аналізі. Одне, що не очевидно для мене як для новачків, - це те, як «врівноваження» за допомогою балів схильності математично відрізняється від того, що відбувається, коли ми додаємо коваріати в регресію? Що відрізняється від операції, і чому це (або …

41 regression  multivariate-analysis  causality  propensity-scores 

Зокрема, я думаю, мені цікаво таке твердження: Майбутні основні версії TensorFlow дозволять градієнтам потрапляти в мітки, що вводяться на задній панелі, за замовчуванням. Що відображається при використанні tf.nn.softmax_cross_entropy_with_logits. У цьому ж повідомленні він закликає мене подивитися tf.nn.softmax_cross_entropy_with_logits_v2. Я переглянув документацію, але в ній вказано лише, що для tf.nn.softmax_cross_entropy_with_logits_v2: Зворотне розповсюдження …

41 machine-learning  supervised-learning  tensorflow  backpropagation 

У мене є інформація з інформатики, але я намагаюся навчити себе даним, вирішуючи проблеми в Інтернеті. Я працюю над цією проблемою останні кілька тижнів (приблизно 900 рядків і 10 функцій). Спочатку я використовував логістичну регресію, але тепер перейшов на випадкові ліси. Коли я запускаю свою випадкову лісову модель за моїми …

41 random-forest  overfitting 

Дві випадкові величини A і B статистично незалежні. Це означає, що в DAG процесу: і звичайно . Але чи це також означає, що від В до А немає вхідних дверей?(A⊥⊥B)(A⊥⊥B)(A {\perp\!\!\!\perp} B)P(A|B)=P(A)P(A|B)=P(A)P(A|B)=P(A) Тому що тоді нам слід отримати . Отже, якщо це так, чи автоматично статистична незалежність означає відсутність причинного …

40 independence  causality  bayesian-network  dag