Статистика та великі дані

Ситуація Деякі дослідники хотіли б укласти вас спати. Залежно від таємного кидання справедливої ​​монети, вони ненадовго пробудять вас або один раз (Голова), або двічі (Хвости). Після кожного пробудження вони повернуть вас спати з препаратом, який змушує забути це пробудження. Коли ви прокидаєтесь, до якої міри ви повинні вірити, що результатом …

133 decision-theory  paradox 

Це те, що мене клопоче якийсь час, і я не зміг знайти задовільних відповідей в Інтернеті, тож ось: Переглянувши набір лекцій з питань опуклої оптимізації, метод Ньютона, здається, є значно кращим алгоритмом, ніж градієнтне сходження, щоб знайти глобально оптимальні рішення, тому що метод Ньютона може забезпечити гарантію його рішення, він …

132 machine-learning  optimization  gradient-descent  hessian 

Я читаю книгу обміну даними, і в ній згадується статистика Kappa як засіб для оцінки ефективності прогнозування класифікаторів. Однак я просто не можу цього зрозуміти. Я також перевірив Вікіпедію, але це теж не допомогло: https://en.wikipedia.org/wiki/Cohen's_kappa . Як Каппа Коена допомагає оцінювати ефективність прогнозування класифікаторів? Що це говорить? Я розумію, що …

131 classification  data-mining  cohens-kappa 

В недавній статті в Amstat Новини , автори (Марк ван дер Лан і Шеррі Роуз) заявив , що «Ми знаємо , що для досить великих розмірів вибірки, кожне дослідження, в тому числі ті , в яких нульова гіпотеза про відсутність ефекту вірно - буде оголосити статистично значущий ефект. " Ну, …

129 hypothesis-testing  sample-size  dataset  large-data 

Мені було цікаво, чим відрізняється дисперсія від стандартного відхилення. Якщо обчислити два значення, зрозуміло, що ви отримуєте стандартне відхилення від дисперсії, але що це означає з точки зору розподілу, який ви спостерігаєте? Крім того, навіщо вам справді потрібне стандартне відхилення?

127 variance  mathematical-statistics  standard-deviation 

Я вивчаю розпізнавання образів і статистику, і майже кожна книга, яку я відкриваю на тему, натрапляю на концепцію відстані махаланобіса . Книги дають свого роду інтуїтивні пояснення, але все ще недостатньо хороші для мене, щоб насправді зрозуміти, що відбувається. Якби хтось запитав мене: "Яка відстань махаланобіса?" Я могла відповісти лише: …

127 normal-distribution  mathematical-statistics  distance  pattern-recognition  intuition 

Випадкові ліси вважаються чорними ящиками, але останнім часом я думав, які знання можна отримати з випадкового лісу? Найбільш очевидною є важливість змінних, у найпростішому варіанті це можна зробити, просто обчисливши кількість зустрічей змінної. Друге, про що я думав - це взаємодії. Я думаю, що якщо кількість дерев є достатньо великою, …

127 machine-learning  data-mining  interaction  random-forest  cart 

Я дуже здивований, що ніхто, здається, вже не питав цього ... Під час обговорення оцінок два терміни, які часто використовуються, є "послідовними" та "неупередженими". Моє запитання просте: в чому різниця? Точні технічні визначення цих термінів досить складні, і важко зрозуміти, що вони означають . Я можу уявити собі хороший і …

125 unbiased-estimator  estimators  consistency 

У групі студентів є 2 з 18, які є лівшею. Знайдіть задній розподіл ліворуких студентів у популяції, припускаючи, що раніше неінформативний. Підсумуйте результати. За даними літератури 5-20% людей - лівші. Враховуйте цю інформацію в попередньому і обчислюйте нову задню. Я знаю, що тут слід використовувати бета-розподіл . По-перше, значення αα\alpha …

124 distributions  bayesian  prior  posterior 

Останнім часом я читав про глибоке навчання, і мене бентежить термін (або, скажімо, технології). Яка різниця між Конволюційні нейронні мережі (CNN), Машини з обмеженим набором Больцмана (RBM) та Авто-кодери?

123 neural-networks  deep-learning  conv-neural-network  autoencoders  rbm 

У мене є кадр даних з багатьма спостереженнями та багатьма змінними. Деякі з них є категоричними (не упорядкованими), а інші - числовими. Я шукаю асоціацій між цими змінними. Мені вдалося обчислити кореляцію для числових змінних (кореляція Спірмена), але: Я не знаю, як виміряти співвідношення між невпорядкованими категоричними змінними. Я не …

123 r  correlation  categorical-data  continuous-data  mixed-type-data 

Чим відрізняється лінійна регресія від логістичної регресії? Коли ви використовували б кожен?

122 regression  logistic  linear-model 

У нас є випадковий експеримент з різними результатами, що формують пробний простір на якому ми з цікавістю дивимось на певні шаблони, звані подіямиСигма-алгебри (або сигма-поля) складаються з подій, яким може бути призначений міра ймовірності . Виконуються певні властивості, включаючи включення нульового набору та всього вибіркового простору та алгебри, яка описує …

122 probability  intuition  measure-theory  sigma-algebra 

Питання (злегка модифіковане) йде наступним чином, і якщо ви ніколи не стикалися з ним, перш ніж ви можете перевірити його в прикладі 6а, глава 2, « Перший курс правдоподібності Шелдона Росса» : Припустимо, ми маємо нескінченно велику урну та нескінченну колекцію кульок з написом куля №1, №2, №3 тощо. Розглянемо …

121 probability  paradox 

Як я можу дізнатися, коли вибрати між Spearman's та Pearson's ? Моя змінна включає задоволення, і бали були інтерпретовані за допомогою суми балів. Однак ці результати можна було також оцінити.ρρ\rhorrr

119 correlation  pearson-r  spearman-rho