Статистика та великі дані

У мене є набір даних, який містить як безперервні, так і категоричні дані. Я аналізую, використовуючи PCA, і мені цікаво, чи добре включати категоричні змінні у складі аналізу. Я розумію, що PCA можна застосовувати лише до постійних змінних. Це правильно? Якщо їх не можна використовувати для категоричних даних, які альтернативи …

147 categorical-data  pca  correspondence-analysis  mixed-type-data 

Я треную нейронну мережу, але втрата тренувань не зменшується. Як я можу це виправити? Я не запитую про перевиконання чи регуляризацію. Я запитую про те, як вирішити проблему, коли продуктивність моєї мережі не покращується на навчальному наборі . Це питання навмисно загальне, тому інші питання про те, як потренувати нейронну …

147 neural-networks  deep-learning 

У кількох різних контекстах ми посилаємося на центральну граничну теорему, щоб обґрунтувати будь-який статистичний метод, який ми хочемо прийняти (наприклад, апроксимувати біноміальний розподіл звичайним розподілом). Я розумію технічні деталі того, чому теорема є правдивою, але мені тільки що прийшло в голову, що я не дуже розумію інтуїцію, що стоїть за …

144 intuition  central-limit-theorem 

Я дізнався R, але, схоже, компанії набагато більше цікавляться досвідом SAS. Які переваги SAS над R?

143 r  sas 

Найсучаснішою нелінійністю є використання випрямлених лінійних одиниць (ReLU) замість сигмоподібної функції в глибокій нейронній мережі. Які переваги? Я знаю, що навчання мережі, коли використовується ReLU, було б швидше, і це більш біологічно натхненно, які інші переваги? (Тобто, якісь недоліки використання сигмоїди)?

141 machine-learning  neural-networks  deep-learning 

Ось стаття, яка мотивувала це питання: чи нетерплячість робить нас жирними? Ця стаття мені сподобалась, і вона чудово демонструє концепцію "контролю за іншими змінними" (IQ, кар'єра, дохід, вік тощо), щоб найкраще виділити справжній зв'язок між лише двома розглянутими змінними. Чи можете ви пояснити мені, як ви насправді керуєте змінними на …

141 regression  causality  confounding  controlling-for-a-variable  statistics-in-media 

Чи завжди хороша ідея тренуватися з повним набором даних після перехресної перевірки ? Інакше кажучи, чи нормально тренуватися з усіма зразками в моєму наборі даних і не можете перевірити, чи відповідає саме цей примір ? Деякі відомості про проблему: Скажіть, у мене є сімейство моделей, параметризованих . Скажіть також, що …

139 machine-learning  cross-validation  model-selection 

Я отримав це питання під час інтерв'ю з Amazon: 50% усіх, хто отримує перше інтерв'ю, отримують друге інтерв'ю 95% ваших друзів, які отримали друге інтерв'ю, вважають, що вони провели перше інтерв'ю 75% ваших друзів, які НЕ отримали другого інтерв'ю, вважають, що провели перше співбесіду Якщо ви відчуваєте, що у вас …

139 probability  conditional-probability 

Останнім часом цей документ приділяв багато уваги (наприклад, від WSJ ). В основному, автори роблять висновок, що Facebook втратить 80% своїх членів до 2017 року. Вони ґрунтують свої претензії на екстраполяції моделі SIR - компартментної моделі, яка часто використовується в епідеміології. Їх дані черпають з пошуків Google у "Facebook", і …

138 hypothesis-testing  correlation  epidemiology  social-network 

Я використовую в кратної перехресної перевірки кілька разів зараз , щоб оцінити продуктивність деяких алгоритмів навчання, але я завжди був спантеличений про те , як я повинен вибрати значення .КKKKKKK Я часто бачив і використовував значення , але це здається мені абсолютно довільним, і тепер я просто використовую за звичкою, …

136 machine-learning  classification  cross-validation 

Мене сьогодні в класі запитали, чому ви ділите суму квадратної помилки на замість на при обчисленні стандартного відхилення.nn−1n−1n-1nnn Я сказав, що не збираюся відповідати на уроці (оскільки я не хотів вступати в неупереджені оцінки), але пізніше я задумався - чи є інтуїтивне пояснення цьому ?!

136 standard-error  intuition  teaching  bessels-correction 

Зараз я використовую SVM з лінійним ядром для класифікації моїх даних. На навчальному наборі помилок немає. Я спробував кілька значень параметра ( 10 - 5 , … , 10 2 ). Це не змінило помилки на тестовому наборі.СCC10- 5, … , 10210−5,…,10210^{-5}, \dots, 10^2 Тепер мені цікаво: чи це помилка, …

134 machine-learning  svm  libsvm 

Які загальновиробничі функції, що використовуються при оцінці працездатності нейронних мереж? Деталі (не соромтеся пропустити решту цього питання. Мій намір тут - просто дати пояснення щодо того, що відповіді можуть бути використані, щоб допомогти їм бути зрозумілішими для широкого читача) Я думаю, було б корисно скласти перелік загальних функцій витрат, а …

133 machine-learning  neural-networks 

У мене є набір даних і я хотів би визначити, який розподіл найкраще відповідає моїм даним. Я використовував fitdistr()функцію для оцінки необхідних параметрів для опису передбачуваного розподілу (тобто Weibull, Cauchy, Normal). Використовуючи ці параметри, я можу провести тест Колмогорова-Смірнова, щоб оцінити, чи є мої вибіркові дані з того ж розподілу, …

133 r  distributions  goodness-of-fit  kolmogorov-smirnov  distribution-identification 

Чим відрізняються PCA та класичний MDS? Як щодо MDS проти неметричного MDS? Чи є час, коли ви віддасте перевагу одному над іншим? Як відрізняються інтерпретації?

133 pca  multidimensional-scaling  pcoa