Статистика та великі дані

Я експериментую трохи автокодерами, і за допомогою tensorflow я створив модель, яка намагається відновити набір даних MNIST. Моя мережа дуже проста: X, e1, e2, d1, Y, де e1 і e2 - це кодуючі шари, d2 і Y - декодуючі шари (а Y - реконструйований вихід). X має 784 одиниці, e1 …

21 mse  autoencoders  tensorflow  cross-entropy 

Наприклад, в R, MASS::mvrnorm()функція корисна для генерації даних для демонстрації різних речей у статистиці. Він бере обов'язковий Sigmaаргумент, який є симетричною матрицею, що визначає коваріаційну матрицю змінних. Як би я створив симетричну матрицю з довільними записами?n×nn×nn\times n

21 r  random-generation  covariance-matrix 

Застосування функції softmax на вектор призведе до "ймовірностей" і значень між і . 000111 Але ми також можемо розділити кожне значення на суму вектора, що призведе до ймовірностей і значень між і .000111 Я читаю відповідь тут, але в ній сказано, що причина полягає в тому, що вона відрізняється, хоча …

20 machine-learning  neural-networks  softmax 

Під час впровадження ResNet Tensorflow я вважаю, що вони використовують ініціалізатор дисперсійного масштабування, а також ініціалізатор xavier є популярним. Я не маю надто багато досвіду щодо цього, що краще на практиці?

20 machine-learning  neural-networks  deep-learning  conv-neural-network  tensorflow 

Я працював з деякими даними, які мають певні проблеми з повторними вимірюваннями. Роблячи це, я помітив дуже різну поведінку між lme()і lmer()використовуючи свої тестові дані, і хочу знати, чому. Створений мною підроблений набір даних містить вимірювання висоти та ваги для 10 предметів, зроблених двічі кожен. Я встановив дані, щоб між …

20 r  mixed-model  lme4-nlme 

У мене є дві змінні, які не показують особливої ​​кореляції, коли будуються одна проти одної, але дуже чітке лінійне співвідношення, коли я будую журнали кожної змінної, починаючи з іншої. Тому я закінчую модель типу: log(Y)=alog(X)+blog⁡(Y)=alog⁡(X)+b\log(Y) = a \log(X) + b , що є великим математично, але, схоже, не має пояснювального …

20 regression  correlation  log 

Я намагаюся написати програму на R, яка імітує псевдо випадкові числа з розподілу з функцією кумулятивного розподілу: F(x)=1−exp(−ax−bp+1xp+1),x≥0F(x)=1−exp⁡(−ax−bp+1xp+1),x≥0F(x)= 1-\exp \left(-ax-\frac{b}{p+1}x^{p+1}\right), \quad x \geq 0 деa,b>0,p∈(0,1)a,b>0,p∈(0,1)a,b>0, p \in (0,1) Я спробував обернути відбір проб, але зворотний не здається аналітично вирішим. Буду радий, якби ви могли запропонувати вирішення цієї проблеми

20 r  random-generation 

Я провів декілька досліджень щодо пристосування та недоопрацювання, і зрозумів, що вони саме є, але не можу знайти причин. Які основні причини перевиконання та недоотримання? Чому ми стикаємося з цими двома проблемами при навчанні моделі?

20 machine-learning  dataset  overfitting 

Наступна цитата походить з відомого дослідницького документу Статистичне значення для широких досліджень геному Storey & Tibshirani (2003): Наприклад, хибнопозитивна ставка 5% означає, що в середньому 5% справді нульових ознак у дослідженні будуть називатися значущими. FDR (показник помилкового виявлення) 5% означає, що серед усіх функцій, які називаються значущими, 5% з них …

20 hypothesis-testing  false-discovery-rate  type-i-and-ii-errors  confusion-matrix  false-positive-rate 

Я робив певну роботу в науці, і розмова прийшла з членом основної групи наукових досліджень, чи може негативна дискретна випадкова величина мати не визначений момент. Я думаю, що він правильний, але не має доказів. Чи може хтось показати / довести це твердження? (або якщо ця претензія не відповідає дійсності) У …

20 mathematical-statistics  expected-value 

Я просто зрозумів, що завжди працював з проблемою регресії, де незалежні змінні завжди були числовими. Чи можу я використовувати лінійну регресію у випадку, коли всі незалежні змінні є категоричними?

20 regression  categorical-data 

Здається, що за повсякденної ймовірності (а не квантової фізики) ймовірності насправді є лише заміною невідомого. Візьміть, наприклад, монетку. Ми кажемо, що це "випадково", 50% зміна голови та 50% шанс хвостів. Однак, якби я точно знав щільність, розмір та форму монети; щільність повітря; з якою силою монета перевернулася; куди саме була …

20 probability  philosophical 

Я намагаюся використовувати приклад, описаний в документації Keras під назвою "Складений LSTM для класифікації послідовностей" (див. Код нижче) і не можу визначити input_shapeпараметр у контексті моїх даних. Я маю на увазі матрицю послідовностей з 25 можливих символів, закодованих цілими числами, до вкладеної послідовності максимальної довжини 31. В результаті мій x_trainмає …

20 lstm  keras  shape  dimensions 

Я проводжу невеликий експеримент з регресією LASSO в R, щоб перевірити, чи зможе він знайти ідеальну пару передбачувачів. Пара визначається так: f1 + f2 = результат Результатом цього є заздалегідь визначений вектор, який називається "вік". F1 і f2 створюються, беручи половину вікового вектора і встановлюючи решта значень 0, наприклад: age …

20 r  regression  feature-selection  lasso  high-dimensional 

Я маю справу з Баєсовою ієрархічною лінійною моделлю , тут мережа описує її. YYY являє собою щоденний продаж товару в супермаркеті (спостерігається). ХXX - відома матриця регресорів, що включає ціни, акції, день тижня, погоду, свята. 1SSS - невідомий латентний рівень запасів кожного товару, який викликає найбільшу кількість проблем і який …

20 regression  bayesian  neural-networks  generalized-linear-model  bayesian-network