Статистика та великі дані

Ми вивчаємо машинне навчання за допомогою машинного навчання: ймовірнісна перспектива (Кевін Мерфі). Хоча текст пояснює теоретичну основу кожного алгоритму, він рідко каже, у якому випадку, який алгоритм кращий, а коли це робиться, він не говорить, як сказати, у якому випадку я перебуваю. Наприклад, для вибору ядра мені сказали робити дослідницький …

16 machine-learning  eda 

Регресія хребта оцінює параметри в лінійній моделі \ mathbf y = \ mathbf X \ boldsymbol \ beta по \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) ^ {- 1} \ mathbf X …

16 regression  ridge-regression  shrinkage 

Я вивчаю конволюційні нейронні мережі (CNN) завдяки їх застосуванню в комп'ютерному зорі. Я вже знайомий зі стандартними нейронними мережами, що рухаються вперед, тому я сподіваюся, що деякі люди тут можуть допомогти мені зробити додатковий крок у розумінні CNN. Ось що я думаю про CNN: У традиційних NN-каналах подачі даних у …

16 neural-networks  deep-learning  conv-neural-network  convolution 

Сьогодні я викладав вступний клас статистики, і студент підійшов до мене із запитанням, яке я перефразую тут так: "Чому стандартне відхилення визначається як sqrt дисперсії, а не як sqrt суми квадратів над N?" Визначимо дисперсію популяції: σ2=1N∑(xi−μ)2σ2=1N∑(xi−μ)2\sigma^2=\frac{1}{N}\sum{(x_i-\mu)^2} І стандартне відхилення: σ=σ2−−√=1N√∑(xi−μ)2−−−−−−−−−−√σ=σ2=1N∑(xi−μ)2\sigma=\sqrt{\sigma^2}=\frac{1}{\sqrt{N}}\sqrt{\sum{(x_i-\mu)^2}} . Інтерпретація ми можемо дати σσ\sigma , що вона …

16 variance  standard-deviation  intuition  teaching 

Це питання є технічним продовженням цього питання . У мене виникають проблеми з розумінням та тиражуванням моделі, представленої в Raftery (1988): Висновок щодо біноміального параметра : ієрархічний підхід БайєсаNNN в WinBUGS / OpenBUGS / JAGS. Тут йдеться не лише про код, хоча це повинно бути тематичним тут. Фон Нехай - …

16 bayesian  binomial  hierarchical-bayesian  winbugs 

Той, який використовується опцією "garde.D" (еквівалентний єдиному варіанту "Ward" у версіях R <= 3.0.3), не реалізує критерій кластеризації Уорда (1963 р.), Тоді як варіант "garde.D2" реалізує цей критерій ( Мурта і Легенда 2014). ( http://stat.ethz.ch/R-manual/R-patched/library/stats/html/hclust.html ) Судячи з усього, garde.D не належним чином виконує критерій Уорда. Тим не менш, це, …

16 r  clustering  ward 

Як я розумію, перцептрон / одношарова штучна нейронна мережа з функцією логістичної сигмоїдної активації є тією ж моделлю, що і логістична регресія. Обидві моделі задані рівнянням: F(x)=11−e−βXF(x)=11−e−βXF(x) = \frac{1}{1-e^{-\beta X}} Алгоритм навчання персептрон в Інтернеті та керований помилками, тоді як параметри логістичної регресії можна дізнатися, використовуючи різні алгоритми пакетної роботи, …

16 logistic  communication 

Мені потрібно буде представити проект нестатистикам на майбутній конференції, і я хотів би включити цитату, яку я прочитав в один момент, яка робить порівняння між статистикою та машиною, яка переробляє руду. Причина в тому, що я хочу підкреслити певний зв’язок між можливостями статистики та цілями аудиторії. Я не можу знайти …

16 references  quotation 

Останні місяці я інтенсивно читав про квантилітичну регресію під час підготовки до магістерської роботи цього літа. Зокрема, я прочитав більшість книг Роджера Коенкера 2005 року на цю тему. Тепер я хочу розширити ці наявні знання на методи кількісної регресії, що дозволяють отримати інструментальні змінні (IV). Це здається активною сферою досліджень, …

16 regression  references  econometrics  instrumental-variables  quantile-regression 

Я маю помірний досвід прогнозування часових рядів. Я переглянув декілька книг з прогнозуванням, і не бачу наступних питань, вирішених у жодній із них. У мене є два питання: Як я можу визначити об'єктивно (за допомогою статистичного тесту), якщо для даного часового ряду є: Стохастична сезонність або детермінована сезонність Стохастична тенденція …

16 time-series  forecasting  arima  stochastic-processes 

Я новачок на сторінці та досить нова статистика та Р. Я працюю над проектом для коледжу з метою знайти співвідношення між дощем та рівнем потоку води в річках. Як тільки кореляція буде доведена, я хочу її передбачити / передбачити. У мене є сукупність даних за декілька років (що приймаються кожні …

16 r  time-series  forecasting  cross-correlation  lags 

У мене є сумніви щодо того, який показник продуктивності використовувати, площа під кривою ROC (TPR як функція FPR) або площа під кривою точності відкликання (точність як функція відкликання). Мої дані незбалансовані, тобто кількість негативних випадків значно більша, ніж позитивних. Я використовую вихідне передбачення Weka, зразок: inst#,actual,predicted,prediction 1,2:0,2:0,0.873 2,2:0,2:0,0.972 3,2:0,2:0,0.97 4,2:0,2:0,0.97 …

16 r  machine-learning  roc  precision-recall  auc 

Я намагаюся навчитися використовувати Маркові випадкові поля для сегментації регіонів зображення. Я не розумію, які параметри в MRF чи чому максимізація очікування, яку я виконую, не вдається іноді сходитися до рішення. Починаючи з теореми Байєса, у мене , де - значення сірого масштабу пікселя, а - мітка класу. Я вирішив …

16 expectation-maximization  image-processing  classification 

Я думав над цією проблемою. http://en.wikipedia.org/wiki/Two_envelopes_problem Я вважаю, що рішення і я думаю, що я його розумію, але якщо я дотримуюся наступного підходу, я повністю заплутаний. Проблема 1: Я запропоную вам наступну гру. Ви платите мені 10 доларів, і я перекину справедливу монету. Голови я даю вам 5 доларів, а …

16 probability  paradox  puzzle 

Я використовую glmerфункцію з lme4пакету в R, і я використовую bobyqaоптимізатор (тобто за замовчуванням у моєму випадку). Я отримую попередження, і мені цікаво, що це означає. Warning message: In optwrap(optimizer, devfun, start, rho$lower, control = control, : convergence code 3 from bobyqa: bobyqa -- a trust region step failed to …

16 r  optimization  lme4-nlme  convergence  glmm