Статистика та великі дані

Я налаштовую пошук в сітці для групи парам. Я намагаюся знайти найкращі параметри нейронної мережі Кераса, яка робить бінарну класифікацію. Вихід або 1, або 0. Є близько 200 функцій. Коли я здійснив пошук по сітці, я отримав купу моделей та їх параметрів. Найкраща модель мала ці параметри: Epochs : 20 …

13 machine-learning  cross-validation  deep-learning  tensorflow  theano 

Я відповідаю за те, щоб представити результати моїх / тестових робіт (на веб-сайтах) у моїй компанії. Ми проводимо тест протягом місяця, а потім перевіряємо р-значення через рівні проміжки часу, поки не досягнемо значущості (або відмовляємося, якщо значущість не буде досягнута після тривалого запуску тесту), те, що я зараз з’ясовую, є …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

Ці два вирази мене сильно збентежили, коли я вивчав статистику. Мені здається, це абсолютно різні речі. Випадкова вибірка є випадковим чином взяти пробу з популяції, в той час як випадкова величина , як функція , яка відображає безліч всіх можливих результатів експерименту з реальним числом. Однак скажіть, якщо я малюю …

13 mathematical-statistics  random-variable  terminology  sample 

Моє запитання випливає з наступного факту. Я читав дописи, блоги, лекції, а також книги про машинне навчання. Моє враження, що практикуючі машинного навчання, здається, байдужі до багатьох речей, про які піклуються статистики / економетрики. Зокрема, фахівці з машинного навчання наголошують на точності прогнозування щодо висновку. Один із таких прикладів трапився, …

13 machine-learning  self-study  inference 

Я розумію, що однією з причин логістичної регресії часто використовується для прогнозування частоти кліків в Інтернеті є те, що вона створює добре калібровані моделі. Чи є хороше математичне пояснення цьому?

13 regression  logistic 

Відповідність показника схильності використовується для причинно-наслідкових висновків у спостережних дослідженнях (див. Статтю Розенбаум / Рубін ). Яка проста інтуїція, за якою вона працює? Іншими словами, чому, якщо ми впевнені, що ймовірність участі в лікуванні є рівною для двох груп, сумнівні наслідки зникають, і ми можемо використати результат, щоб зробити причинно-наслідкові …

13 causality  regression-strategies  propensity-scores  confounding 

Я використовую scikit-learn для виконання логістичної регресії з перехресною валідністю на наборі даних (близько 14 параметрів з> 7000 нормалізованими спостереженнями). У мене також є цільовий класифікатор, який має значення або 1, або 0. Проблема в тому, що незалежно від використовуваного рішення, я продовжую отримувати попередження про конвергенцію ... model1 = …

13 logistic  cross-validation  scikit-learn 

Я намагаюся пристосувати просту модель закону про владу до набору даних таким чином: mydf: rev weeks 17906.4 1 5303.72 2 2700.58 3 1696.77 4 947.53 5 362.03 6 Мета полягає в тому, щоб пропустити лінію електропередачі і використовувати її для прогнозування revвластей на майбутні тижні. Купка досліджень привела мене до …

13 r  predictive-models  nonlinear-regression  power-law  nls 

У мене вже є уявлення про плюси і мінуси регресії хребта та LASSO. Для LASSO штрафний термін L1 дасть вектор розрідженого коефіцієнта, який можна розглядати як метод вибору функції. Однак для LASSO є деякі обмеження. Якщо функції мають високу кореляцію, LASSO вибере лише одну з них. Крім того, для проблем, …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Я розумію міркування щодо нормалізації стовпців, оскільки це призводить до того, що характеристики зважуються однаково, навіть якщо вони не вимірюються в одній шкалі - проте, часто в найближчій сусідній літературі обидва стовпці та рядки нормалізуються. Для чого / для чого нормалізувати рядки? Зокрема, як результат нормалізації рядків впливає на подібність …

13 normalization  distance  similarities  k-nearest-neighbour 

Дійсно наткнувся на цей. Мені дуже хотілося б прикладу чи ситуації, коли оцінювач B був би одночасно послідовним та упередженим.

13 mathematical-statistics  estimation  econometrics 

Я плутаю припущення про лінійність logit для безперервних змінних прогнозів в аналізі логістичної регресії. Чи потрібно перевіряти лінійну залежність під час скринінгу на потенційних прогнокторів, використовуючи невідмінний логістичний регресійний аналіз? У моєму випадку я використовую багаторазовий логістичний регресійний аналіз для виявлення факторів, пов’язаних із статусом харчування (дихотомічним результатом) серед учасників. …

13 regression  logistic  assumptions  splines  regression-strategies 

Це схоже на Bootstrap: оцінка знаходиться за межами довірчого інтервалу У мене є деякі дані, які представляють кількість генотипів у популяції. Я хочу оцінити генетичне різноманіття за допомогою індексу Шеннона, а також генерувати довірчий інтервал, використовуючи завантажувальний інструмент. Я помітив, однак, що оцінка за допомогою завантажувальної програми, як правило, є …

13 r  confidence-interval  bootstrap  bias  diversity 

Я намагаюся налаштувати гіперпараметри алгоритму регресії гауссового процесу, який я реалізував. Я просто хочу максимально збільшити граничну ймовірність журналу, задану формулою де K - матриця коваріації з елементи K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2} (x_i-x_j) ^ TM (x_i-x_j)) …

13 regression  optimization  gaussian-process  hyperparameter 

Я вивчав архітектуру сіамської нейронної мережі, запровадженої Яном Лекуном та його колегами в 1994 році для розпізнавання підписів ( "Перевірка підписів за допомогою нейронної мережі затримки в часі сіамської " .pdf , NIPS 1994) Я зрозумів загальну ідею цієї архітектури, але насправді не можу зрозуміти, як працює розмноження в цьому …

13 neural-networks