Статистика та великі дані

Я використовую Lasso для вибору функцій у відносно низькому розмірі (n >> p). Після встановлення моделі Лассо я хочу використовувати коваріати з ненульовими коефіцієнтами, щоб відповідати моделі без штрафних санкцій. Я роблю це, тому що хочу об'єктивних оцінок, які Лассо мені не може дати. Я також хотів би p-значень та …

17 regression  feature-selection  lasso  unbiased-estimator 

Я переглядаю такий блог у нейронній мережі LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Автор переробляє вхідний вектор X як [зразки, часові кроки, особливості] для різної конфігурації LSTM. Автор пише Дійсно, послідовності літер є часовими кроками однієї ознаки, а не одним часовим кроком окремих ознак. Ми надали більше контексту для мережі, але не більше послідовності, …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Я працюю з багатьма алгоритмами: RandomForest, DecisionTrees, NaiveBayes, SVM (ядро = лінійне та rbf), KNN, LDA та XGBoost. Усі вони були досить швидкими, за винятком SVM. Саме тоді я дізнався, що для швидшого роботи потрібне масштабування функцій. Тоді я задумався, чи варто робити те ж саме для інших алгоритмів.

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Я прочитав наступні публікації щодо вкладеної перехресної перевірки, і все ще не на 100% впевнений, що мені робити з вибором моделі з вкладеною перехресною перевіркою: Вкладена перехресна перевірка для вибору моделі Вибір моделі та перехресне підтвердження: правильний шлях Щоб пояснити свою плутанину, дозвольте мені спробувати пройти вибір моделі з вкладеним …

17 cross-validation  scikit-learn  hyperparameter 

По-перше, вибачення за розміщення питання, про яке вже обговорювались тут , тут , тут , тут , тутта для повторного розігрівання старої теми. Я знаю, що @DikranMarsupial досить довго писав про цю тему у публікаціях та журнальних статтях, але я все ще плутаюся, і, судячи з кількості подібних публікацій тут, …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Я намагаюся зрозуміти велику заяву про картину, висловлену в Taleb, 2016, «Мета-розподіл стандартних P-значень» . У ньому Taleb висуває такий аргумент щодо ненадійності p-значення (наскільки я його розумію): Процедура оцінки, що працює на точках даних, що надходять із деякого значення розподілу X виводить значення ap. Якщо ми виведемо ще n …

17 hypothesis-testing  statistical-significance  p-value 

Якщо у мене є дані і я запускаю класифікацію (скажімо, випадковий ліс за цими даними) з перехресною валідацією (скажімо, у 5 разів), чи можу я зробити висновок про те, що в моєму методі немає надмірного розміщення?

17 cross-validation  overfitting 

Supppse XXX і YYY стандартно рівномірно розподілені в [0,1][0,1][0, 1] , і вони незалежні, що таке PDF у форматі Z=Y/XZ=Y/XZ = Y / X ? Відповідь з деякого підручника з теорії ймовірностей є fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le z \le 1 …

17 probability  derived-distributions 

Питання: Яка ідея та інтуїція лежать в основі оцінки максимально можливої ​​ймовірності (QMLE; також відома як псевдооцінка максимальної ймовірності, PMLE)? Що змушує оцінювач працювати, коли фактичний розподіл помилок не відповідає передбачуваному розподілу помилок? Сайт Вікіпедії для QMLE чудовий (короткий, інтуїтивно зрозумілий), але я можу використати ще трохи інтуїції та деталей, …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Як зазначено в цьому питанні, максимальний ранг коваріаційної матриці дорівнює де - розмір вибірки, і тому, якщо розмірність матриці коваріації дорівнює розміру вибірки, вона буде єдиною. Я не можу зрозуміти, чому ми віднімаємо від максимального рангу коваріаційної матриці.n 1 nn−1n−1n-1nnn111nnn

17 covariance-matrix  linear-algebra 

Тому я багато читав про те, як правильно інтерпретувати P-значення, і з того, що я прочитав, значення p говорить НІЧОГО про ймовірність того, що нульова гіпотеза є правдивою чи помилковою. Однак, читаючи таке твердження: Значення p представляє ймовірність помилки I типу або відхилення нульової гіпотези, коли вона відповідає дійсності. Чим …

17 hypothesis-testing  p-value 

Після того, як я побудував (регресійну) випадкову лісову модель в R, виклик rf$importanceнадає мені два заходи для кожної змінної предиктора %IncMSEта IncNodePurity. Чи є інтерпретація, що змінні предиктора з меншими %IncMSEзначеннями важливіші, ніж змінні предиктора з більшими %IncMSEзначеннями? Як щодо IncNodePurity?

17 r  feature-selection  random-forest 

У стандартному налаштуваннях максимальної вірогідності (iid зразок з деякого розподілу з щільністю )) і у випадку коректно вказаної моделі Фішер інформацію надає f y ( y | θ 0Y1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0} I(θ)=−Eθ0[∂2θ2lnfy(θ)]I(θ)=−Eθ0[∂2θ2ln⁡fy(θ)]I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right] де очікування приймається щодо справжньої щільності, яка генерувала дані. Я читав, що спостерігається інформація …

17 maximum-likelihood  fisher-information 

Я чув, що згідно з нульовою гіпотезою розподіл p значення має бути рівномірним. Однак моделювання біноміального тесту в MATLAB повертається дуже різними від однорідних розподілів із середнім значенням більше 0,5 (0,518 в даному випадку): coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; for j …

17 matlab  p-value  binomial  simulation  uniform 

Я знайшов цю реалізацію Python в Дженкс Natural Breaks алгоритму , і я міг би зробити його запустити на моєму комп'ютері Windows 7. Це досить швидко, і він знаходить перерви за кілька разів, враховуючи розмір моїх геоданих. Перш ніж використовувати цей алгоритм кластеризації для моїх даних, я використовував sklearn.clustering.KMeans (тут) …

17 python  clustering  optimization