Статистика та великі дані

У мене розподіл зарплат і я хочу порівняти різницю в засобах для чоловіків і жінок. Я знаю, що є студентський тест для порівняння двох засобів, але після того, як запропонував ANOVA, я отримав певну критику, сказавши, що ANOVA - це порівняння більш ніж двох засобів. Що (якщо що-небудь) не так …

11 hypothesis-testing  anova  t-test 

Я провожу дослідження, щоб вивчити відмінності в щільності риб та багатстві видів риб при використанні двох різних підводних методів візуального перепису. Мої дані спочатку підраховували дані, але зазвичай це змінюється на щільність риби, але я все ж вирішив використовувати Poisson GLM, що, я сподіваюся, правильно. model1 <- glm(g_den ~ method …

11 r  generalized-linear-model  poisson-distribution  offset 

Припустимо, у мене є класифікатор (це може бути будь-який із стандартних класифікаторів, як дерево рішень, випадковий ліс, логістична регресія ... тощо) для виявлення шахрайства за допомогою наведеного нижче коду library(randomForest) rfFit = randomForest(Y ~ ., data = myData, ntree = 400) # A very basic classifier Say, Y is a …

11 classification  supervised-learning 

Наш професор не потрапляє в математику чи навіть геометричне зображення множинної лінійної регресії, і це мене трохи збентежило. З одного боку, це все ще називається множинною лінійною регресією, навіть у більш високих розмірах. З іншого боку, якщо ми, наприклад , Y = B 0 + B 1 X 1 + …

11 multiple-regression  high-dimensional 

Який правильний спосіб визначити різницю в різницькій моделі з даними окремих панелей рівня? Ось така настройка: Припустимо, що дані панелей на індивідуальному рівні вбудовуються у містах протягом декількох років, і лікування залежить від рівня міста. Формально, нехай буде результатом індивідуального в місті і рік і є фіктивною чи заходи ураженого …

11 econometrics  panel-data  fixed-effects-model  difference-in-difference 

Я отримав дані про півгодинну попит, що є багатосезонним часовим рядом. Я використовував tbatsв forecastпакеті в R, і отримав результати , як це: TBATS(1, {5,4}, 0.838, {<48,6>, <336,6>, <17520,5>}) Чи означає це, що в ряді необов’язково використовувати перетворення Box-Cox, а термін помилки - ARMA (5, 4), а терміни 6, 6 …

11 r  time-series  diagnostic  multiple-seasonalities  tbats 

Мені було цікаво, чи існують якісь методи машинного навчання (без нагляду) для моделювання поздовжніх даних? Я завжди використовував моделі змішаних ефектів (переважно нелінійні), але мені було цікаво, чи існують інші способи цього (за допомогою машинного навчання). Під машинним навчанням я маю на увазі випадковий ліс, класифікацію / кластеризацію, дерева рішень …

11 machine-learning  mixed-model 

Я шукаю модель між запасами енергії та погодою. У мене є ціна MWatt, куплена між країнами Європи, і багато цінності погоди (файли Grib). Кожні години протягом 5 років (2011-2015). Ціна / добу Це на день протягом одного року. Я маю це за годину протягом 5 років. Приклад погоди 3Dscatterplot, у …

11 time-series  forecasting  predictive-models  modeling  large-data 

Раніше я брав курс з МЛ, але тепер, коли я працюю з проектами, пов’язаними з МЛ, на моїй роботі я дуже намагаюся реально застосувати його. Я впевнений, що речі, якими я займаюся, були досліджені / вирішені раніше, але я не можу знайти конкретні теми. Усі приклади машинного навчання, які я …

11 machine-learning  references  train  application 

Я читав документ про нормалізацію партії [1], і в ній був один розділ, де йдеться про приклад, намагаючись показати, чому нормалізацію потрібно робити обережно. Я, чесно кажучи, не можу зрозуміти, як працює приклад, і мені справді дуже цікаво зрозуміти, що вони створюють папір, наскільки я можу. Спочатку дозвольте це процитувати …

11 machine-learning  neural-networks  conv-neural-network 

Я використовую передачу NN. Я розумію концепцію, але моє питання стосується ваг. Як ви можете їх інтерпретувати, тобто що вони представляють, або як вони можуть бути знятими (що стосується просто коефіцієнтів функції)? Я знайшов щось, що називається "простір ваг", але я не зовсім впевнений, що це означає.

11 neural-networks  weights 

Нещодавно ми побачили появу Залишкової Нейронної Мережі, де кожен шар складається з обчислювального модуля та з'єднання, що зберігає вхід до шару, такого як вихід i-го шару демонструє: Мережа дозволяє витягнути залишкові характеристики та дозволяє отримати більш глибоку глибину, в той час як бути більш надійною до зникаючої градієнтної проблеми, досягаючи …

11 machine-learning  neural-networks  deep-learning  gradient-descent  residual-networks 

Я намагаюся зробити вибір моделей на деяких прогнозованих кандидатах, використовуючи LASSO з постійним результатом. Мета полягає у виборі оптимальної моделі з найкращою продуктивністю прогнозування, що зазвичай може бути виконано перехресним перевіркою K-кратного результату після отримання шляху рішення параметрів настройки від LASSO. Проблема тут полягає в тому, що дані походять із …

11 cross-validation  survey  lasso  glmnet 

Я намагаюся зрозуміти і знати, про що потрібно повідомити з мого аналізу деяких даних за допомогою усереднення моделі в Р. Я використовую такий сценарій для аналізу ефекту методу вимірювання над заданою змінною: Ось набір даних: https://www.dropbox.com/s/u9un273gzw9o30u/VMT4.csv?dl=0 Модель, що підлягає встановленню: LM.1 <- gls(VMTf ~ turn+sex+method, na.action="na.fail", method = "ML",VMT4) екскаватор …

11 r  model-averaging 

Хто-небудь намагався перевірити, чи встановлення моделі Elastic Net з ElasticNetнауками на Python та glmnetR в одному наборі даних дає однакові арифметичні результати? Я експериментував з багатьма комбінаціями параметрів (оскільки дві функції відрізняються за значеннями за замовчуванням, які вони передають аргументам), а також масштабування даних, але ніби нічого не створює однакову …

11 machine-learning  scikit-learn  glmnet  elastic-net