Запитання з тегом «feature-selection»

У мене вже є уявлення про плюси і мінуси регресії хребта та LASSO. Для LASSO штрафний термін L1 дасть вектор розрідженого коефіцієнта, який можна розглядати як метод вибору функції. Однак для LASSO є деякі обмеження. Якщо функції мають високу кореляцію, LASSO вибере лише одну з них. Крім того, для проблем, …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

Існує кілька публікацій про те, як вибрати функції. Один із методів описує важливість функції на основі t-статистики. У R, varImp(model)застосованому на лінійній моделі зі стандартизованими ознаками, використовується абсолютне значення t-статистики для кожного параметра моделі. Таким чином, ми в основному вибираємо особливість на основі її t-статистики, тобто наскільки точним є коефіцієнт. …

12 regression  p-value  feature-selection 

Тож я розумію, що вибір змінних є частиною вибору моделі. Але з чого саме складається вибір моделі? Це більше ніж наступне: 1) виберіть дистрибутив для вашої моделі 2) вибрати пояснювальні змінні,? Я запитую це, тому що я читаю статтю Burnham & Anderson: AIC vs BIC, де вони говорять про AIC …

12 feature-selection  model-selection  aic  bic 

У мене є набір даних, який представляє 1000 документів і всі слова, які містяться в ньому. Отже, рядки представляють документи, а стовпці - слова. Так, наприклад, значення у комірці означає час, коли виникає в документі . Тепер я повинен знайти "вагу" слів, використовуючи метод tf / idf, але я фактично …

12 r  data-mining  feature-selection 

Заблокований . Це запитання та його відповіді заблоковано, оскільки це питання поза темою, але має історичне значення. Наразі не приймає нових відповідей чи взаємодій. Я дуже новачок у Р. Я зараз навчаюсь машинного навчання. Дуже шкода, якщо це питання видається дуже основним. Я намагаюся знайти гарний пакет вибору функцій у …

12 r  feature-selection 

Я намагаюся зрозуміти, чому збільшення кількості функцій може знизити продуктивність. Наразі я використовую класифікатор LDA, який працює краще двозначно серед певних функцій, але гірше, коли дивлюся більше функцій. Моя точність класифікації виконується за допомогою стратифікованого 10-кратного xval. Чи є простий випадок, коли класифікатор працював би краще одноразово, ніж двоваріантно, щоб …

12 classification  feature-selection 

У мене є дані з мінімальною кількістю функцій, які не змінюються, і декілька додаткових функцій, які можуть змінюватися і мають великий вплив на результат. Мій набір даних виглядає приблизно так: Особливості: A, B, C (завжди присутній) та D, E, F, G, H (іноді присутній) A = 10, B = 10, …

12 machine-learning  feature-selection 

Примітка: це запитання є репостом, оскільки моє попереднє питання довелося видалити з юридичних причин. Порівнюючи PROC MIXED від SAS з функцією lmeз nlmeпакету в R, я натрапив на деякі досить заплутані відмінності. Більш конкретно, ступеня свободи в різних випробувань відрізняються між PROC MIXEDі lme, і я задавався питанням, чому. Почніть …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Традиційний підхід до вибору змінних полягає у пошуку змінних, які найбільше сприяють прогнозуванню нової відповіді. Нещодавно я дізнався про альтернативу цьому. При моделюванні змінних, що визначають ефект від лікування - як, наприклад, у клінічному випробуванні фармацевтичного препарату, - ця зміна вважається якісно взаємодіючоюз лікуванням, якщо, залишаючи інші речі виправленими, зміна …

12 regression  feature-selection 

Техніка особливостей часто є важливою складовою для машинного навчання (її активно використовували, щоб виграти Кубок KDD у 2010 році ). Однак я вважаю, що і більшість технічних методів знищити будь-яке інтуїтивне значення основних рис або дуже специфічні для певного домену або навіть конкретних типів функцій. Класичним прикладом першого є аналіз …

12 predictive-models  feature-selection  feature-construction 

Я повинен зменшити кількість змінних для проведення кластерного аналізу. Мої змінні сильно корелюються, тому я думав зробити факторний аналіз PCA (аналіз основних компонентів). Однак якщо я використовую отримані оцінки, мої кластери не зовсім коректні (порівняно з попередніми класифікаціями в літературі). Питання: Чи можу я використовувати матрицю обертання для вибору змінних …

12 clustering  pca  feature-selection  factor-analysis 

Я запрограмував логістичну регресію за допомогою алгоритму IRLS . Я хотів би застосувати санкцію LASSO для автоматичного вибору потрібних функцій. При кожній ітерації вирішується наступне: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Нехай - невід'ємне дійсне число. Я не караю перехоплення, як пропонується в "Елементах". Статистичне навчання . Дітто для вже нульових коефіцієнтів. В іншому …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

У стисненому зондуванні існує гарантія теореми про те, що має унікальне розріджене рішення c (докладнішу інформацію див. У додатку).cargmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Чи існує аналогічна теорема для лассо? Якщо є така теорема, вона не тільки гарантує стабільність ласо, але …

12 regression  self-study  feature-selection  lasso  regularization 

У мене є дані з кількома тисячами функцій, і я хочу зробити рекурсивний вибір функцій (RFE), щоб видалити неінформативні. Я роблю це з каретою та RFE. Однак я почав думати, якщо я хочу отримати найкращу регресію (наприклад, випадковий ліс), коли мені слід виконати налаштування параметрів ( mtryдля РФ)? Тобто, наскільки …

12 regression  feature-selection  random-forest  caret 

У навчанні підкріплення часто використовується лінійне наближення функції, коли є великі простори стану. (Коли шукати таблиці стають нездійсненними.) Форма значення з наближенням до лінійної функції задається числомQ -Q−Q- Q ( s , a ) = w1f1( з , а ) + ш2f2( s , a ) + ⋯ ,Q(s,a)=w1f1(s,a)+w2f2(s,a)+⋯,Q(s,a) = …

12 machine-learning  feature-selection  reinforcement-learning