Запитання з тегом «algorithms»

Я хочу оцінити кількість деяких даних. Дані настільки величезні, що їх неможливо розмістити в пам'яті. Дані не є статичними, нові дані продовжують надходити. Хтось знає який-небудь алгоритм для моніторингу квантових даних, що спостерігалися до цього часу, з дуже обмеженою пам'яттю та обчисленнями? Я вважаю алгоритм P2 корисним, але він не …

24 algorithms  quantiles 

У кожному підручнику, який я бачив, описані алгоритми ML та способи їх реалізації. Чи є також підручник, який будує теореми та докази поведінки цих алгоритмів? наприклад, заявивши, що за умов спуск градієнта завжди призведе до A , B , C ?х , у, zx,y,zx,y,zА , В , СA,B,CA,B,C

23 machine-learning  mathematical-statistics  references  algorithms 

Це питання стосується ефективного способу обчислення основних компонентів. Багато текстів на лінійній PCA пропонують використовувати сингулярне розкладання значення випадкових даних . Тобто, якщо ми маємо дані і хочемо замінити змінні (її стовпці ) основними компонентами, ми робимо SVD: , сингулярні значення (квадратні корені власних значень), що займають основну діагональ , …

22 pca  algorithms  svd  matrix-decomposition 

Я повинен негайно уточнити, що я практикуючий розробник програмного забезпечення, а не статистик, і що клас моєї статистики в коледжі був дуже давно ... З огляду на це, я хотів би знати, чи існує метод накопичення набору описових статистичних даних, який потім може бути використаний для отримання коробки, що не …

22 algorithms  median  quantiles 

Я прочитав зовсім небагато прихованих моделей Маркова і сам зміг кодувати досить базову версію. Але є два основні способи, які, здається, я навчусь. Одне - прочитати та впровадити його в код (що робиться), а друге - зрозуміти, як він застосовується в різних ситуаціях (тому я можу краще зрозуміти, як це …

21 algorithms  markov-process 

Після проведення аналізу основних компонентів (PCA) я хочу спроектувати новий вектор на простір PCA (тобто знайти його координати в системі координат PCA). Я розрахував PCA мовою R за допомогою prcomp. Тепер я повинен мати можливість помножити свій вектор на матрицю обертання PCA. Чи повинні головні компоненти в цій матриці розташовуватися …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

У мене виникають проблеми з генерацією набору стаціонарних кольорових часових рядів, враховуючи їх матрицю коваріації (їх спектральні щільності потужності (PSD) та спектральні щільності спектру потужності (CSD)). Я знаю, що, враховуючи два часові ряди та , я можу оцінити їх спектральні щільності потужності (PSD) та перехресні спектральні щільності (CSD), використовуючи багато …

20 time-series  sampling  algorithms  simulation  covariance 

мігрували з math.stackexchange . Я обробляю довгий потік цілих чисел і розглядаю можливість відстеження декількох моментів, щоб можна було приблизно обчислити різні відсотки для потоку, не зберігаючи багато даних. Який найпростіший спосіб обчислити відсотки за кілька моментів. Чи є кращий підхід, який передбачає зберігання лише невеликої кількості даних?

20 algorithms  mathematical-statistics  moments 

Я не фахівець з випадкових лісів, але чітко розумію, що ключовим питанням випадкового лісу є (випадкове) генерування дерев. Чи можете ви пояснити мені, як генеруються дерева? (тобто Який використовуваний розподіл для генерації дерев?) Спасибі заздалегідь !

20 machine-learning  r  algorithms  cart  random-forest 

Я намагаюся порівняти складну обчислювальну складність / швидкість оцінки трьох груп методів лінійної регресії, як це відмічено у Hastie et al. "Елементи статистичного навчання" (2-е видання), глава 3: Вибір підмножини Методи усадки Методи з використанням похідних напрямків введення (PCR, PLS) Порівняння може бути дуже приблизним, просто щоб дати деяку думку. …

18 machine-learning  estimation  feature-selection  algorithms  time-complexity 

Мені потрібно обчислити вибірку відстані махаланобіса в R між кожною парою спостережень в матриці коваріатів . Мені потрібно рішення , яке є ефективним, тобто тільки відстані обчислюються, і переважно реалізовані в C / RCpp / Fortran і т.д. Я вважаю , що , матриця коваріації населення, невідомий і використовувати зразок …

18 r  algorithms  distance 

Чи більш ефективна реалізація ER (яка схожа Extreme Gradient Boostingна збільшення градієнта) - чи важлива різниця з практичної точки зору? Є R пакет, який реалізує їх. Чи є новий алгоритм, який долає "загальну" реалізацію (пакет RandomForest від R) не лише з точки зору ефективності, але і в деяких інших сферах? …

18 r  machine-learning  algorithms  random-forest 

На менших розмірах вікон n log nсортування може працювати. Чи є кращі алгоритми для цього?

18 algorithms  median 

Припустимо, у мене щільна матриця розміром m × n , при розкладі SVD A = U S V ⊤ . У можна обчислити СВД наступним чином : .AA \textbf{A}m×nm×nm \times nA=USV⊤.A=USV⊤.\mathbf{A}=\mathbf{USV}^\top.Rsvd(A) Якщо до A додати новий -й ряд , чи можна обчислити нове розкладання SVD на основі старого (тобто, використовуючи …

17 algorithms  svd  linear-algebra  matrix-decomposition  numerics 

Можна виконати логіт-регресію в R, використовуючи такий код: > library(MASS) > data(menarche) > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, + family=binomial(logit), data=menarche) > coefficients(glm.out) (Intercept) Age -21.226395 1.631968 Схоже, алгоритм оптимізації зблизився - є інформація про номер кроків алгоритму оцінки рибалки: Call: glm(formula = cbind(Menarche, Total - Menarche) ~ Age, …

17 r  generalized-linear-model  optimization  algorithms  logit