Статистика та великі дані

Ось моє старе питання Я хотів би запитати, чи знає хтось різницю (якщо є якась різниця) між прихованими моделями Маркова (HMM) і фільтром частинок (PF), і як наслідок, фільтром Kalman, або за яких обставин ми використовуємо який алгоритм. Я студент, і я повинен робити проект, але спочатку я повинен зрозуміти …

21 machine-learning  self-study  hidden-markov-model  kalman-filter  particle-filter 

У мене є основні дані щодо скорочення викидів та вартості автомобіля: q24 <- read.table(text = "reductions cost.per.car 50 45 55 55 60 62 65 70 70 80 75 90 80 100 85 200 90 375 95 600 ",header = TRUE, sep = "") Я знаю, що це експоненціальна функція, тому …

21 r  self-study  exponential  starting-values 

Часто згадується, що випрямлені лінійні одиниці (ReLU) витіснили одиниці softplus, оскільки вони лінійні та швидші для обчислення. Чи є у softplus все-таки перевага, що викликає розрідженість, або це обмежено для ReLU? Причина, яку я запитую, це те, що я цікавлюсь негативними наслідками нульового схилу ReLU. Хіба ця властивість не «захоплює» …

21 machine-learning  neural-networks 

Максимум X1,…,Xn.∼X1,…,Xn.∼X_1,\dots,X_n. \sim iid Standardnormals переходить до стандартного розподілу Gumbel відповідно до теорії екстремальних значень . Як ми можемо це показати? Ми маємо П( макс. Xi≤ х ) = Р( X1≤ x , … , Xн≤ х ) = Р( X1≤ x ) ⋯ P( Xн≤x)=F(x)nP(maxXi≤x)=P(X1≤x,…,Xn≤x)=P(X1≤x)⋯P(Xn≤x)=F(x)nP(\max X_i \leq x) = …

21 probability  normal-distribution  convergence  extreme-value 

Зокрема, скажіть, що у мене є дві події, A і B, а також деякі параметри розподілу , і я хотів би подивитися на .P ( A | B , θ )θθ \theta П( A | B , θ )П(А|Б,θ)P(A | B,\theta) Отже, найпростішим визначенням умовної ймовірності є, враховуючи деякі події …

21 probability  conditional-probability 

Після проведення аналізу основних компонентів (PCA) я хочу спроектувати новий вектор на простір PCA (тобто знайти його координати в системі координат PCA). Я розрахував PCA мовою R за допомогою prcomp. Тепер я повинен мати можливість помножити свій вектор на матрицю обертання PCA. Чи повинні головні компоненти в цій матриці розташовуватися …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

За допомогою наступного набору даних я хотів побачити, чи змінюється реакція (ефект) щодо сайтів, сезону, тривалості та їх взаємодії. Деякі інтернет-форуми зі статистикою запропонували мені продовжувати використовувати лінійні моделі змішаних ефектів, але проблема полягає в тому, що оскільки репліки рандомізовані в межах кожної станції, у мене є мало шансів зібрати …

21 r  mixed-model  lme4-nlme 

Я дізнаюся про емпіричну функцію кумулятивного розподілу. Але я все одно не розумію Чому його називають "емпіричним"? Чи є різниця між емпіричним CDF та CDF?

21 distributions  terminology  cdf  ecdf 

У класичній статистиці існує визначення, що статистичний набору даних визначений як повний для параметра , неможливо сформувати з нього непідвладне оцінювач нетривіально. Тобто єдиний спосіб мати для всіх - це бути майже точно.TTTy1,…,yny1,…,yny_1, \ldots, y_nθθ\theta000Eh(T(y))=0Eh(T(y))=0E h(T (y )) = 0θθ\thetahhh000 Чи є за цим інтуїція? Це здається досить механічним способом …

21 mathematical-statistics  intuition  unbiased-estimator  definition  complete-statistics 

У моєму класі ймовірностей постійно використовуються терміни "сум випадкових величин". Однак я застряг у тому, що саме це означає? Ми говоримо про суму купу реалізацій від випадкової величини? Якщо так, то чи не додається це до одного числа? Яким чином сума випадкових змінних реалізацій приводить нас до розподілу або cdf …

21 probability  self-study  random-variable  terminology 

Я запитую про ланцюги Маркова, і останні дві частини говорять про це: Чи має цей ланцюг Марків обмежувальне поширення. Якщо ваша відповідь "так", знайдіть обмежуючий розподіл. Якщо ваша відповідь «ні», поясніть чому. Чи має цей ланцюг Марків стаціонарне поширення. Якщо ваша відповідь «так», знайдіть стаціонарний розподіл. Якщо ваша відповідь «ні», …

21 markov-process 

Я оцінюю фізичну модель і хотів би знати, який із методів я повинен тут використовувати (між RMSE та коефіцієнтом визначення R2) Проблема полягає в наступному: у мене є функція, яка видає прогнози на вхідне значення x, . У мене також є фактичне спостереження за цим значенням, яке я називаю .ух¯¯¯¯¯= …

21 error 

Я хочу обчислити розподіл ймовірності для загальної кількості комбінацій кісток. Я пам’ятаю, що ймовірність - це кількість комбінацій, що становить ціле число від загальної кількості комбінацій (якщо припустити, що кістки мають рівномірний розподіл). Для чого формули Загальна кількість комбінацій Кількість комбінацій, що складають певну кількість

21 probability  dice 

Я читав папір для нормалізації партії (BN) (1) і не розумів необхідності використання ковзаючих середніх для відстеження точності моделі, і навіть якщо я визнав, що це правильно зробити, я не розумію що саме вони роблять. Наскільки я розумію (що я помиляюся), у статті йдеться про те, що вона використовує статистику …

21 machine-learning  neural-networks  deep-learning  conv-neural-network  batch-normalization 

Мені хотілося б знати, чи є якісь / якісь переваги використання стратифікованого вибірки замість випадкової вибірки під час поділу оригінального набору даних на навчальний та тестовий набір для класифікації. Крім того, чи вводить стратифікований вибірковий отвір більше класифікації в класифікатор, ніж випадковий вибірки Додаток, для якого я хотів би використовувати …

21 classification  cross-validation  random-forest  train  stratification