Запитання з тегом «ab-test»

Я щойно натрапив на цю статтю , в якій описано, як обчислити повторюваність (він же - надійність, також внутрішньокласова кореляція) вимірювання за допомогою моделювання змішаних ефектів. R-код буде: #fit the model fit = lmer(dv~(1|unit),data=my_data) #obtain the variance estimates vc = VarCorr(fit) residual_var = attr(vc,'sc')^2 intercept_var = attr(vc$id,'stddev')[1]^2 #compute the unadjusted …

28 mixed-model  reliability  intraclass-correlation  repeatability  spss  factor-analysis  survey  modeling  cross-validation  error  curve-fitting  mediation  correlation  clustering  sampling  machine-learning  probability  classification  metric  r  project-management  optimization  svm  python  dataset  quality-control  checking  clustering  distributions  anova  factor-analysis  exponential  poisson-distribution  generalized-linear-model  deviance  machine-learning  k-nearest-neighbour  r  hypothesis-testing  t-test  r  variance  levenes-test  bayesian  software  bayesian-network  regression  repeated-measures  least-squares  change-scores  variance  chi-squared  variance  nonlinear-regression  regression-coefficients  multiple-comparisons  p-value  r  statistical-significance  excel  sampling  sample  r  distributions  interpretation  goodness-of-fit  normality-assumption  probability  self-study  distributions  references  theory  time-series  clustering  econometrics  binomial  hypothesis-testing  variance  t-test  paired-comparisons  statistical-significance  ab-test  r  references  hypothesis-testing  t-test  normality-assumption  wilcoxon-mann-whitney  central-limit-theorem  t-test  data-visualization  interactive-visualization  goodness-of-fit 

Я інженер програмного забезпечення, який прагне створити інструмент для тестування а / б . У мене немає твердої статистики, але я читав зовсім небагато читань протягом останніх кількох днів. Я дотримуюсь описаної тут методики і підсумую відповідні моменти нижче. Інструмент дозволить дизайнерам та експертам домену налаштувати веб-сайт для розподілу трафіку, …

22 hypothesis-testing  statistical-significance  proportion  ab-test 

Я розробник програмного забезпечення, який працює над системами тестування A / B. Я не маю надійної статистики, але за останні кілька місяців я набираю знань. Типовий тестовий сценарій включає порівняння двох URL-адрес на веб-сайті. Відвідувач відвідує, LANDING_URLа потім випадковим чином пересилається на URL_CONTROLабо URL_EXPERIMENTAL. Відвідувач являє собою зразок, і умова …

18 power-analysis  ab-test  sequential-analysis  optimal-stopping 

Я відповідаю за те, щоб представити результати моїх / тестових робіт (на веб-сайтах) у моїй компанії. Ми проводимо тест протягом місяця, а потім перевіряємо р-значення через рівні проміжки часу, поки не досягнемо значущості (або відмовляємося, якщо значущість не буде досягнута після тривалого запуску тесту), те, що я зараз з’ясовую, є …

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

У нас є дві когорти по 1000 зразків кожна. Ми вимірюємо 2 кількості в кожній когорті. Перший - це двійкова змінна. Другий - це дійсне число, яке слід за важким розподілом хвоста. Ми хочемо оцінити, яка когорта найкраще відповідає кожній метриці. Існує велика кількість статистичних тестів на вибір: люди пропонують …

12 ab-test 

Днями на вебінарі, проведеному тестовою компанією з / б, його резидент "Data Scientist" пояснив, що слід підтвердити результати, повторивши експеримент. Якщо ви виберете 95% впевненість, існує 5% (1/20) шансів на помилковий позитив. Якщо ви повторно запустите експеримент з тими ж обмеженнями, тепер є 1/400 (я припускаю, що вони визначили це …

11 probability  hypothesis-testing  statistical-significance  ab-test 

Я використовую формулу баєсівського тестування ab для того, щоб обчислити результати тесту АВ за методологією Байєса. Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA)Pr(pB>pA)=∑i=0αB−1B(αA+i,βB+βA)(βB+i)B(1+i,βB)B(αA,βA) \Pr(p_B > p_A) = \sum^{\alpha_B-1}_{i=0} \frac{B(\alpha_A+i,\beta_B+\beta_A)}{(\beta_B+i)B(1+i,\beta_B)B(\alpha_A, \beta_A)} де αAαA\alpha_A в одному плюс кількість успіхів для A βAβA\beta_A в один плюс кількість відмов для A αBαB\alpha_B в один плюс кількість успіхів для B βBβB\beta_B …

10 r  bayesian  ab-test