Запитання з тегом «normalization»

Мені потрібно генерувати випадкові неквадратичні матриці з рядками та стовпцями, елементами, випадковим чином розподіленими із середнім = 0, та обмеженими таким чином, що довжина (норма L2) кожного рядка дорівнюєRRRCCC111 а довжина кожного стовпця - . Рівнозначно, значення квадратних значень дорівнює 1 для кожного рядка і для кожного стовпця.RC−−√RC\sqrt{\frac{R}{C}}RCRC\frac{R}{C} Поки я …

25 random-generation  normalization  markov-process  random-matrix 

Я пишу алгоритм, де, задаючи модель, я обчислюю ймовірність списку наборів даних, а потім потрібно нормалізувати (до ймовірності) кожного з вірогідних. Тож щось на зразок [0,00043, 0,00004, 0,00321] може бути перетворене на таке, як [0,2, 0,03, 0,77]. Моя проблема полягає в тому, що ймовірність журналу, з якою я працюю, зовсім …

21 probability  normalization  likelihood  c++  arithmetic 

Мабуть, в ієрархічній кластеризації, в якій мірою відстані є евклідова відстань, дані потрібно спочатку нормалізувати або стандартизувати, щоб запобігти руху коваріату з найбільшою дисперсією від керування кластеризацією. Чому це? Хіба цей факт не бажаний?

19 clustering  normalization 

Деякі функції моїх даних мають великі значення, а інші мають значно менші значення. Чи потрібно центрувати + масштабні дані перед застосуванням t-SNE, щоб запобігти зміщенню до великих значень? Я використовую реалізацію sklern.manifold.TSNE Python із метрикою евклідової відстані за замовчуванням.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

У мене є запитання, в якому він просить перевірити, чи нормалізується Уніфікований розподіл ( Uniform(a,b)Uniform(a,b){\rm Uniform}(a,b) ). Для одного, що означає нормалізація будь-якого розподілу? І два, як ми можемо перевірити, нормалізується чи ні розподіл? Я розумію, обчислюючи ми отримуємо нормалізовані дані , але тут він просить перевірити , нормалізується чи …

18 data-transformation  terminology  normalization  standardization 

Припустимо , що ми маємо NNN вимірних величин, (a1,a2,…,aN)(a1,a2,…,aN)(a_1, a_2, \ldots, a_N) , ми робимо ряд M>NM>NM > N вимірювань, а потім хочете виконати сингулярне розкладання за результатами , щоб знайти осі самої високої дисперсії для MMM точок у NNN -вимірному просторі. ( Примітка: припустить , що кошти я вже …

17 pca  data-transformation  normalization  dimensionality-reduction  svd 

Чи мають нормалізуючі дані (щоб мати нульове середнє значення та стандартне відхилення одиниці) перед виконанням повторної перехресної перевірки k-кратного перешкоди, як-небудь негативні наслідки, такі як перевиконання? Примітка. Це стосується ситуації, коли #cases> total #features Я перетворюю деякі свої дані за допомогою перетворення журналу, а потім нормалізую всі дані, як зазначено …

17 cross-validation  normalization 

У дослідженнях експресії генів за допомогою мікроматеріалів дані про інтенсивність мають бути нормалізовані, щоб можна було порівнювати інтенсивність між індивідами, між генами. Концептуально та алгоритмічно, як працює «нормалізація кванті», і як би ви пояснили це нестатисту?

15 genetics  normalization  microarray 

Скажімо, у мене є класифікатор логістичної регресії. У звичайному серійному навчанні я мав би термін регуляризатора, щоб запобігти надягання і зберегти ваги невеликими. Я б також нормалізував і масштабував свої функції. У режимі онлайн-навчання я отримую безперервний потік даних. Я оновлюю градієнтне зменшення з кожним прикладом, а потім відкидаю його. …

15 machine-learning  normalization  regularization  online 

Я брав курс машинного навчання Ендрю Нґ, і не зміг отримати відповідь на це питання правильно після декількох спроб. Ласкаво допоможіть вирішити це, хоч я пройшов рівень. Припустимо, студенти взяли якийсь клас, а клас мав середній іспит та підсумковий іспит. Ви зібрали набір даних про їхні бали на двох іспитах:м=4m=4m=4 …

14 machine-learning  self-study  normalization 

Я використовую сценарій. Це для основних записів. У мене є кадр даних, який показує різні елементарні композиції в стовпцях на заданій глибині (у першому стовпці). Я хочу виконати з нею PCA, і я плутаюсь щодо методу стандартизації, який я повинен вибрати. Хто-небудь з вас використовував цю програму clr()для підготовки ваших …

13 r  pca  normalization  compositional-data 

Я розумію міркування щодо нормалізації стовпців, оскільки це призводить до того, що характеристики зважуються однаково, навіть якщо вони не вимірюються в одній шкалі - проте, часто в найближчій сусідній літературі обидва стовпці та рядки нормалізуються. Для чого / для чого нормалізувати рядки? Зокрема, як результат нормалізації рядків впливає на подібність …

13 normalization  distance  similarities  k-nearest-neighbour 

Я намагаюся знайти найбільш відповідний характерний розподіл даних повторних вимірювань певного типу. По суті, в моїй галузі геології ми часто використовуємо радіометричну датування мінералів із зразків (шматки гірської породи), щоб з’ясувати, як давно відбулася подія (порода охолоджувалася нижче порогової температури). Зазвичай для кожного зразка буде проведено кілька (3-10) вимірювань. Потім …

12 distributions  normal-distribution  normalization  histogram 

У мене дуже великий набір даних, і близько 5% випадкових значень відсутні. Ці змінні співвідносяться між собою. Наступний приклад набору даних R - це лише іграшковий приклад з манекено-корельованими даними. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

Я працюю над алгоритмом, який займає вектор останньої точки даних з ряду потоків датчиків і порівнює евклідову відстань з попередніми векторами. Проблема полягає в тому, що різні потоки даних походять від абсолютно різних датчиків, тому проходження простої евклідової відстані різко перекреслить деякі значення. Ясна річ, мені потрібен певний спосіб нормалізації …

12 time-series  normalization  real-time