Статистика та великі дані clustering

2

Кластеризація галасливих даних або з аутлайнерами

У мене є шумні дані двох змінних на кшталт цієї. x1 <- rep(seq(0,1, 0.1), each = 3000) set.seed(123) y1 <- rep (c(0.2, 0.8, 0.3, 0.9, 0.65, 0.35,0.7,0.1,0.25, 0.3, 0.95), each = 3000) set.seed(1234) e1 = rnorm(length(x1), 0.07,0.07) set.seed(1223) e2 = rnorm(length(x1), 0.07,0.07) set.seed(1334) yn <- rnorm(20000, 0.5,0.9) set.seed(2344) xn <- …

9 r machine-learning clustering

1

Формування формули інерції в науці

Я хотів би кодувати kmeans, що кластеруються в python, використовуючи панди та scikit learn. Для того, щоб вибрати хороший k, я хотів би зашифрувати статистику прогалини від Tibshirani та ін 2001 ( pdf ). Мені хотілося б знати, чи можу я використати результат inertia_ від scikit і адаптувати статистичну формулу …

9 clustering python k-means scikit-learn metric

3

Вибір кластерів для k-означає: 1 випадок кластера

Хтось знає хороший метод визначити, чи кластеризація за допомогою kmeans навіть підходить? Тобто, що робити, якщо ваш зразок насправді однорідний? Я знаю, що щось на зразок моделі суміші (через mclust в R) надасть статистику відповідності для випадку кластеру 1: k, але, схоже, для всіх методів оцінки kmeans потрібні принаймні 2 …

9 r clustering k-means

5

Чи допомагає попереднє кластерування побудувати кращу модель прогнозування?

Для завдання моделювання збивання я розглядав: Обчисліть k кластери для даних Побудуйте k моделі для кожного кластеру окремо. Обґрунтуванням цього є те, що немає чого доводити, що популяція субрибелів є однорідною, тому розумно вважати, що процес генерації даних може бути різним для різних "груп" Моє запитання, чи це відповідний метод? …

9 machine-learning clustering data-mining predictive-models

1

Як порівняти спостережувані та очікувані події?

Припустимо, у мене є один зразок частоти 4 можливих подій: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 і я маю очікувані ймовірності моїх подій: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 За допомогою суми спостережуваних частот моїх чотирьох подій (18) …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

7

Шукаємо 2D штучні дані для демонстрації властивостей алгоритмів кластеризації

Я шукаю набори даних з двомірних точок даних (кожна точка даних є вектором двох значень (x, y)) за різними розподілами та формами. Код для створення таких даних також буде корисним. Я хочу використовувати їх для побудови / візуалізації ефективності роботи деяких алгоритмів кластеризації. Ось кілька прикладів: зірка, як хмарні дані …

9 distributions data-visualization clustering dataset

4

Як кількісно сказати, чи 1D дані кластеризовані навколо 1 або 3 значень?

У мене є деякі дані про час між серцебиттями у людини. Однією з ознак позаматкових (зайвих) ударів є те, що ці інтервали кластеризовані навколо трьох значень замість одного. Як я можу отримати кількісну міру цього? Я хочу порівняти кілька наборів даних, і ці дві 100-бінкові гістограми є репрезентативними для всіх. …

9 clustering

5

Чим відрізняється кластеризація графіків від методів виявлення спільноти?

В основному метою кластеризації графіків та методів виявлення спільноти є обчислення кластерів. Чи є різниця між ними?

9 clustering

2

Чи повинна відстань бути "метрикою", щоб ієрархічна кластеризація була дійсною на ній?

Скажімо, що ми визначаємо відстань, яка не є метрикою , між N елементами. На основі цієї відстані ми використовуємо агломераційну ієрархічну кластеризацію . Чи можемо ми використовувати кожен з відомих алгоритмів (одинарне / максимум / авангардний зв’язок тощо), щоб отримати значущі результати? Або по-іншому, в чому проблема їх використання, якщо …

9 clustering multilevel-analysis metric hierarchical-clustering

4

Кластеризація за допомогою асиметричних відстаней

Як ви кластеризуєте функцію за допомогою асиметричної міри відстані? Наприклад, скажімо, ви кластеризуєте набір даних із днями тижня як особливістю - відстань з понеділка по п’ятницю не така, як відстань з п’ятниці на понеділок. Як ви включите це до вимірювання відстані в алгоритмі кластеризації?

9 clustering distance

2

Просторове кластеризація додатків на основі щільності додатків із кластеризацією шуму (DBSCAN) в R

це питання почалося як " Кластеризація просторових даних у R " і тепер перейшло до питання DBSCAN. Оскільки відповіді на перше запитання запропонували, я шукав інформацію про DBSCAN та читав деякі документи. Виникли нові запитання. DBSCAN вимагає деяких параметрів, один з них - "відстань". Оскільки мої дані є тривимірними, довготою, …

9 r clustering spatial

3

Циклічний алгоритм k-означає

Згідно з wiki, найпоширенішим критерієм конвергенції є "призначення не змінилося". Мені було цікаво, чи може відбуватися їзда на велосипеді, якщо ми будемо використовувати такий критерій конвергенції? Буду радий, якщо хтось вказав на посилання на статтю, яка дає приклад їзди на велосипеді або доведе, що це неможливо.

9 clustering algorithms k-means

3

Простір-ефективна кластеризація

Більшість алгоритмів кластеризації, які я бачив, починаються зі створення відстані "кожен до кожного" серед усіх точок, що стає проблематичним для великих наборів даних. Чи є такий, хто цього не робить? Або це в якомусь частковому / наближеному / поетапному підході? Який алгоритм / реалізація кластеризації займає менше місця (O (n …

9 clustering algorithms large-data

4

Як здійснити декілька пост-хо-хі-квадратних тестів на таблиці 2 X 3?

Мій набір даних складається із загальної смертності чи виживання організму на трьох типах ділянок, прибережних, середніх каналів та офшорних. Цифри в таблиці нижче представляють кількість сайтів. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 Мені хотілося б дізнатися, чи кількість сайтів, де 100% смертність сталася, …

9 logistic multiple-comparisons chi-squared r text-mining clustering classification feature-selection unsupervised-learning time-series references mode hypothesis-testing confidence-interval bootstrap normal-distribution order-statistics correlation statistical-significance spss bayesian beta-binomial

2

Початок роботи з бікстерстеру

Я робив якісь випадкові інтернет-дослідження щодо бікластерів. (Я прочитав статтю Вікі кілька разів.) Поки здається, ніби мало визначень чи стандартної термінології. Мені було цікаво, чи є якісь стандартні папери чи книги, які кожен, хто цікавиться алгоритмами пошуку бікластерів, повинен прочитати. Чи можна сказати, що таке сучасний стан у цій галузі? …

9 clustering data-mining

Запитання з тегом «clustering»