Як виміряти дисперсію в даних про частоту слова?

Як я можу оцінити кількість дисперсії у векторі лічильників слів? Я шукаю статистику, яка буде високою для документа А, оскільки вона містить багато різних слів, які трапляються нечасто, і низькі для документа B, оскільки вони містять одне слово (або кілька слів), які трапляються часто.

Більш загально, як можна виміряти дисперсію або "розповсюдження" номінальних даних?

Чи існує стандартний спосіб зробити це у спільноті аналізу тексту?

Для ймовірностей (пропорцій або часток) підсумовуючи до 1, сімейство містить кілька пропозицій щодо заходів (індекси, коефіцієнти, що завгодно) на цій території. Таким чином ∑ p a i [ ln ( 1 / p i ) ] $p_i$$\sum p_i^a [\ln (1/p_i)]^b$

1. $a = 0, b = 0$ повертає кількість спостережуваних виразних слів, про які можна думати найпростіше, незалежно від її ігнорування відмінностей між ймовірностями. Це завжди корисно, якщо тільки як контекст. В інших сферах це може бути кількість фірм у секторі, кількість видів, що спостерігаються на ділянці тощо. Загалом, назвемо це кількістю різних предметів .

2. 1 - ∑ p 2 i 1 / ∑ p 2 i k 1 / k ∑ p 2 i = k ( 1 / k ) 2 = 1 / k $a = 2, b = 0$ повертає Джині-Тьюрінга-Сімпсона-Герфіндаля-Гіршмана-Грінберга суму імовірностей у квадраті, інакше відомих як швидкість повторення чи чистоти або ймовірність відповідності або гомозиготність. Він часто повідомляється як його доповнення або його зворотний характер, іноді під іншими назвами, наприклад домішками або гетерозиготністю. У цьому контексті є ймовірність того, що два слова, вибрані випадковим чином, однакові, а його доповнення ймовірність того, що два слова різні. Зворотна має інтерпретацію як еквівалентну кількість однаково поширених категорій; це іноді називають цифрами еквівалентними. Таке тлумачення можна побачити, зазначивши, що однаково поширені категорії (кожна ймовірність при цьому$1 - \sum p_i^2$$1 / \sum p_i^2$$k$$1/k$ ) мається на увазі так що зворотна ймовірність просто . Вибір імені, швидше за все, зрадить те поле, в якому ви працюєте. Кожне поле вшановує своїх предків, але я вітаю ймовірність відповідності як просту і майже майже самовизначену.$\sum p_i^2 = k (1/k)^2 = 1/k$$k$

3. H exp ( H ) k H = ∑ k ( 1 / k ) ln [ 1 / ( 1 / k ) ] = ln k exp ( H ) = exp ( ln k ) $a = 1, b = 1$ повертає ентропію Шеннона, що часто позначається і вже сигналізується прямо чи опосередковано в попередніх відповідях. Назва ентропії тут застрягла, тому що це поєднання відмінних і не дуже вагомих причин, навіть фізика зрідка заздрить. Зауважимо, що - це числа, еквівалентні для цього заходу, як видно із зазначення в подібному стилі, що однаково загальні категорії дають , а значить, повертає вам . Ентропія має безліч чудових властивостей; "теорія інформації" - хороший пошуковий термін.$H$$\exp(H)$$k$$H = \sum^k (1/k) \ln [1/(1/k)] = \ln k$$\exp(H) = \exp(\ln k)$$k$

Рецептура знайдена в IJ Good. 1953. Частоти популяції видів та оцінка параметрів популяції. Біометріка 40: 237-264. www.jstor.org/stable/2333344 .

Інші основи для логарифму (наприклад, 10 або 2) однаково можливі за смаком або прецедентом або зручністю, для деяких формул, наведених вище, маються на увазі просто прості варіації.

Незалежні повторні розкриття (або відновлення) другого заходу є різноманітними для кількох дисциплін, а названі вище далеко не повний перелік.

Об’єднання спільних заходів у сім'ї - це не просто м'яко математично. Він підкреслює, що існує вибір міри залежно від відносних ваг, застосованих до дефіцитних та звичайних предметів, і таким чином зменшує будь-яке враження про примхливість, створене невеликим набором очевидно довільних пропозицій. Література в деяких галузях ослаблена документами і навіть книгами, заснованими на кричущих твердженнях, що деякий прихильний автор (и) автор (и) є найкращим заходом, яким повинні користуватися всі.

Мої розрахунки вказують, що приклади A і B не так відрізняються, за винятком першого заходу:

----------------------------------------------------------------------
          |  Shannon H      exp(H)     Simpson   1/Simpson      #items
----------+-----------------------------------------------------------
        A |      0.656       1.927       0.643       1.556          14
        B |      0.684       1.981       0.630       1.588           9 
----------------------------------------------------------------------

(Деяким може бути цікаво відзначити, що названий тут Сімпсон (Едвард Х'ю Сімпсон, 1922-) - це те саме, що вшановане іменем парадокса Сімпсона. Він зробив чудову роботу, але він не був першим, хто виявив будь-яку річ, для якої його називають, що, в свою чергу, є парадоксом Стіглера, що в свою чергу ....)

Я не знаю, чи існує загальний спосіб зробити це, але це здається мені аналогічним питанням нерівності в економіці. Якщо ви ставитесь до кожного слова як до окремої особи, а їх кількість вважається порівнянною з доходом, то вам цікаво порівняти, де мішок слів знаходиться між крайнощами кожного слова, що має однаковий підрахунок (повна рівність), або одним словом, що має всі підрахунки а всі інші нульові. Ускладнення полягає в тому, що "нулі" не відображаються, ви не можете мати менше 1 в мішку слів, як зазвичай визначено ...

Коефіцієнт Джині A дорівнює 0,18, а B - 0,43, що свідчить про те, що A більше "рівний", ніж B.

library(ineq)

A <- c(3, 2, 2, rep(1, 11))
B <- c(9, 2, rep(1, 7))
Gini(A)
Gini(B)

Мене цікавлять і інші відповіді. Очевидно, що старомодна дисперсія в підрахунках була б також відправною точкою, але вам доведеться якось масштабувати її, щоб зробити її порівнянною для сумок різного розміру і, отже, різного середнього підрахунку за кожне слово.

У цій статті є огляд стандартних дисперсійних заходів, які використовуються лінгвістами. Вони перераховані як одношарові дисперсійні заходи (Вони вимірюють дисперсність слів по розділах, сторінках тощо), але, можливо, вони можуть бути використані як заходи дисперсії частоти слів. Здається, стандартними статистичними є:

1. макс-хв
2. стандартне відхилення
3. $CV$
4. $\chi^2$

Класикою є:

1. $D = 1-\frac{CV}{\sqrt{n-1}}$
2. $S = N\frac{(\sum_{i=1}^{n}\sqrt{n_i})^2}{n}$
3. $D_2 = (\log_2N - \frac{\sum_{i=1}^n{n_i \log_2 n_i}}{N})/{\log_2(n)}$
4. $D_3 = \frac{1-\chi^2}{4N}$

$N$$n$$n_i$

У тексті також згадуються ще дві міри розповсюдження, але вони покладаються на просторове розташування слів, тому це не застосовується до моделі мішків слів.

• Примітка . Я змінив початкові позначення із статті, щоб зробити формули більш узгодженими зі стандартними позначеннями.

Перше, що я зробив би - це обчислення ентропії Шеннона. Ви можете використовувати пакет R infotheo, функцію entropy(X, method="emp"). Якщо обгорнути natstobits(H)його, ви отримаєте ентропію цього джерела в бітах.

$\boldsymbol{p} \equiv (p_1, ... , p_n)$

$0 \leqslant \bar{H}(\boldsymbol{p}) \leqslant 1$

• Крайня нерівність: весь підрахунок знаходиться в якійсь категорії . У цьому випадку у нас і це дає нам .p i = I ( i = k ) ˉ H ( p ) = $k$$p_i = \mathbb{I}(i=k)$$\bar{H}(\boldsymbol{p}) = 0$

• $p_i = 1/n$$\bar{H}(\boldsymbol{p}) = 1$