Чи можу я використовувати CLR (централізоване перетворення коефіцієнта журналу) для підготовки даних для PCA?

Я використовую сценарій. Це для основних записів. У мене є кадр даних, який показує різні елементарні композиції в стовпцях на заданій глибині (у першому стовпці). Я хочу виконати з нею PCA, і я плутаюсь щодо методу стандартизації, який я повинен вибрати.

Хто-небудь з вас використовував цю програму clr()для підготовки ваших даних prcomp()? Або це підробляє мої рішення. Я спробував використати clr()дані перед використанням prcomp()функції на додаток до використання шкали атрибутів у prcomp().

data_f_clr<- clr(data_f)
data_pca <- prcomp(data_f, center = TRUE, scale. = TRUE)

https://stat.ethz.ch/R-manual/R-devel/library/stats/html/prcomp.html

описана шкала для масштабування даних, тому вони мають одиничну дисперсію. Оскільки мої дані мають дуже різну шкалу, це те, чого я хотів, я думаю. Проблема полягає в тому, що я отримую інше рішення, коли використовую код вище або коли пропускаю clr()(що дає більш бажаний результат). Але я хочу знати, чому це clr()тривожне в такому випадку?

У вас можуть виникнути проблеми з ванільним PCA на координатах CLR. Є дві основні проблеми з композиційними даними:

• вони суворо негативні
• вони мають обмеження суми

Різні композиційні перетворення стосуються одного або обох цих питань. Зокрема, CLR перетворює ваші дані, приймаючи журнал відношення між спостережуваними частотами та їх середнім геометричним значенням , тобто${\bf x}$$G({\bf x})$

$$\hat{\bf{x}} = \left \{ \log \left (\frac{{x}_{1}}{G({\bf x})} \right), \dots, \log \left (\frac{{x}_{n}}{G({\bf x})} \right) \right \} = \left\{ \log ({x}_{1}) - \log( G({\bf x}) ) , \dots ,\log({x}_{n}) - \log( G({\bf x})) \right\}$$

Тепер, врахуйте це

$$\log (G({\bf x} ))=\log \left( \exp \left[ \frac { 1 }{ n } \sum _{ i=1 }^{ n }{ \log ({ x }_{ i }) } \right] \right) = \mathop{\mathbb{E}}\left[ \log({\bf x}) \right]$$

Це фактично означає, що

$$\sum{\hat{{\bf x}}} = \sum{ \left [ \log({\bf x}) - \mathop{\mathbb{E}}\left[ \log({\bf x}) \right] \right ]} = 0$$

Іншими словами, CLR знімає обмеження діапазону значень (що добре для деяких застосувань), але не знімає обмеження суми, внаслідок чого виникає сингулярна коваріаційна матриця, яка ефективно розбиває (M) ANOVA / лінійну регресію / ... і робить PCA, чутливий до людей, що переживають люди (тому що для надійної оцінки коваріації потрібна матриця повного рангу). Наскільки я знаю, з усіх композиційних перетворень лише ILR вирішує обидва питання без жодних основних припущень. Однак ситуація дещо складніша. SVD координат CLR дає вам ортогональну основу в просторі ILR (координати ILR охоплюють гіперплан у CLR), тому ваші оцінки дисперсії не відрізнятимуться між ILR та CLR (це, очевидно, очевидно, тому що обидва ILR і CLR є ізометріями на симплекс). Однак існують методи для надійної оцінки коваріації на координатах ІЛР [2].

Оновити I

Просто для того, щоб проілюструвати, що CLR недійсний для кореляційних та залежно від місця методів. Припустимо, ми вибираємо спільноту з трьох лінійно незалежних нормально розподілених компонентів у 100 разів. Для простоти нехай усі компоненти мають рівні очікування (100) та дисперсії (100):

In [1]: import numpy as np

In [2]: from scipy.stats import linregress

In [3]: from scipy.stats.mstats import gmean

In [4]: def clr(x):
   ...:     return np.log(x) - np.log(gmean(x))
   ...: 

In [5]: nsamples = 100

In [6]: samples = np.random.multivariate_normal(
   ...:     mean=[100]*3, cov=np.eye(3)*100, size=nsamples
   ...: ).T

In [7]: transformed = clr(samples)

In [8]: np.corrcoef(transformed)
Out[8]: 
array([[ 1.        , -0.59365113, -0.49087714],
       [-0.59365113,  1.        , -0.40968767],
       [-0.49087714, -0.40968767,  1.        ]])

In [9]: linregress(transformed[0], transformed[1])
Out[9]: LinregressResult(
   ...:     slope=-0.5670, intercept=-0.0027, rvalue=-0.5936, 
   ...:     pvalue=7.5398e-11, stderr=0.0776
   ...: )

Оновлення II

Враховуючи отримані вами відповіді, я вважаю за потрібне зазначити, що жодного разу у своїй відповіді я не сказав, що PCA не працює на даних, трансформованих CLR. Я заявляв, що CLR може порушити PCA тонко , що може не мати значення для зменшення розмірності, але важливо для аналізу даних. Доповідь, яку цитує @Archie, висвітлює мікробну екологію. У цій галузі обчислювальної біології PCA або PCoA на різних дистанційних матрицях використовуються для дослідження джерел змін даних. Мою відповідь слід розглядати лише в цьому контексті. Більше того, це підкреслено в самій статті:

... Композиційний біплот [зауваження: посилаючись на PCA] має ряд переваг перед основними ділянками координат (PCoA) для аналізу β-різноманітності. Отримані результати є дуже стабільними, коли дані підмножилися (Bian et al., 2017), що означає, що дослідницький аналіз не визначається просто відсутністю зв’язків у даних або надмірною розрідженістю (Wong et al., 2016; Morton et співавт., 2017).

Слава та ін., 2017

Оновлення III

Додаткові посилання на опубліковані дослідження (я дякую @Nick Cox за рекомендацію додати більше посилань):

1. Аргументи проти використання CLR для PCA
2. Аргументи проти використання CLR для кореляційних методів
3. Вступ до ILR

Так, ви можете, а насправді ви повинні, коли ваші дані є композиційними.

Тут можна знайти огляд з області мікробіології, який мотивує використовувати перетворення CLR з подальшим PCA для аналізу наборів даних мікробіомів (які за визначенням складаються): https://www.frontiersin.org/articles/10.3389/fmicb .2017.02224 / пов .