Я думаю, що в цій темі є дві речі, які додають плутанини:
- визначення статистичної проти сигналу: як уже вказували інші, у статистиці ми нормалізуємо автокореляцію на [-1,1].
- середня / дисперсія серед часткових та неподільних: коли часові передачі зміщуються на відставання> 0, їх розмір перекриття завжди буде <початкова довжина. Чи використовуємо ми середнє і std оригінального (не часткове) чи завжди обчислюємо нове середнє і std, використовуючи постійно змінюється перекриття (часткове), має значення. (Напевно, формальний термін для цього є, але я зараз буду використовувати "часткове").
Я створив 5 функцій, які обчислюють автоматичну кореляцію 1d масиву, з частковим та неподільним відмінностями. Деякі використовують формулу зі статистики, деякі використовують кореляти в сенсі обробки сигналу, що також можна зробити через FFT. Але всі результати є автоматичними кореляціями у визначенні статистики , тому вони ілюструють, як вони пов'язані один з одним. Код нижче:
import numpy
import matplotlib.pyplot as plt
def autocorr1(x,lags):
'''numpy.corrcoef, partial'''
corr=[1. if l==0 else numpy.corrcoef(x[l:],x[:-l])[0][1] for l in lags]
return numpy.array(corr)
def autocorr2(x,lags):
'''manualy compute, non partial'''
mean=numpy.mean(x)
var=numpy.var(x)
xp=x-mean
corr=[1. if l==0 else numpy.sum(xp[l:]*xp[:-l])/len(x)/var for l in lags]
return numpy.array(corr)
def autocorr3(x,lags):
'''fft, pad 0s, non partial'''
n=len(x)
# pad 0s to 2n-1
ext_size=2*n-1
# nearest power of 2
fsize=2**numpy.ceil(numpy.log2(ext_size)).astype('int')
xp=x-numpy.mean(x)
var=numpy.var(x)
# do fft and ifft
cf=numpy.fft.fft(xp,fsize)
sf=cf.conjugate()*cf
corr=numpy.fft.ifft(sf).real
corr=corr/var/n
return corr[:len(lags)]
def autocorr4(x,lags):
'''fft, don't pad 0s, non partial'''
mean=x.mean()
var=numpy.var(x)
xp=x-mean
cf=numpy.fft.fft(xp)
sf=cf.conjugate()*cf
corr=numpy.fft.ifft(sf).real/var/len(x)
return corr[:len(lags)]
def autocorr5(x,lags):
'''numpy.correlate, non partial'''
mean=x.mean()
var=numpy.var(x)
xp=x-mean
corr=numpy.correlate(xp,xp,'full')[len(x)-1:]/var/len(x)
return corr[:len(lags)]
if __name__=='__main__':
y=[28,28,26,19,16,24,26,24,24,29,29,27,31,26,38,23,13,14,28,19,19,\
17,22,2,4,5,7,8,14,14,23]
y=numpy.array(y).astype('float')
lags=range(15)
fig,ax=plt.subplots()
for funcii, labelii in zip([autocorr1, autocorr2, autocorr3, autocorr4,
autocorr5], ['np.corrcoef, partial', 'manual, non-partial',
'fft, pad 0s, non-partial', 'fft, no padding, non-partial',
'np.correlate, non-partial']):
cii=funcii(y,lags)
print(labelii)
print(cii)
ax.plot(lags,cii,label=labelii)
ax.set_xlabel('lag')
ax.set_ylabel('correlation coefficient')
ax.legend()
plt.show()
Ось вихідний показник:
Ми не бачимо всіх 5 рядків, оскільки 3 з них перекриваються (у фіолетовому). Перекриття - це всі не часткові автокореляції. Це відбувається тому, що обчислення методів обробки сигналів ( np.correlate, FFT) не обчислюють різного середнього значення / STD для кожного перекриття.
Також зауважте, що fft, no padding, non-partial(червона лінія) результат відрізняється, тому що він не прокладав таймсери 0 з, перш ніж робити FFT, тому це круговий FFT. Я не можу детально пояснити, чому саме це я дізнався з інших місць.