Кількісне визначення подібності між двома наборами даних

Резюме : Намагаючись знайти найкращий метод, підсумовуйте схожість між двома вирівняними наборами даних, використовуючи одне значення.

Деталі :

Моє питання найкраще пояснити діаграмою. На графіках, наведених нижче, показано два різних набори даних, на кожному з яких позначено значення nfта nr. Точки вздовж осі x представляють місце проведення вимірювань, а значення на осі у - отримане вимірюване значення.

Для кожного графіка я хочу, щоб одне число підсумовувало схожість nfта nrзначення у кожній точці вимірювання. У цьому прикладі візуально очевидно, що результати в перших графах менш схожі на результати другого графіка. Але у мене є маса інших даних, де різниця менш очевидна, тому допомога в кількісному рейтингу була б корисною.

Я думав, що може бути стандартна техніка, яка зазвичай використовується. Пошук статистичної подібності дав безліч різних результатів, але я не впевнений, що краще вибрати, або якщо речі, які я готовий, стосуються моєї проблеми. Тому я подумав, що це питання може бути варто задати тут, якщо є проста відповідь.

Площа між 2 кривими може призвести до різниці. Звідси сума (nr-nf) (сума всіх різниць) буде наближенням площі між 2 кривими. Якщо ви хочете зробити його відносним, можна використовувати суму (nr-nf) / sum (nf). Це дасть вам одне значення, що вказує на схожість між 2 кривими для кожного графіка.

Редагувати: Вищенаведений метод суми різниць буде корисним, навіть якщо це окремі точки або спостереження, а не з'єднані лінії чи криві, але в цьому випадку середнє значення різниць може також бути показником і може бути кращим, оскільки воно враховувало б кількість спостережень.

Вам потрібно більше визначити, що ви маєте на увазі під «подібністю». Чи має значення величина? Або лише форма?

Якщо важлива лише форма, ви хочете нормалізувати обидва часові ряди за їх максимальним значенням (тому вони обидва від 0 до 1).

Якщо ви шукаєте лінійну кореляцію, просте співвідношення груш може працювати нормально - що по суті вимірює коваріацію.

Наприклад, існують інші методи, які можуть відповідати лінії або поліному часовому ряду (по суті згладжуючи його), а потім порівнювати гладкі многочлени.

Якщо ви шукаєте періодичну схожість (тобто часовий ряд має певну синусоїдальну складову або сезонність), подумайте про використання розкладу часових рядів у тренді, а компоненти сезону спочатку. Або використовувати щось на зразок FFT для порівняння даних у частотній області.

То про все, що я знаю, без більш чіткого визначення того, що має бути «подібне». Сподіваюся, це допомагає.

Ви можете використовувати (nr-nf) для кожної точки вимірювання, чим менше число (абсолютне значення), тим більше подібне значення. Не зовсім науковий підхід, вибачте, будь ласка, у мене немає справжньої формальної підготовки з цього матеріалу. Якщо ви просто шукаєте числове зображення візуального, це потрібно зробити.