Міжбірна надійність подій у часовій серії із невизначеністю часу події

У мене є кілька незалежних кодерів, які намагаються ідентифікувати події у часовій серії - в цьому випадку дивляться відео бесіди віч-на-віч і шукають особливості невербальної поведінки (наприклад, головні кивки) та кодують час і категорію кожного. подія. Ці дані можна обґрунтувати як дискретний часовий ряд із високою швидкістю вибірки (30 кадрів в секунду) або як серію безперервного часу, з чим легше працювати.

Я хотів би обчислити деяку міру надійності між рейтингами, але я очікую, що існує певна невизначеність, коли відбудуться події; тобто я думаю, що один кодер може, наприклад, кодувати, що певний рух розпочався на чверть секунди пізніше, ніж інші кодери думали, що це почалося. Це рідкісні події, якщо це допомагає; зазвичай принаймні кілька секунд (сотні відеокадрів) між подіями.

Чи є хороший спосіб оцінки надійності між рейтингами, який враховує обидва ці угоди та незгоду: (1) чи згодні рейтинги щодо того, яка подія сталася (якщо така є), та (2) чи вони згодні, коли вона сталася? Друге для мене важливо, тому що мені цікаво дивитись на час цих подій стосовно інших речей, що відбуваються в розмові, як, наприклад, що люди говорять.

Стандартною практикою в моєму полі, здається, є поділ речей на часові відрізки, скажімо, 1/4 секунди або близько того, агрегування подій, про які повідомив кожен кодер за часовий відрізок, а потім обчислити каппу Коена чи якусь подібну міру. Але вибір тривалості скибочки є тимчасовим, і я не розумію непевності в часі подій.

Найкраща думка, яку я маю досі, - це те, що я міг обчислити якусь криву надійності; щось на зразок kappa як функція від розміру вікна, в межах якого я розглядаю дві події як кодовані одночасно. Я не дуже впевнений, куди піти звідти, хоча ...

Ось кілька способів задуматися.

1

A) Ви можете ставитися до кожної повної послідовності кодування як до впорядкованого набору подій (тобто ["кивок голови", "похитування голови", "кивок голови", "брови піднято") та ["кивок голови", "похитування голови" , "підняли брови"]), а потім вирівняйте послідовності за допомогою алгоритму, який має для вас сенс ( http://en.wikipedia.org/wiki/Sequence_alignment ). Потім ви можете обчислити міжкодерну надійність для всієї послідовності.

В) Потім, знову використовуючи вирівняні послідовності, ви могли порівняти, коли вони сказали, що подія сталася, враховуючи, що вони обоє спостерігали за подією.

2) Крім того, ви могли б моделювати це як приховану модель Маркова та використовувати щось на зразок алгоритму Бауна-Велча, щоб вписати ймовірності того, що, враховуючи якусь фактичну подію, кожен кодер фактично правильно зашифрував дані. http://en.wikipedia.org/wiki/Baum-Welch_algorithm

Замість того, щоб нарізати дані в довільних фрагментах, ви можете врахувати фактичні різниці в часі. Кодер 1 повідомляє про час та дії:

049 D
113 C
513 C
724 G

Простий спосіб визначити, який кодер є найнадійнішим за іншими кодерами, - даючи йому такий бал:

Add a point for each other coder that reported a D between (049-025) and (049+025)
Add a point for each other coder that reported a C between (113-025) and (113+025)
Add a point for each other coder that reported a C between (513-025) and (513+025)
Add a point for each other coder that reported a C between (724-025) and (724+025)
Subtract a point for each reported action.

Якщо для вас важлива близькість, розгляньте такі альтернативи:

Add 25/(Time_Thiscoder-Time_Othercoder)^2 points for each other coder that reported a matching observation.

Маючи всю наявну інформацію про проблему, практичну реалізацію цієї ідеї не повинно бути важким.