Як замовити чи оцінити набір експертів?

У мене є база даних, яка містить велику кількість експертів у цій галузі. Для кожного з цих експертів у мене є різноманітні атрибути / точки даних, такі як:

• кількість років досвіду.
• ліцензії
• кількість відгуків
• текстовий зміст цих рецензій
• 5-зірковий рейтинг кожного з цих відгуків, для ряду факторів, таких як швидкість, якість тощо.
• нагороди, асоціації, конференції тощо.

Я хочу дати оцінку цим експертам з 10 з урахуванням їх важливості. Для деяких експертів деякі пункти даних можуть бути відсутніми. Тепер моє запитання - як мені придумати такий алгоритм? Хтось може вказати мені на якусь релевантну літературу?

Також я стурбований тим, що, як і у всіх рейтингах / оглядах, цифри можуть накопичуватися поблизу деяких значень. Наприклад, більшість з них може отримати 8 або 5. Чи існує спосіб виділити різницю різниці в більшій різниці в оцінці лише для деяких атрибутів.

Деякі інші дискусії, які я вважав, можуть бути актуальними:

• Байєсівська рейтингова система з декількома категоріями для кожного рейтингу
• Як ви ВАМ розраховуєте рейтинг фільму IMDB?
• Виявлення пріорів від експертів
• Які є найкращі алгоритми ранжування з введеннями голосів вгору та вниз?

Люди винайшли численні системи для оцінювання речей (на зразок експертів) за кількома критеріями: відвідайте сторінку Вікіпедії, присвячену аналізу багатокритеріальних рішень . Хоча там недостатньо добре представлений один із найбільш захищених методів: Теорія оцінки множинних атрибутів. Сюди входить набір методів оцінки компромісів серед наборів критеріїв з метою: (a) визначення відповідного способу повторного вираження значень окремих змінних та (b) зважування повторно виражених значень для отримання оцінки за ранжуванням . Принципи прості та виправдані, математика неможлива, і в теорії немає нічого фантазійного. Більше людей повинні знати та застосовувати ці методи, а не вигадувати довільні системи балів.

Зрештою, це може бути не виключно статистичним вправою. PCA - це дуже потужний кількісний метод, який дозволить сформувати оцінку або зважити на перших кількох основних компонентах, які ви можете використовувати для ранжування. Однак пояснити, які основні компоненти є дуже складним завданням. Вони є кількісними конструкціями. Вони не діалектичні. Таким чином, пояснити, що вони справді мають на увазі, іноді неможливо. Це особливо вірно, якщо у вас є аудиторія, яка не є кількісною. Вони не матимуть уявлення про те, про що ви говорите. І, подумає про ваш PCA, як про якусь криптовану чорну скриньку.

Натомість я б просто вирівняти всі відповідні змінні та застосував би систему зважування на основі того, що вважає, що слід зважування.

Я думаю, якщо ви розробите це для сторонніх, клієнтів, користувачів, було б чудово, якби ви могли вкласти гнучкість у прийнятті рішення щодо ваги для користувачів.
Деякі користувачі можуть цінувати багаторічний досвід набагато більше, ніж сертифікація та віра. Якщо ви можете залишити це рішення на них. Таким чином, ваш алгоритм не є чорною скринькою, яку вони не розуміють, і їм це не комфортно. Ви тримаєте це повністю прозоро і до них, виходячи з їх власної відносної оцінки того, що має значення.

Як ви вважаєте, ви могли б кількісно оцінити всі ці ознаки?

Якщо так, я б запропонував провести аналіз основних компонентів. У загальному випадку, коли всі кореляції є позитивними (а якщо їх немає, ви можете легко потрапити туди за допомогою деякої трансформації), перший головний компонент може розглядатися як міра загальної важливості експерта, оскільки це зважений середнє значення всіх атрибутів (і ваги були б відповідними внесками змінних. Згідно з цією перспективою, сам метод розкриє важливість кожного атрибута). Оцінка, яку кожен експерт досягає в першій головній складовій, - це те, що вам потрібно для їх ранжирування.