Як справедливо визначити переможців регіонального наукового ярмарку?

Мені потрібна допомога у з'ясуванні правильного способу розрахунку переможців на нашій науковій ярмарці. Я не хочу, щоб моє незнання статистики та математики заважало шансам на перемогу дитини. (багато виплат на стипендію та підвищення кваліфікації). Заздалегідь дякую за вашу допомогу.

Спочатку трохи про те, як ми налаштували речі:

Наш ярмарок, як правило, налічує близько 600 студентських проектів. Ці проекти завершуються та представляються окремими студентами або командою студентів. Команда може складатися з 2 або 3 малюків.

Учні поділяються на два відділення: початковий (6-8 класи) та середній (9-12 класи). Кожен підрозділ має різні категорії: 9 категорій для початкових проектів та 17 категорій для проектів вторинного підрозділу.

Нагороди присуджуються за перше, друге та третє місце для кожної категорії у кожному підрозділі. Почесні нагороди також нагороджуються за місця, що перевищують третє місце.

Для кожного проекту ми призначаємо від 4 до 6 суддів. Ми робимо свої завдання, виходячи з кваліфікації суддів, їхньої категорії переваг та минулого досвіду суддівства. (більш досвідчені команди присвоюються проектам старшого підрозділу).

Як судді оцінюють проект:

Для кожного проекту передбачено 5 критеріїв, яким присвоюються бали. Кожен критерій може бути присвоєний від 1 до 20 балів. Загальні критерії:

• Загальна мета + гіпотеза + використання ресурсів ( 1..20 )
• Дизайн + процедури ( 1..20 )
• Збір даних + результати ( 1..20 )
• Обговорення + висновок ( 1..20 )
• Інтерв'ю ( 1..20 )

Для командних проектів шостий критерій оцінюється під назвою "вирахування з команди", де суддя може нараховувати бали ( до 15 ) для товаришів по команді, які не брали участь або не з'являлися.

• Вирахування команди ( 0 .. - 15 )

Тож суддя може набрати кожен проект від 5 до 100 балів. Якщо проект є командним проектом, оцінка може бути зменшена на 15 балів.

Необроблені дані:

Протягом кількох годин ми збираємо до 3600 балів від суддів. Ці оцінки вводяться в базу даних, де я можу робити всі види сортування, усереднення, розрахунки зі стандартним відхиленням і т. Д. Я просто не знаю точно, що мені робити з цими необробленими балами. Зараз я роблю простий середній показник для кожного проекту, але я переживаю, що я не налаштовуюсь на упередження судді, відрахування команди чи будь-яку кількість інших речей, які я не розглядаю.

Бажаний результат:

Врешті-решт, я хотів би обробити бали, щоб я міг нагородити проекти першої, другої та третьої місць для кожної категорії, а потім почесні згадки про нагороди для наступних місць. Хочеться бути впевненим, що позиції були розраховані правильно і діти, які виграють, заслуговують на визнання (і призи).

Дякую велике за прочитання мого довгого запитання та за вашу допомогу у з'ясуванні цього. Я з радістю відповім на будь-які подальші запитання.

Я думаю, що "відповідь", можливо, занадто щедрий ярлик для моїх думок. Я люблю дослідницький аналіз даних, і я величезний фанат боксплотів, так що це буде відображено у моїх коментарях.

Привіт, це багато балів. :) Здається, що у вас є щонайменше 78 проектів із 600, які потрапляють у топ-3 ( [9+17]x3) плюс почесні згадки. Як правило, я б сказав, щоб вибирати вибірку вгорі та в середині кожної категорії, щоб провести аудит підрахунку балів, але це було б дуже тяжко у вашому випадку через кількість, яку ви маєте - і це лише ви доопрацюєте бал. :)

Я сподіваюся, що у вас може бути доступний пакет статистичних даних, оскільки я маю кілька пропозицій, які ви можете використати нижче.

Ви подивилися на поширення балів у кожній категорії? Чи 3-х, 5-ти чи 8-ти проектів дуже близькі за балами? Це може припустити, що якість проектів дуже схожа, і що б ви не робили, мабуть, існує якнайменше сприйняття свавілля навколо кінцевих балів.

Я не впевнений, скільки проектів набирає кожен суддя. Якщо припустити, що вони набрали розумне число (скажімо> 10, хоча чим вище, тим краще), то для кожного судді ви могли обчислити медіанний та міжквартильний діапазон для загальної оцінки за кожен проект, який вони оцінюють (у вас так багато атрибутів, напевно, це не так варто переглянути кожен з них окремо). Чи здається, що якісь судді дають особливо високі бали або особливо низькі бали? Чи здається, що будь-які судді послідовно забивають середини, тому вони, можливо, дають 10, це може бути показано порівняно невеликим інтерквартильним діапазоном та загальною медіаною балів у середині діапазону можливих значень.

Для командних проектів ви можете порівняти їх розміщення на основі загальних балів, та їх розміщення після того, як буде застосовано відрахування команди. Чи впливають на відрахування команди такі команди, які в іншому випадку опиняться в топ-3?

Це лише пропозиції, щоб розпочати роботу. Я думаю, що візуалізація даних у цих напрямках дасть вам кілька хороших показників щодо того, чи розміщення здається справним.

Оновлення: це цікаво важка проблема. Це здається, що кожен окремий суддя не оцінює достатньо проектів для нас, щоб можна було придумувати коефіцієнт зважування для кожного судді (враховувати упередженість судді), оскільки у нас немає достатньої кількості даних, щоб можна було виміряти - більш висока надійність для суддів, просто недостатньо перекриття для суддів, які забивають ті самі проекти, щоб це зробити. Ви подивилися на діапазон балів для кількох найкращих проектів - чи були чіткі відмінності між ними та нижчими проектами (природні межі?), Наскільки близькими за балом були найкращі проекти?

Чи не цікаво, чи судді отримували критерії оцінювання, тому вони мали невелику гнучкість у тому, як давати бали за кожним критерієм (наприклад, дайте 1 бал за надання нульової гіпотези, дайте 1 бал за надання однієї або декількох альтернативних гіпотез ...) або чи просто вони знали загальну кількість балів, які вони могли надати, а решта залишалася за ними? Якби у них був посібник з підрахунку балів, я був би впевненіший, що бали були досить точними.