Чи є якісь формальні дослідження ефективності питання FizzBuzz? [зачинено]

Побачивши сьогодні це питання щодо варіації інтерв'ю FizzBuzz, а також побачивши інші питання, пов'язані з цим навколо, я повинен запитати: чи є якесь офіційне дослідження наскільки це ефективно як метод інтерв'ю? Є багато людей, які кажуть, що це відфільтровує якийсь божевільний відсоток кандидатів (95% + у деяких випадках), але наскільки це корисно для пошуку хороших програмістів / розробників?

Проведено деякі дослідження, які показують, що м'які навички можуть бути кращими показниками, ніж важкі навички вибору хорошого кандидата на посаду. Крім того, можуть бути деякі проміжні причини, коли стільки кандидатів не зможуть пройти цей тест (нервозність, думка, що "це трюк" тощо).

Виходячи з коментарів поки що, схоже, що ідея, що стоїть перед питаннями FizzBuzz, полягає в тому, щоб визначити, чи має людина хороші (достатньо) навички кодування, щоб їх далі розглядати. Я не зовсім впевнений, що FizzBuzz насправді робить це. Крім того, пам’ятайте, що FizzBuzz фільтрує дуже великий відсоток кандидатів дуже рано в процесі найму, що може означати, що значна кількість хороших кандидатів віддаляється рано, тому що вони не можуть вирішити дурні проблеми досить швидко.

Також зазначу, що дивлячись на ефективність FizzBuzz - це те, що можна повністю зробити кількісно. Це на відміну від погляду на "придатність" чи "пристрасть", які є дуже мінливими та дуже ненауковими (але все ще досить важливі для нових рішень щодо найму).

З давніх часів я прочитав дослідження про співбесіду (тому я не можу конкретизувати сайт, за що я вибачаюся), але загальне правило полягає в тому, що люди наймають на основі м'яких навичок, але немає кореляції між цим та виконання. Тестування на конкретні навички може працювати, для особистості - ні (за вимірюваними даними).

Майже всі вважають, що їхні спеціальні методи інтерв'ю працюють, дані свідчать, що ви, мабуть, не повинні турбувати інтерв'ю (частина інтерв'ю "скажіть про себе", на відміну від об'єктивного тестування), оскільки кандидати, відібрані інтерв'юерами, не кращі, але інтерв'юер показує упередженість до екстравертів, людей, демографічно схожих на інтерв'юера, високих людей, привабливих людей тощо. (Можливо, ви повинні найняти людей, які добре справляються з тестами і погано в іншому інтерв'ю, оскільки вони, очевидно, так само хороші на роботі, але може важче покинути свою компанію).

Я, напевно, розраховую на те, що за це спалахне, зазвичай хтось, кому я це скажу, "але ми використовуємо метод X і він насправді працює для нас", але якщо ви не

1. найняти деяких людей, які не пройдуть ваш процес співбесіди,

2. не кажіть своїм колегам, хто пройшов, а хто ні, і

3. порівняйте результати роботи тих, хто пройшов, та тих, хто цього не зробив, використовуючи попередньо узгоджені об'єктивні критерії

у вас дійсно дуже мало уявлення, чи працює ваш процес. На жаль, ефективність інтерв'ю по суті важко оцінити.

Якщо вам цікаво, експерименти роблять такі речі, як просити людей оцінювати кандидатів на основі стенограмів інтерв'ю, від кандидатів, яких насправді вже прийняли на роботу (серед багатьох інших методик). В ідеалі експериментатори мали б людей проводити співбесіди, вибирати кандидатів, стирати пам'ять інтерв'юера, випадковим чином вибирати, кого найняти з числа кандидатів, і порівнювати результати роботи кандидатів, використовуючи точні, об'єктивні критерії проти рейтингів, які дають інтерв'юери, але цей експеримент є важко зняти.

Тож, хоча я не бачив конкретних досліджень FizzBuzz, саме така річ може виявити ефективність у науковому тестуванні. Якщо він виявить 95% кандидатів, то мені буде цікаво, чому - це було винайдено настільки абсурдно легко, що тільки некомпетентний програміст не міг його пройти, і важко зрозуміти, як притупити FizzBuzz. Цікаво, який відсоток пройти тест "Привіт, світ"? Тест "змусити комп'ютер робити щось, що-небудь" тест?

Мета fizzbuzz - не знайти хороших програмістів, це знайти певний клас поганих програмістів, це люди, які не можуть реалізувати простий алгоритм. Ваше запитання на зразок запитання, скільки чемпіонів Nascar визначено під час іспитів на посвідчення водія. Між тим, кого ви точно не хочете наймати, і тим, кого ви точно робите, є багато середини.

Є й інші класи "поганих" програмістів, які потребують різних методів ідентифікації, як, наприклад, ті, хто не володіє цією мовою або має поведінкові проблеми. Однак програмісти, які погано сприймають фіззбуз, практично не бажані, тому тест настільки часто рекомендується. Незалежно від того, чи є надмірно територіальний програміст, чи той, хто повинен передати навички новою мовою, "хороший" чи "поганий", залежить набагато більше від потреб та переваг роботодавця.

FizzBuzz не в тому, щоб визначити хороших програмістів, це в тому, щоб усунути поганих / факерів. Якщо кандидат не може пройти тест FizzBuzz, він не знає, як програмувати, і не повинен претендувати на посаду з програмування.