Як судити документ?

Оновлено нижче

Усі ми знаємо критичне значення експертної оцінки. Це основна форма контролю якості та зворотного зв'язку щодо досліджень. Однак для дослідника на ранній стадії (як я) це іноді може бути заплутаною системою / процесом.

Відповідно, існує кілька трактатів про науковий процес суддівства, які дають настанови. Два (дуже різні) приклади з інформатики - ця стаття Парберрі 1994 року та останній - Кормоде - пропонують чудову пораду (хоча останній може бути відважним).

Тут я хотів би попросити більш широкі поради від більш досвідчених членів цієї спільноти щодо процесу перегляду, з особливою увагою до особливостей теоретичної інформатики.

1. Які основні критерії для визначення значущості результатів статті? Як визначити, чи слід приймати документ до конференції / журналу? Чи важливо перевірити правильність?
2. Які основні елементи арбітражного звіту та які частини є найважливішими? Чи завжди потрібно давати рекомендації щодо (не) прийняття? Що йдеться у звіті та що стосується лише редактора?
3. Чим оцінювання конференцій відрізняється від оцінки журналів? Чим доповіді на конференціях відрізняються від звітів у журналах? (Як я можу оцінити свою "впевненість" у своїй рекомендації?) Чи повинна версія журналу суттєво відрізнятися від доповіді конференції?
4. Що робити, якщо я не розумію папери? ... доказ? (Це я винна чи їхня?)
5. Що щодо типографічних / граматичних помилок? Що робити, якщо їх багато?
6. Скільки часу потрібно витратити на звіт?
7. Скільки звітів на рік я повинен написати? Коли прийнятно відмовити у проханні судді?

Звичайно, рекомендуються будь-які інші відповіді на цю тему та відповіді на цю тему, оскільки це CW.

Це питання надихає (вкрадений) аналогічний пост у MathOverflow .

Оновлення 15.02.2011:

Мені все ще дуже цікаво отримати більше інформації щодо цього питання, особливо щодо перегляду доповідей на конференції та членства в програмних комісіях. (Ці дві ролі самі по собі є різними звірами, і обидві дуже не схожі на те, щоб бути арбітром статті статті, IMO.) Звичайно, членство в програмному комітеті рідше, ніж судити або рецензувати (і це ще не було моїм привілеєм), але це відповідальність, яку з часом повинен взяти на себе кожен дослідник теоретичних інформатик.

• Час. Скільки часу я повинен витратити як член комітету чи рецензент конференції? Зважаючи на ймовірність того, що я можу отримати десять чи, можливо, багато більше, щоб обробитись протягом кількох тижнів, як я можу уникнути нестачі часу? На які найважливіші речі витратити час?

• Впевненість. Що робити, якщо папір занадто далеко від моєї сфери знань? Які фактори повинні входити до висунення / прохання когось іншого переглянути проект? Якщо це не занадто далеко від моєї області знань, і я вирішу його переглянути, коли допустимо давати рейтинг довіри 1?

• Критерії. Існують критичні відмінності між журналами та конференціями. Деякі дуже важливі статті не публікуються в журналах. Деякі дуже важливі документи раніше не з'являлися на конференціях. Які найбільш значущі відмінності в критеріях, за якими можна оцінити документи в цих умовах?

• Рекомендації. По суті, є менше рекомендацій, які можуть бути запропоновані авторам конференційного документу, насамперед через обмеження простору та часу. Також зазвичай є лише один раунд огляду. Інша думка полягає в тому, що мій звіт стає загальнодоступним для всього сильного комітету. Яку сферу пропозицій / директив я можу запропонувати?

Як і раніше, якщо ви думаєте, що я пропустив задати якісь конкретні запитання, повідомте мене або редагуйте безпосередньо. Зрештою, це CW.

Ці нові думки частково мотивовані, читаючи документ, який Суреш згадав у своєму блозі .

1. Наскільки вам відомо, чи робить документ вагомий, добре представлений і правильний внесок у сучасний стан? Якщо документ не відповідає жодному з трьох критеріїв, справедливо відкинути його лише з цієї причини, незалежно від двох інших.

2. Ось що, на мою думку, повинен містити звіт. Автору повинно бути видно все, за винятком можливих серйозних звинувачень у проступках.

   а. Короткий підсумок статті, щоб допомогти редактору судити про якість результатів та переконати автора та редактора, що ви насправді прочитали та зрозуміли документ. Розмістіть результат у його більш широкому контексті. Включіть історію попередніх версій, навіть якщо автори включають її у подання. Будьте поважними, але жорстоко чесними.

   б. Обговорення сильних і слабких сторін статті з точки зору правильності, новизни, чіткості, важливості, загальності, потенційного впливу, елегантності, технічної глибини, надійності тощо. Якщо ви підозрюєте неетичну поведінку (плагіат, паралельне подання, приготовані дані) , опишіть свої підозри. Будьте поважними, але жорстоко чесними.

   c. Рекомендація редактору щодо подальших дій - прийняти, прийняти з незначною редакцією, попросити другий раунд рецензування або відхилити прямо. Майте на увазі, що ви приймаєте рекомендацію, а не рішення; якщо ви не можете вирішити, просто скажіть так. Будьте поважними, але жорстоко чесними.

   г. Більш детальний зворотний зв'язок з автором - більш детальне обґрунтування вашої рекомендації, прохання про роз'яснення у остаточній версії, відсутні посилання, помилки у доказуванні, спрощення, узагальнення, друкарські помилки тощо. Будьте поважними, але жорстоко чесними.

3. Звіти конференції повинні бути коротшими; програмні комітети мають одразу розглядати сотні документів. Чи має бути різниця між статтями конференції та журналу, залежить від журналу (і опосередковано - від громади). Більшість теоретичних журналів інформатики не наполягають на значній різниці; цілком звичайно для конференції та журнальних версій теоретичного документу бути по суті ідентичними. Якщо сумніваєтесь, запитайте редактора!

4. Якщо ви все ще не розумієте статтю після добросовісних зусиль, це вина автора чи, можливо, редактор, але, звичайно, не ваша. Основна відповідальність автора полягає в ефективному донесенні результатів до своєї аудиторії, а хороший редактор надішле вам аркуш для реферату лише в тому випадку, якщо він вважає, що ви є хорошим представником призначеної аудиторії. Але вам доведеться докласти сумлінних зусиль; не сподівайтеся, що відразу ж зрозумієте все (що-небудь?) у першому читанні.

5. Якщо помилок багато , навіть не читайте папери; просто рекомендую відхилити на тій підставі, що папір не написана професійно. В іншому випадку, якщо ви дійсно хочете бути ретельними, включіть репрезентативний список граматичних, орфографічних та пунктуаційних помилок, але не переконайтесь у пошуку останньої помилки. Будьте поважними, але жорстоко чесними.

6. Розраховуйте витратити близько години на сторінку, в основному на інтерналізацію результатів і методів роботи. Будьте приємно здивовані, коли насправді це не забирає так довго. (Якщо це займає значно менше часу, ніж це, або папір або надзвичайно вишуканий і добре написаний, ви дуже добре знаєте область, або папір технічно неглибока. Не плутайте ці три можливості.)

7. Ви повинні написати щонайменше стільки рефертних звітів, скільки інші люди пишуть за вас. Якщо на це потрібно більше часу, ніж писати власні документи, ви не витрачаєте достатньо часу на власні документи.

Багато що залежить від конференції / журналу, оскільки кожна громада виробила свій власний стиль, тому знання того, що очікується від конференції / журналу, безумовно, допоможе трохи.

1. Які основні критерії визначення значущості результатів статті? Як визначити, чи слід приймати документ до конференції / журналу? Чи важливо перевірити правильність?

Критерії: Новизна / оригінальність, очікуваний вплив, правильність / обгрунтованість, обширність (яка частина проблеми вивчається? + Теореми? + Реалізація? + Експериментальні результати?), Якість презентації. Критерії прийняття журналу набагато вищі, ніж для конференцій. Для конференції ви даєте бал, виходячи з попередніх критеріїв. Максимально важлива перевірка правильності, особливо для статей журналу.

2. Які основні елементи суддівського звіту та які частини є найважливішими? Чи завжди потрібно давати рекомендації щодо (не) прийняття? Що йдеться у звіті та що стосується лише редактора?

Доповідь арбітрів містить щонайменше 4 основні елементи: Зведення доповіді та його внесок; вказує на прийняття документа; точки проти паперу; основні зауваження, включаючи моменти, на які потрібно звернути увагу; незначні коментарі (помилки друку тощо). Ви завжди повинні вказувати на прийняття чи відхилення або про необхідну ступінь перегляду. Коментарі до редактора можуть включати: коротку, можливо, тупу оцінку статті; будь-яке сумнівне твердження; деталі можливого плагіату або паралельного подання документа; ...

3. Чим оцінювання конференцій відрізняється від оцінок у журналах? Чим доповіді на конференціях відрізняються від звітів у журналах? (Як я можу оцінити свою "впевненість" у своїй рекомендації?) Чи повинна версія журналу суттєво відрізнятися від доповіді конференції?

Огляди журналу, як правило, є більш обширними і можуть включати багато речей для авторів, щоб привести їхній документ у прийнятний стан, наприклад "реалізувати та оцінити ці ідеї". Ваша впевненість повинна базуватися на тому, наскільки ви впевнені в собі. Як правило, це буде з досвідом, тому починайте бути консервативними. Це поза вашим полем, навіть якщо ви можете зрозуміти документ, консервативність також є хорошою ідеєю - важко оцінити оригінальність паперу поза вашим полем. Деякі журнали стверджують, що матеріали журналів повинні містити значну кількість нового матеріалу порівняно з версією конференції. 30% - це цифра, яку я чув.

4. Що робити, якщо я не розумію папери? ... доказ? (Це я винна чи їхня?)

Це може відрізнятися. Іноді це буде ваша провина, інколи - їхня вина. Скористайтеся своїм судженням. Можливо, попросіть колегу поглянути на папір. Якщо ви повністю не можете зрозуміти це, і це не пов’язано з поганим форматуванням, тоді, можливо, зв’яжіться зі стільцем ПК та поясніть, що це так. У будь-якому випадку, це має відображатись на вашій оцінці довіри. Якщо папір неможливо зрозуміти через погану писемність чи мову або через те, що вона була подано передчасно, це слід записати у вашому звіті.

5. Що щодо друкарських / граматичних помилок? Що робити, якщо їх багато?

Коли я був молодшим, я повідомляв про кожну друкарську та граматичну помилку. Зараз у мене просто немає часу. Повідомлення про деякі завжди корисне: виберіть найбільш серйозні. Також рекомендуємо папір бути корисною (носієм мови). Для журнальних робіт слід бути більш ретельними. Якщо у нього занадто багато помилок, то його не слід було надсилати до журналу, що лише є підставою для відмови (IMHO).

6. Скільки часу потрібно витратити на звіт?

Максимум один день для конференції, включаючи час для читання. Для журнальних робіт, особливо довгих, уважне читання документа може зайняти цілий тиждень.

7. Скільки звітів на рік я повинен написати? Коли прийнятно відмовити у проханні судді?

Очікувана сума може коливатися від 5 до 30. Як молодший науковий співробітник, вам дадуть декілька для практики. По мірі того, як ви пройдетеся через класи, ви отримаєте більше рецензування, ставши членом ПК. Тоді, просуваючись ще далі, ви будете мати армію аспірантів, які будуть робити для вас огляд. Більше 30 на рік є досить обтяжливим.

Як я вже говорив вище, я б сказав, що доцільно відмовити у запиті судді, коли або (1) ви не відчуваєте, що у вас є достатній досвід, щоб зробити хороший огляд, або (2) у вас занадто багато рецензування (або іншого) зобов'язання на даний момент. Також вважається хорошою формою запропонувати ряд можливих альтернативних рецензентів, якщо ви відмовитесь.

Я даю тут свої 2 копійки, і я додаю сьомий бал:

1. Скільки звітів потрібно робити щороку?

Мої відповіді

1. Звичайно, критерії не збігаються для конференцій та журналів. Для обох правильність - це, мабуть, найважливіший критерій. Тоді, мій другий критерій - новизна результатів для конференцій, в той час як це вплив результатів для журналів. Для конференції також важливо судити про те, чи цікавить цей документ аудиторію, але це заклик до судження, який можуть робити студії ПК, а не рецензенти.

2. Перш за все, за винятком випадків, коли ви підозрюєте у шахрайстві чи поганій практиці та не впевнені в собі (тоді вам слід поговорити виключно з редактором), на мою думку, ви повинні все розповісти авторам. Я думаю, що важливо бути чесним з авторами і, таким чином, завжди давати рекомендацію. У звіті ви повинні описати тему, результати (щоб автори могли бачити, що ви розумієте документ), потім слід оцінити достоїнства результатів (новизна і якість сучасних, технічна глибина, правильність, чіткість) і вказати на кожну проблему. Нарешті, ви повинні дати свою рекомендацію, можливо, з порадами авторів (наприклад, "Я думаю, що цей результат хороший, але більше підходить для конференції A, а не даної"). У дуже небагатьох випадках вам видадуть документи, які не заслуговують на те, щоб бути навіть поданими,

3. Я думаю, що, крім випадків запрошення журналу до спеціального випуску, пов'язаного з доповіддю на конференцію, має бути суттєва різниця.

4. два випадки: це не зрозуміло (їхня вина), тому ви можете відхилити папери з цієї причини або ви не є хорошим рецензентам для цього документу. Коли це трапляється, ви знаєте, що це за справа, якщо ні, то ви не є другою справою!

5. Я не є носієм англійської мови, тому у моїй відповіді є упередженість. Але я вважаю, що це не привід для відхилення паперу (за винятком деяких крайніх випадків).

6. Необхідний час. Він може становити від 1 години (погана робота в майстерні) до декількох днів (дуже задіяний папір у верхньому журналі).

7. Особисто я розраховую скласти 3 доповіді за поданий мною документ (і так, це багато, насправді переглядаю, мабуть, одне з моїх найзатратніших завдань - перш ніж викладати, можливо).