Чи існує стандартна система оцінювання публікацій наукових журналів?

Я чув, що деякі журнали оцінюються більш високо, ніж інші. Це правда? І якщо так, то які критерії оцінюють значення одного рецензованого журналу над іншим? Як дізнатись його рейтинг? Чи буде моя публікація менш "вартістю", якщо вона буде прийнята в менш авторитетному журналі, ніж, скажімо, огляд SIAM?

Які чинники визначають, де я публікую статтю?

• Чи побачать це люди, яких я хочу прочитати в цьому документі? Якщо я слідкую за роботою іншої групи (можливо, щоб показати іншу точку зору, іноді показати алгоритмічні вдосконалення або виправити проблеми з попереднім документом), я захочу подати документ у той же журнал, навіть якщо є питання фактору впливу.

Як молодий учений-обчислювач, який ще перебуває на етапі розвитку своєї кар’єри, я зазначив би, що до цього питання є додатковий, а може бути, і більш критичний аспект. . . .

• Чи побачать цей документ люди, які можуть оцінити мене?Я часто спілкувався з однолітками в галузі обчислювальної науки про необхідність мати «домашнє газон»: обчислювальна наука - це дуже міждисциплінарна сфера. На жаль, ми насправді не можемо вважатися вченими-обчислювачами, коли настає час розглянути на постійну посаду. За відсутності роботи у відділі обчислювальних наук, нам доведеться подавати заявку на перебування на посаді в існуючому відділі, що зазвичай означає, що нашими "однолітками" будуть інші інженери, вчені та математики - багато з яких насправді не мають сильних передумови в обчислювальній науці. Це означає, що навіть якщо ви хочете йти в напрямі перехресних добрив, вам все одно потрібно зосередити деякі ваші публікації в журналах, що займаються переходом до вашої дисципліни. Це виклик, з яким багатьом нашим ровесникам не обов’язково доведеться стикатися, і це додаткове ускладнення в нашому житті. Але це те, про що ми маємо усвідомлювати, перш ніж розпочати роботу!

• Скільки у мене зараз конкуренції? Чим сильніше переповнене поле, тим важливіше отримати результати на початку. Хоча це чудово намагатися ходити на природу чи науку з будь-якими документами з вашої групи (припускаючи, що ви не з чистої математики чи чогось подібного), адже перший виходите за ворота в "гарячому" полі має значення набагато більше, ніж публікація у "кращому" журналі в галузі.

• Наскільки важливий цей документ? Папір, що представляє собою роботу, яка надає багато нових даних, але не дуже перешкоджає переконливому розумінню, ймовірно, не заслуговує на те, щоб перейти до журналу вищого рівня. Напевно, краще шукати авторитетний журнал. Однак якщо ви дійсно знайшли щось велике, стріляйте високо, доки ви не переживаєте за час кризи, що впливає на великі журнали. (Наприклад, це може зайняти більше часу, щоб опублікувати в « Фізичному огляді» листи, ніж в одній з інших серій « Фізичний огляд », які мають порівнянну кількість.)

Після того, як все це буде враховано, я почну хвилюватися щодо таких питань, як фактор впливу , але тоді лише як міркий контроль якості. Різниці в 10-20% по суті безглузді, але показник 1,0 проти 2,0 або 2,0 проти 3,0 є реальним рівнем різниці між журналами.

В ідеальному світі ви б врахували лише одне, вибираючи, куди подати рукопис:

який читацький журнал включає найширшу аудиторію, яка була б зацікавлена ​​у цій роботі?

На практиці ви також враховуєте інші фактори, можливо, найбільш суттєві

Наскільки публікація в цьому журналі допоможе моїй кар’єрі?

Кожен, хто добре зрозуміє вашу роботу, оцінить її фактичну значимість , але ті, хто занадто віддалений, можуть використовувати якість журналу як проксі для якості вашої роботи.

Як визначається якість журналу? Досвідчені фахівці мають власну думку на основі досвіду роботи з кожним журналом та прочитаних статей. У деяких галузях, як-от математика, ця думка експертів може бути синтезована лише шляхом розмови з багатьма експертами. В інших сферах, як, наприклад, інформатика, це було чітко кодифіковано в багаторівневу систему ранжирування .

Найбільш доступною метрикою якості журналу є так званий фактор впливу . Небезпека наявності єдиного, широко використовуваного показника для чого-небудь полягає в тому, що ним можна маніпулювати чи неправильно застосовувати , або просто не бути корисним для деяких речей, до яких він застосовується. Наприклад, оскільки він вимірює лише цитати протягом двох років, це не має особливого сенсу для математичних робіт, які зазвичай отримують більшість цитат через два роки - часто набагато пізніше. Це також, здається, погано співвідноситься з думкою експертів. Є альтернативи, наприклад, Eigenfactor . І зараз багато людей пропонують використовувати соціальні метрики для ранжирування журналів .

Я не використовую фактор впливу чи інші подібні показники у своїх власних рішеннях, оскільки відчуваю, що мій безпосередній досвід дає мені більш точну міру значущості журналу. Цікава вправа - пройти вашу особисту бібліотеку посилань (наприклад, у бібліотечному файлі) та переглянути кількість статей, що містяться у різних журналах. Це, ймовірно, дасть вам найкращу інформацію про те, де слід публікувати.

До речі, є пропозиція створити експертний рейтинг математичних журналів; переглянути цей звіт та цей офіційний блог ІМУ .

Ви також повинні знати, що останнім часом відбувся вибух нових журналів низької якості, заснованих на моделі оплати авторських прав. Їхні видавці часто спамують великі спільноти науковців (часто включаючи багатьох, хто не має кваліфікації), намагаючись отримати досить поважні імена у своїх редакційних колегіях та на прохання подати документи. Наскільки я можу сказати, вони є прибутково-орієнтованою суєтою .

Це дійсно залежить від того, наскільки ви вірите в рейтинги журналів. Найпопулярніша метрика, яка мені відома, - це фактор впливу. Ця стаття у Вікіпедії описує коефіцієнт впливу, його обчислення та те, як він піддається маніпуляціям, а також альтернативні показники оцінки журналу. Найголовніше, що варто зауважити, - це те, що фактори впливу журналів у різних галузях необов’язково порівнянні, навіть незважаючи на те, що система оцінювання факторів впливу намагається зруйнувати "якість" кожного журналу на єдину метрику. (Для цікавої дискусії про те, чому така ідея може призвести до оманливих або легко маніпулюючих результатів, див. Есе Нью-Йоркера Малкольма Гладвелла «Порядок речей» , де обговорюються рейтинги коледжів та рейтинги автомобілів.)

Коефіцієнт впливу - це середня кількість цитат, одержаних за документ, опублікований у цьому журналі за два попередні роки, тому критеріями для оцінки вартості одного рецензованого журналу за іншим є те, скільки разів цитують його останні статті в середньому, за основа статті. Ця метрика означає, що такі журнали, як « Наука та природа», мають високі рейтинги, як можна було б очікувати, але це також означає, що Міжнародний журнал нелінійних наук та моделювання (3.100) стає рейтингом вище, ніж Журнал наукових обчислень SIAM (3.016), навіть якщо останній журнал набагато більше впізнаваний.

Що стосується того, що ваша публікація менш "варта", це залежить від людини. Мені сказали більш старші колеги, що наявність статей у більш престижних журналах корисна для таких речей, як перебування на посаді та прийняття на роботу; не маючи досвіду подібних питань з перших вуст, я відкладаю коментарі людей, які мають більше досвіду в таких ситуаціях. Це залежить від спільноти людей, яких ви намагаєтесь охопити чи вразити. Якщо ви щось публікуєте в журналі з математики, не сподівайтесь, що люди, які не знають математики, обов'язково прочитають це. (Ця ж порада стосується й інших предметів.) Також ви можете вирішити опублікувати в менш престижному журналі, оскільки хочете отримати результат швидко, а не довго чекати, коли його переглянуть більш престижний журнал. Я ' мені сказали, що журналам SIAM може знадобитися рік чи більше, щоб переглянути документ та опублікувати його, що підкріплюється, переглядаючи час між поданою датою та датою публікації на папері. Подання в конкретний журнал також залежить від цілей та обсягу, політики (хто в редакції, хто, ймовірно, перегляне ваш документ), до якої спільноти ви хочете звернутись (на кшталт поради щодо теми, що знаходиться вище ). Я все ще консультуюся з іншими людьми з цих питань. до якої спільноти ви хочете звернутись (це стосується порад щодо вищевказаної теми). Я все ще консультуюся з іншими людьми з цих питань. до якої спільноти ви хочете звернутись (це стосується порад щодо вищевказаної теми). Я все ще консультуюся з іншими людьми з цих питань.

Коли я переглядаю статті, "престиж" журналу, як на мене, - це справді моє внутрішнє відчуття, яке відображає цінні думки інших людей, яких я знаю в науці (моїх порадників, колег тощо). Я більше схильний довіряти статтю в журналі, який є більш престижним, тому що я вважаю, що він швидше є надійним, але, безумовно, є погані статті в престижних журналах, тому престиж не є заміною для того, щоб робити вашу належну ретельність. Наприклад, є деякі досить серйозні помилки в інакше гарній статті журналу, яку я цитував з SIAM Review .

У будь-якому разі, це моя суперечлива думка, і як (майже) свіжовичавлений доктор наук, я впевнений, що інші, хто має більше досвіду, матимуть набагато більше перспективи та розуміння.

Рейтинг обов'язково є суб'єктивною діяльністю. Якщо ви дбаєте про те, як інші оцінюватимуть ваш папір, то вам потрібно розібратися, які їх критерії. Як правило, чим менше компетенцій у вашій галузі роботи, тим більше вони будуть покладатися на рейтинг журналу, а не на оцінку вашої роботи, і тим більше вони будуть покладатися на бібліометрію (фактори впливу, h фактори, ...) а не особистий досвід.

Це розмова, яку ви повинні вести з людьми над вами, які збираються оцінити вас. Якщо ви докторант, то вам слід поговорити зі своїм радником та іншими професорами про те, як їх кафедра та інші кафедри в інших установах оцінюють роботу викладачів, які приймають на посаду, коли приймають рішення про влаштування на посаду. Якщо ви зараз професорсько-викладацький колектив, вам слід було вже провести цю розмову з головою кафедри та іншими членами бюджетної ради кафедри або подібними органами про те, як вони оцінюють роботу кандидатів на посади. Якщо ви не є професором якоїсь моди, або якщо ви є академіком, який не має посади, вам слід задати ті ж запитання вашому керівникові щодо просування по службі та утримання у вашому закладі.

Мій досвід полягає в тому, що більшість дослідників насправді не читають і не намагаються слідкувати за публікаціями в журналах, що стосуються їхніх областей безпосередньо під час виходу. Скажімо, не так багато людей мають особисті підписки на IJNMF і читають обкладинку випуску кожного місяця, щоб охопити її. Тут просто занадто багато місць, щоб не відставати. Найчастіше, я вважаю, люди шукають пов’язану роботу, використовуючи сповіщення електронною поштою або google, щоб шукати пов’язані товари та безпосередньо слідкувати за роботою колег та конкурентів. Отже, найважливіше - не намагатися побачити вашу роботу через журнали, а публікувати на найкращому місці, як визначають ті, хто буде судити про вашу кар’єру.

Спосіб побачити вашу роботу - це агресивно продавати її на ринку через конференції, семінари, безкоштовне програмне забезпечення, веб-сайт тощо. Це, мабуть, не вплине на рішення вашого комітету з промоції (тощо), але якщо люди бачать і використовують вашу роботу через інші місця, і ви даєте їм додруки та посилання на те, де це публікується в журналах, тоді це збільшить кількість ваших цитат, що є важливим для тих, хто над вами.

Моя коротка відповідь: На жаль, є (майже).

Існує рейтинг Aust MS для математичних журналів, і я думаю, що є й інші рейтинги. Однак, на мою думку, це не корисно. Я цитую з власного блогу: "Моя думка полягає в тому, що рейтинг можливий, але і марний, і небезпечний. Це можливо, оскільки ви можете запитати досвідчених математиків, і ви отримаєте достовірну відповідь. Це марно, оскільки ви або знаєте, які журнали є" добре, або ви можете попросити колегу (що в основному є тією ж причиною, що і попередня). Це небезпечно, оскільки пропонує можливість формувати рішення про перебування на посаді чи гранти на цих номерах і зміщує фокус з того, що ви публікуєте, на те, де ви опублікувати ».

Існують деякі системи ранжування цитат, які можна стверджувати, що це гідні заходи престижу - важливі статті цитуються більше тощо - найпоширенішим з них є "фактор впливу". Але у всіх цих є свої проблеми - вони не постійні по полю, вони сприйнятливі до маніпуляцій розумними дослідниками тощо. Інші, які трохи краще, - це h-індекс і g-індекс, але ... мех.

Як правило, я виявив, що в полі є "відчуття" того, що добре, а що ні - і що ще важливіше, що підходить, а що не для вашого документа. Наприклад, у мене є один папір, який вдалося потрапити до дуже хорошого журналу, але його зовсім недоречно, тому він трохи знемагає.

Ваші оцінювачі чи колеги, ймовірно, будуть найкращими джерелами для спілкування. Досвід часто є найкращим суддею того, що вважається "хорошим" для певного журналу, який би добре піддавався конкретному журналу. Загальні рейтинги (біологія, медицина тощо), або, що ще гірше, рейтинги в масштабах Академії можуть не принести користі.