Код в наукових працях

За свою академічну кар’єру я прочитав досить багато наукових робіт на різні теми інформатики. Багато з яких передбачають реалізацію та певну оцінку цієї реалізації, але я виявив, що дуже мало з них публікують використаний ними код.

Для мене вигоди від включення фактичної реалізації були б істотними, а саме:

• Розширення довіри чи відтворюваності (просто перевірити самі!)
• Роз'яснення неоднозначностей (особливо для паперів, написаних носієм мови)
• Повторне використання коду для додатків

То чому ж так мало паперів насправді містить будь-який код?

Я припускаю, що це може бути намір організації, яка стоїть за документом, використати реалізацію у власних додатках, і, таким чином, не хотіла б її випускати, але якщо це так, то навіщо писати документ?

Ось добре аргументована стаття Девіда Доного та Джонатана Бакхейта, яку я читав у школі, яка торкається саме цієї теми з точки зору дослідників вейвлетів:

"WaveLab та відтворювані дослідження"

Їх ідея була ще більш амбітною - надати код для відтворення всіх фігур у своїх документах у зручному пакеті Matlab.

Мені дуже подобається їх ідея, але я думаю, що питання очевидні.

(1) Це додаткова робота (очищення коду, створення принаймні рудиментарного інтерфейсу користувача, написання певної документації, надання певної підтримки, коли люди неминуче стикаються з проблемами)

(2) Більшість конференцій / рецензентів це не потрібно / очікує

Але я не можу не відчути, що науково-дослідницька спільнота CS принесла б користь, якщо очікували б оприлюднення коду та даних, що використовуються в будь-якій публікації, доступними у доступному форматі. Я визнаю, що я цього не робив навіть тоді, коли обсяг роботи був би керованим. Я думаю, що важко змусити себе докласти додаткових зусиль, коли немає зовнішнього поштовху.

Якщо ви працюєте в промисловій лабораторії, отримати документ, затверджений до випуску, може бути набагато простіше, ніж отримати код, затверджений до випуску (навіть якщо папір містить всю інформацію, необхідну для перезапису коду). Звинувачуйте бюрократію.

Переміщено та розширено з коментаря:

Я думаю, це має залежати від підполя. Майже всі матеріали з теорії B, з якими я знайомий (особливо, з Haskell, Agda, а іноді і з Coq), містять опублікований код, іноді навіть як додаток або ще краще вкладений у статті. Досить велика кількість робіт, наприклад, ICFP, написана як грамотні програми для початку, а їх джерело в повному обсязі публікується авторами. Значна кількість тих, у свою чергу, призвела до вилучення бібліотек для розповсюдження.

З решти паперів неабияк ніколи не було коду. З них, мабуть, дві основні причини. По-перше, це документи, основним змістом яких є дерева-перевірки, введення правил із супровідними доказами міцності тощо. З них, прогрес механізованої метатеорії спонукав принаймні деяких авторів надати код у своїй теоремі, що підтверджує вибір (див. Слайди Вейріха на POPLmark: http://www.seas.upenn.edu/~sweirich/talks/cambridge-09. pdf). По-друге, це ті, які походять із птахів-метеликів (банани та співавтори). Вони, як правило, перекладаються на функціональну мову без зайвої праці. Однак, я підозрюю, що як правило, є втрата загальності, і що вирішення конкретних питань синтаксису та введення тексту непотрібно ускладнює речі і ускладнює дотримання рівняльних міркувань.

Мені хотілося трохи обґрунтувати свої спостереження, тому я оцінив грубо підрахунок перших двох днів ICFP 2010 року. З стандартних робіт (тобто не з досвіду чи запрошених переговорів) 12 з 21 надали якийсь код. Три надали Кок (четвертий вимагав часткового доказу, але не опублікував). Три пропоновані Хаскелл. Три надала Агда. Один надав схему, один надав Камла, а один - дванадцять. (Зверніть увагу, що деякі надали код для більше одного помічника доказування або для формалізації, і для реалізації). З решти робіт деякі з них працювали на досить високому рівні абстракції, що реалізація його в якості кореспондента-кореспондента була б самою новою роботою, і досить велика кількість робіт, на які я підозрюю, могла бути реалізована в допоміжному помічнику з використанням стандартних методик, але для цього, безумовно, знадобилось би неабияка робота.

Ви вважаєте, що код повинен бути опублікований, але ви запитуєте, чому документи не містять код. Це дві різні речі.

Здебільшого просто не вистачає місця для публікації значної кількості коду. У моїй дослідницькій галузі (обробка зображень) псевдокод чи інформація про архітектуру часто набагато цінніші, і я ніколи не потрапляв через відсутність коду в папері. Часто це залишається як вправа для читача, який зрозумів статтю.

І все ж існує чимало коду для ілюстрації робіт. Зазвичай автори мають веб-сторінку, і навіть якщо рецензент не має можливості спробувати перевірити сам код, природний відбір, здається, працює досить добре, і автори, які не публікують код, набагато менше цитуються.

Це можна було б запитати вже колись тому, але я завжди відчував це сильно, тому я віддаю свої два центи. Я працював роками (вже не більше) в межах спільноти SAT. Більшість дослідників рідко публікують свій код. Документ публікується разом з алгоритмом, але дуже рідко можна побачити фактичний код розв'язувача SAT (MAXSAT solver) тощо, опублікованого разом із документом.

А реальність така: з справедливим кодом, опублікованим у газеті, ви ніколи не будете не буде шансу відтворити авторські експерименти. Не тільки тому, що опублікований код не є повним (звичайно), а й тому, що навіть опублікований псевдокод рідко перетворюється напів безпосередньо в те, що реально реалізовано.

Причину цього важко зрозуміти, і це може залежати від дослідника до дослідника, але, головним чином, це в два рази.

• По-перше, дослідник прагне постійно працювати в одному рішальнику, публікуючи документи після публікацій над тим самим вирішувачем і поступово додаючи нові функції, що перекладаються на нові версії розв'язувача. Існує нездорова одержимість, що конкуренція використовуватиме ваш вирішувач для подальшої кар’єри, розширюючи її та публікуючи документи, не надаючи належної ваги (тобто співавторство).

• По-друге, якийсь код насправді (як і все програмне забезпечення) пишеться поспіхом. Напівфабрикати сценаріїв. Неперевірені особливості тощо. Опублікувавши цей код, дослідник відчув би, що він бентежить себе і шкодить їхній репутації.

Я залишаю вам нещодавню посилання на це від ACM: http://cacm.acm.org/magazines/2011/5/107698-the-importance-of-reviewing-the-code/fulltext

Історично історичні статті мали друкуватися на папері, а журнали надсилалися на міжнародний рівень. Кожна додаткова сторінка, яка використовувалась для додавання значної вартості, тому статті ставили обмеження по довжині, і навіть простий робочий код зазвичай займає багато місця, ніж неофіційний опис.

Сьогодні немає жодної вагомої причини не включати код у будь-яку статтю, яка посилається на алгоритм.

Також може бути корисним відмовитися від орієнтованих на друк форматів, таких як pdf та postscript, на користь більш семантично усвідомлених форматів (HTML з MathML або, можливо, варіація Mathematica з відкритим джерелом).