Яке програмне забезпечення та робочий процес рекомендується для публікації наукових даних та графіків?

Яке програмне забезпечення забезпечує хороший робочий процес від простого побудови кількох точок даних до створення графіки рівня публікацій з детальними стилями, набором математичних даних та "професійною якістю"?

Це трохи пов'язане з питанням про Девіда ( Які атрибути роблять фігуру професійною якістю? ), Але в центрі уваги не атрибути, а програмне забезпечення або загальний робочий процес, щоб потрапити туди. У мене є поверхневий досвід роботи з низкою програм, Gnuplot, Origin, Matplotlib, TikZ / PGFplot, Qtiplot, але робити аналіз даних і приємні цифри одночасно здається досить важким.

Чи є якесь програмне забезпечення, яке дозволяє це чи я повинен просто копати глибше в одному з пакетів?

Редагувати: Мій поточний робочий процес - це сукупність різних компонентів, які більш-менш працюють разом, але загалом це не дуже ефективно, і я думаю, що це характерно для багатьох науковців в університетській лабораторії. Зазвичай це ланцюжок починаючи від експерименту до публікації так:

1. Отримуйте експериментальні дані (як правило, у формі ASCII, але з різною компонуванням, наприклад, заголовки, коментарі, кількість стовпців)
2. Швидкий опис даних, щоб перевірити, чи нічого не пішло не так у програмі Origin, Gnuplot чи таємничій сюжеті, написаній 20 років тому.
3. Більш детальний аналіз даних: віднімання фонових внесків, аналіз залежностей та кореляцій, відповідність теоретичним моделям. Багато вчених використовують Origin для цього завдання, дещо використання Matlab та Python / Scipy / Numpy збільшується.
4. Створення професійних фігур, це передбачає пристосування до керівних принципів журналів, математичне набір тексту та загальне редагування. На даний момент я використовую для цього Origin, але він має кілька недоліків (просто спробуйте отримати ширину лінії рівно 0,5pt, це неможливо). Для комбінування / полірування фігур я в основному використовую Adobe Illustrator, оскільки він може добре впоратися з імпорту / експорту PDF-документів, але я вважаю за краще не проходити два етапи для кожної діаграми.

Я додав приклад того, як це може виглядати в кінцевому підсумку (оскільки це було створено здебільшого вручну, змінюючи все, що болісно, ​​і все, що забезпечує інтерфейс, наприклад, для встановлення ширини лінії для всіх елементів, було б непогано):

Якщо у вас є певний досвід роботи з Python (або навіть ні), я б рекомендував використовувати наукове програмне забезпечення Python, яке доступне ( SciPy , Pandas ), ...) разом з Matplotlib . Будучи середовищем програмування, ви маєте повний контроль над своїми потоками даних, маніпуляціями з даними та графіком. Ви також можете використовувати "повні програми" Mayavi2 або Veusz .

Виходячи з того, що ви говорите, мова сценаріїв загального призначення - це, мабуть, найкраща ставка, якщо вона має певну можливість графіки, до якої ви можете отримати доступ (будь то вбудований чи імпортований).

У цьому ключі MATLAB працюватиме, хоча вам доведеться грати з шириною ліній, символами та осями для графіків якості презентації. З огляду на ваші критерії, я б сказав, що велика слабкість MATLAB полягає в детальній математичній наборі; MATLAB може використовувати деякі TeX-мітки, але є деякі команди LaTeX, з якими він не може працювати, тому я пам’ятаю, що мені потрібно було повертатись і вирізати і вставити деякі мітки LaTeX з PDF в Adobe Illustrator.

Python + NumPy працюватиме над імпортом даних, оскільки numpy.loadtxtімпорт текстових даних безболісний. У цей момент ви можете вибрати між matplotlib та Gnuplot (у якого інтерфейс Python через Gnuplot.py ; немає активної розробки інтерфейсу з 2008 року, але знову ж таки, чи Gnuplot змінить все так багато більше, хоча він продовжує додавати релізи? ). Обгортка PyAsy MatthewEmmett також може працювати, залежно від того, що ви хочете зробити. Matplotlib має чудовий математичний набір (як зазначив Баррон), і маніпуляції з даними можна проводити за допомогою NumPy, SciPy або будь-якого іншого пакета Python, який ви хочете перекинути на свої дані.

Проблема, яка була у мене з gnuplot сама по собі, полягає в тому, що він дійсно створений лише для побудови сюжетів. Мені не видно було, як маніпулювати даними в мові сценаріїв gnuplot. По суті, я всі свої дані маніпулював заздалегідь, перш ніж виводити їх у текст, тому що не міг зрозуміти, як це зробити інакше. Ви можете використовувати gnuplot для оцінки формул і робити деякі маніпуляції, але для мене Python має набагато більше природного синтаксису і має більшу загальну корисність, ніж gnuplot. Мені не хочеться вивчати іншу мову просто для того, щоб займатися однією справою, якщо це справді природна, легка для засвоєння мова. (Або якщо мене не змусять.)

Tecplot 360 має подібну проблему. Tecplot 360 створює дивовижні сюжети, особливо в 3D. З Tecplot 360 ви можете зробити щось, використовуючи досить простий у навчанні графічний інтерфейс, що вам, мабуть, важко зробити в іншому пакетному плані. Востаннє я використовував Tecplot 6 чи 7 років тому; мабуть, вони додали багато функціоналу з тих пір. Маніпулювання даними може здійснюватися через індексацію, нарізку або встановлення зон. Отримані величини можна обчислити, використовуючи рівняння. Ви також можете взяти перетворення Фур'є своїх даних, здійснити інтерполяцію (або крігінг) та виконати ряд інших речей. Незрозуміло, як робити математичні набори. Я думаю, ви можете зламати вихід HTML з Tecplot і додати MathJax або MathML? На мою думку, недоліки щодо Tecplot полягають у тому, що він не безкоштовний (це означає, що як інструмент, можливо, ви не зможете взяти його з собою з роботи на роботу), якщо математичне набір тексту iffy, а для того, щоб складати складні маніпуляції з даними, потрібно вивчити макро мову Tecplot. Основна перевага полягає в тому, що його 3D-графічна здатність випереджає matplotlib та MATLAB дальньою стрілкою. Можна групувати дані ділянок за допомогою мови макро / сценаріїв Tecplot та викликати зовнішні сценарії Python (з деякою обмеженою функціональністю). Крім того, подібно до MATLAB, є графічний інтерфейс, на який можна повернутися, якщо ви не хочете вивчати сценарії Tecplot. (Графічний інтерфейс Tecplot набагато більш повнофункціональний, ніж MATLAB.) Основна перевага полягає в тому, що його 3D-графічна здатність випереджає matplotlib та MATLAB дальньою стрілкою. Можна групувати дані ділянок за допомогою мови макро / сценаріїв Tecplot та викликати зовнішні сценарії Python (з деякою обмеженою функціональністю). Крім того, подібно до MATLAB, є графічний інтерфейс, на який можна повернутися, якщо ви не хочете вивчати сценарії Tecplot. (Графічний інтерфейс Tecplot набагато більш повнофункціональний, ніж MATLAB.) Основна перевага полягає в тому, що його 3D-графічна здатність випереджає matplotlib та MATLAB дальньою стрілкою. Можна групувати дані ділянок за допомогою мови макро / сценаріїв Tecplot та викликати зовнішні сценарії Python (з деякою обмеженою функціональністю). Крім того, подібно до MATLAB, є графічний інтерфейс, на який можна повернутися, якщо ви не хочете вивчати сценарії Tecplot. (Графічний інтерфейс Tecplot набагато більш повнофункціональний, ніж MATLAB.)

Інструменти на основі LaTeX, такі як TikZ та PGFPlots, схоже, не створені для вашого використання. Слабкий момент тут - маніпулювання даними; TikZ та PGFPlots - чудові інструменти LaTeX. Я б хотів, щоб я знав, як їх краще використовувати. Оскільки вони є LaTeX, я здогадуюсь, що робочий процес вирізає та вставляє необхідні дані в LaTeX і малює їх. Можна виконувати програми всередині LaTeX, але я не бачу, як ця можливість обов'язково допоможе вам, враховуючи, що для презентації чи документа випадок використання, який ви описуєте, говорить про те, що ви, ймовірно, збираєтесь лише зберегти закінчений продукт. Можливо, ти добре з цим робочим процесом; обидва інструменти мають репутацію хорошого проектування та виготовлення високоякісних фігур.

Нарешті, Adobe Illustrator - це прекрасний інструмент для торкання сюжетів, як ви вже говорили; недоліки - це, як ви вже говорили, відсутність можливостей написання або повторюваності, але нічого не перемагає програма редагування графіки, якщо ви хочете робити невеликі зміни.

Я вважаю, що це відмінне запитання, яке саме зараз стоїть на передньому плані мого власного розуму. Читаючи більшість математичних журналів, Matlab здається прийнятним, але він просто не відповідає IMHO до деяких прекрасних сюжетів і діаграм, які з’являються в журналах, як PNAS, Nature, PLOS ONE тощо.

Після обговорення саме цього питання в моїй дослідницькій групі протягом декількох тижнів, ми все ще не дійшли реального висновку, який пакет найкращий. Ми виявили, що більшість зіставлень графічного програмного забезпечення в документації, блогах або інших веб-джерелах значною мірою марно визначати, який пакет найкращий для даної мети.

Я думаю, що те, що дійсно допоможе пересічному користувачеві, який не є експертом у всіх / багатьох цих пакунках, - це мати невеликий набір дуже чітко визначених прикладів, які можна використовувати як "графічний орієнтир" сортів (у подібному сенс як орієнтири CFD ). Наскільки я знаю, нічого подібного наразі не існує.

Як мінімум, я хотів би побачити:

1. Досить простий сюжет двовимірної лінії з декількома типами ліній та точок, легендою, математикою у мітках / заголовках тощо.
2. Дітто для 3D-ділянки поверхні.
3. Більш складний 3D-сюжет з ізоповерхнями, ріжучими площинами та, можливо, деякими іншими фантазійними особливостями.
4. Приваблива 3D-діаграма.

Дані будуть надані для №1-3, а фотографія або "оригінальна" діаграма №4. Для кожного прикладу буде розміщено код (введення) та зображення (вихід). Це дозволить читачеві легше оцінити, який пакет підходить для них, як за якістю зображення, так і за складністю коду.

Мій план полягає в тому, щоб зробити щось подібне у своїй групі протягом найближчих місяців за №1, 2, 4 та невелику кількість пакетів, включаючи Matlab, pgf / TikZ, python / scipy. Якщо є інтерес, я можу це публічно публікувати.

Таким чином , хоча це не є відповіддю на питання , спочатку розміщений ще (і я вибачаюся за це) це може бути відповіддю через кілька місяців.

$\LaTeX$

Ще один програмний пакет, який слід розглянути, - Asymptote . Асимптота - це насправді мова програмування (із синтаксисом типу C ++), який створює векторний вихід. Приємною особливістю є те, що текст відображається за допомогою LaTeX (включаючи математичні рівняння), тому текст на малюнках відповідає вашому документу.

Я написав обгортку Python в Asymptote під назвою PyAsy, щоб я міг передати масиви NumPy до двигуна Asymptote і зробити кілька основних графіків. Вона досить груба і не є повною, але може бути корисною.

У будь-якому випадку якість випуску Asymptote дуже хороша.

Редагувати: Крім вищесказаного, я вважаю, що Тканина дуже корисна для запуску віддалених завдань, синхронізації каталогів та створення бінарних файлів, отримання даних про запуск та / або запуску сценаріїв віддаленого аналізу. Це досить легка бібліотека Python, яка робить запуск віддалених команд трохи простішим (і сценарієм).

Дозвольте написати короткий огляд графічної функціональності Mathematica, оскільки саме з цим я знайомий.

Що це може зробити?

Щоб побачити приклад, перегляньте галерею кодів Mathematica на сайті Wolfram. Мова не йде конкретно про візуалізацію, але майже всі приклади включають деякий сюжет.

Ви також можете переглядати змови (основні) і графіки (більш просунуті) теги Mathematica.SE

Можна створити свій приклад зображення повністю автоматизованим способом (не потрібно вручну післяобробляти).

Сильні сторони

• Вся графіка задається декларативним способом (наприклад, SVG --- ви не говорите системі щось малювати , ви просто перераховуєте об'єкти векторної графіки). Графіка - це такий самий вид виразів Mathematica, як і все інше в системі, вони просто відображаються особливим чином. Це означає, що графіку можна легко трансформувати та обробляти після їх створення --- це стосується і графіки, створеної за допомогою побудови графіків.

• Швидкий і простий спосіб створення графіки - це використання графічних функцій високого рівня та встановлення безлічі варіантів для налаштування їх результатів. Якщо немає функції для точного сюжету, який вам потрібен, ви можете зібрати графіку з графічних примітивів (що теж досить просто ).

• Математична функція побудови графіків відмінна. наскільки я знаю, це класний лідер. Зразки Mathematica функціонують адаптивно (і в 2D, і в 3D), тому плавний графік можна генерувати швидко і автоматично. Сингулярності, розриви тощо виявляються символічно за допомогою побудови графіків.

• Ви можете створювати фігури для певного розміру друку і переконайтесь, що вони добре співпадають з навколишнім текстом у публікації (наприклад, розмір шрифту та стилі відповідають). У 2D є два типи координат: графічні координати, які відповідають вашим даним, та абсолютні координати, вказані в точках принтера. Перші масштаби при зміні розміру графіки, другі - ні. Текст використовує абсолютні координати за замовчуванням, тобто 8-бальний тип буде 8-бальним, незалежно від того, експортується одна і та ж цифра розміром 7 см або 14 см. Це дає можливість розміру шрифту узгоджуватися з текстом у публікації.

• Вбудований набір математичних формул. MATEX пакет третьою стороною забезпечує інтеграцію LaTeX для чудової якості формули верстки. (Розкриття: я автор.)

• Ви можете виконати всю обробку даних в одній системі. Як правило, за допомогою невеликої роботи процес повноцінного створення фігури може бути автоматизований (навіть деякі складніші аспекти ), уникаючи необхідності в ручній обробці пошти в такому програмному забезпеченні, як Adobe Illustrator. Це важливо, коли в останню хвилину ви виявите якусь незначну проблему і вам потрібно знову створити фігуру.

Слабкі сторони

• Мати фігури з декількома підгрупами та мати точне вирівнювання між системами координат субплотів може бути складно.

  Пакет SciDraw (третя сторона) виправляє це і забезпечує детальний контроль над кожним аспектом фігури. Компроміс цього пакету полягає в тому, що для встановлення цифр потрібно більше зусиль.

• 3D-графіка не експортується добре у векторні формати. Хоча експорт растрової версії чудово.

• Якщо у вашого закладу вже немає ліцензії, це коштує грошей.

Якщо ви вже знаєте TikZ, вас можуть зацікавити R та tikzDevice ; ось приклад: tikzDevice - вихід TikZ з R , ось ще один приклад: діаграми TikZ з R: tikzDevice .

Копайся глибше в сюжети PGF:

1) може робити 3d діаграми: python-matplotlib не може їх робити, gnuplot некрасивий у порівнянні

2) має сумісні шрифти за розміром та родиною з базовим документом)

3) може бути шаблоном для певних кольорових схем

На ринку немає нічого іншого подібного. :)

Я вважаю Tecplot досить потужним, коли мова йде про візуалізацію даних та маніпулювання даними.

Я спробую висловити своє уявлення про мій обмежений досвід, який охоплює лише декілька типів графіків: 2D-графіки даних, розсіювачі та графіки на основі графіків (дерева та графіки, блок-схеми); але спочатку дозвольте мені трохи відступити від питання:

По-перше, я хотів би сказати, що важливість створення високоякісних сюжетів часто не помічається. Сюжети не тільки для відображення даних, але при ефективному використанні вони можуть передавати складні ідеї, які часто не можуть бути чітко виражені в тексті. Мені здається, що це не підходяще місце для обговорення того, що означає, переваги та недоліки хорошого сюжету, але якщо ви зацікавлені, подивіться тут .

По-друге, я частіше шкодував про використання напівзапеченого сюжету, ніж провести час на високоякісній сюжеті. Причина полягає в тому, що поганий сюжет може брехати вам, наприклад, якщо ви користуєтеся напівзапеченим сюжетом для швидкого перегляду даних, які ви могли неправильно нормалізувати, або використовуючи не дуже гарні сюжети для візуального порівняння (око часто може бути дуже прощальним або дуже оманливим). Тому я завжди рекомендував би підготувати сюжети так, ніби вони будуть показані людині, яка не знайома з результатами. Це може заощадити ваш час та покращити роботу. Крім того, ви маєте додаткову перевагу, що презентаційний матеріал буде готовий до наступної презентації / семінару / доповіді.

Тепер, щоб відповісти на запитання ,

На мій досвід, завжди краще відокремити обробку даних від фактичного інструменту побудови графіків та інструментів маніпулювання зображеннями. Для обробки даних я використовую python, оскільки він дуже гнучкий, і я не знайшов формат файлу, який неможливо легко обробити через python. Більше того, бібліотеки numpy та scipy можуть бути потужними інструментами маніпулювання числовими даними.

У межах python я не бачив інструменту для побудови графіків, який дає вам контроль над усіма деталями форматування. Я виявив, що саме деталі мають велике значення, коли ви намагаєтесь інтегрувати зображення під час форматування паперу в латекс. Наприклад, контроль місця пробілів і пропорцій сюжетів навколо і може бути головним болем при застосуванні matplotlib (не неможливо, але не варто мого часу), це дуже важливо, якщо у вас обмежений простір, як це часто буває в журналі та на конференціях папери.

На моєму досвіді я виявив, що GNUPLOT - найкращий інструмент для форматування та створення двовимірних графіків та розсипань. Це дуже дає вам контроль над усіма деталями вашого сюжету. І ви можете створити високоякісні сюжети (векторні зображення) у чорно-білому кольорі або кольорі. Високий рівень контролю робить GNUPLOT трохи складніше в навчанні, а іноді прості речі можуть зайняти трохи роботи, але якщо ви почнете з прикладу, це може спростити речі. Я зазвичай дивлюся на ці два сайти для натхнення, дивіться не дуже поширений веб-сайт або офіційні демонстрації тут .

Іноді сюжети, створені GNUPLOT, можуть бути досить великими (в діапазоні МБ) і журнал може відхиляти файли (це трапилося зі мною дуже барвистими розсипами). Я використав і рекомендую Imagemagick , інструмент командного рядка, який дозволяє конвертувати, редагувати та стискати зображення (я використовував його для генерації та редагування високоякісних jpegs при значному зменшенні розміру файлу). Я спробував інші інструменти, які використовували автоматичне стиснення даних, це виявилося особливо проблематичним через делікатний баланс між артефактами зображення та стисненням.

Я також склав неабияку частку діаграм (часто для презентацій). Я виявив, що якщо я буду використовувати діаграму одноразово (не на папері), тоді програма Keynote (OSX) та економія у форматі pdf є досить хорошою. Однак, коли зображення використовується багато разів, якість презентації важливіша, і TikZ - мій бажаний інструмент. Мені TikZ трохи складний у використанні, але якщо ви починаєте з прикладу, це набагато простіше.

Нарешті, більшу частину своєї роботи я виконую з командного рядка, щоб інтегрувати різні інструменти, які я використовую з bash або python.

Моє швидке голосування - за QtiPlot.

Хоча це і не ідеально, він забезпечує найкращу комбінацію простоти графічного інтерфейсу, а також сценаріїв python, тому те, що ви насправді робите, це "Qtiplot / Python / (Illustrator або Inkscape)". Qtiplot є розширюваним, тому ви можете створити власні скрипти / макроси, які можуть запускати команди python для відкриття та обробки даних, а потім скидати їх у таблицю. Потім ви можете вручну або автоматично побудувати їх. Можна також налаштувати його для роботи з набором LaTeX з набором інтернету, доступним в Інтернеті, або локальним набором даних, так що ви можете розміщувати математичні формули у заголовках / осях / розмітках сюжету.

Потім сюжети можна експортувати в будь-який потрібний вам формат, але найкращим форматом є, безумовно, SVG. Файли SVG, якщо ви хочете, можна торкнутися в Inkscape, який також має можливості набору LaTeX.

Незважаючи на те, що MatPlotLib чудовий, його найбільший недолік полягає в тому, щоб вручну кодувати абсолютно все (як і будь-яке сценарійне планування рішення). QtiPlot чудовий тим, що ви можете розробити сценарій / автоматизувати обробку даних та накреслити все з чудовим функціоналом Python, а потім передати графік грубої обрізки на gui, який дозволить вам переробити його вручну та робити всі види вирізання / вставки / вставки / маніпуляції це набагато швидше, залежно від конкретного випадку, для аналізу даних. Ви також можете встановлювати розміри точно за допомогою сценарію, а також маніпулювати розмірами за допомогою графічного інтерфейсу, що не можна зробити з matplotlib.

Я думаю, це залежить від того, як ви ставитесь до побудови рішень QtiPlot. Я виявив, що це дуже здібно, але все це досить крута крива навчання.

Я здивований, поки ніхто не згадав про чудові інструменти Ніко Шльомер matlab2tikz та matplotlib2tikz . Якщо ви використовуєте LaTeX для підготовки документів, або Matlab або Python для обробки даних, ви можете легко отримати високоякісні векторні сюжети, які ви зможете опрацювати на зміст вашого серця:

1. Підготуйте свої сюжети в Matlab або Python, включаючи осі, мітки, легенди тощо. Не турбуйтеся про форматування TeX.
2. Телефонуйте matlab2tikz('figure.tex')(або matplotlib2tikz).
3. Відредагуйте figure.texза смаком (замініть текст етикетки правильною математикою, змініть кольори, ширину рядка, розміщення легенд, стиль осі тощо), дивіться посібник з pgfplots (або багато питань щодо pgfplots на TeX stackexchange).
4. У своїй фігурі замість цього includegraphicsпоставте \input{figure.tex}(і не забудьте включити \usepackage{pgfplots}до преамбули).
5. Для подання використовуйте бібліотеку екстерналізації (див. Главу 7 цього посібника), щоб випекти свою фігуру у форматі PDF та просто замінити \input{figure.tex}на \includegraphics{figure.pdf}.

Якщо ви не шукаєте сценаріїв, погляньте на MagicPlot. Це не так багато функцій, як Origin (наприклад, може створювати лише 2D-графіки), але я ніколи не відчував проблем із шириною лінії та іншими властивостями. Сюжети приємні анти-псевдонім, хоча перемальовування досить швидко. Плюс корисна підгонка.

Tecplot 360 хороший для обробки великих даних та створення сюжетів якості публікації. Він має потужні інтерфейси для надбудови та сценаріїв для обробки даних. Мені здається, він робить все, що вам потрібно для післяобробки.

Поширена помилка - вдатися до використання Excel. Ні. Він не пам'ятає макет, діапазон X, кольорову карту. Це не оживляє. Для роботи з даними використовується некрасиві об'ємні електронні таблиці.

Звичайно, ви не знайдете інструмент, який би здійснював як післяобробку, так і редагування тексту, а вибір розумного редактора тексту для ваших публікацій - ще одне важливе питання. Не використовуйте MS Word, його менеджер цитат некрасивий. Я використовую LyX або будь-який інший інструмент Latex, доступний для операційної системи, яку я використовую.

Ну, і коли вам доведеться публікувати PDF, включіть посилання на LaTeX, Word або будь-який інший формат із читаною математикою. У PDF це не так.