Чому інтернет-компанії віддають перевагу Java / Python для роботи вченого?

Я багато разів бачу в описі вакансії науковця даних, який запитує досвід Python / Java та ігнорує R. Нижче наведено особистий електронний лист, який я отримав від головного науковця даних компанії, до якого я подав заявку через linkedin.

X, Дякую за зв'язок та виявлення інтересу. У вас є хороші навички Analytics. Однак усі наші науковці повинні мати хороші навички програмування в Java / Python, оскільки ми є Інтернет / мобільною організацією, і все, що ми робимо, це онлайн.

Хоча я поважаю рішення головного науковця з даних, я не в змозі скласти чітке уявлення про те, які завдання, які Python може виконувати, не може виконувати R. Хтось може піклуватися про деталізацію? Я насправді прагну вивчити Python / Java, за умови, що я отримаю трохи більше деталей.

Редагувати: Я знайшов цікаву дискусію про Quora. Чому Python є мовою вибору для науковців даних?

Edit2: Блог з Udacity про мови та бібліотеки для машинного навчання

Таким чином, ви можете інтегруватися з іншою базою коду. Здається, ваша компанія використовує поєднання Java та python. Що ви збираєтеся робити, якщо невеликий куточок сайту потребує машинного навчання; передавати дані навколо за допомогою бази даних чи кеш-пам'яті, переходити до R тощо? Чому б просто не зробити все тією ж мовою? Це швидше, чистіше і простіше в обслуговуванні.

Чи знаєте будь-які інтернет-компанії, які працюють виключно на R? Ні я ...

Все, що сказало, Java - це остання мова, на якій я би займався наукою про дані.

Причин може бути дуже багато, наприклад:

1. Гнучкість робочої сили: Один програміст Java / Python можна легко перемістити до інших завдань чи проектів.

2. Доступність кандидатів: є багато програмістів Java / Python. Ви не хочете вводити нову мову програмування, щоб пізніше з’ясувати, що кваліфікованих працівників немає або вони просто занадто дорогі.

3. Інтеграція та ETL: Іноді отримання даних з належною якістю є найважчою частиною проекту. Тому природно використовувати ту саму мову, що й решта систем.

4. Визначення бізнес-моделі: Більшість правил бізнесу та бізнес-моделей вже написані цими мовами.

5. Просто простота. Це вже досить важко бути в курсі технологій. Різноманітна основа мови може бути хаотичною. R для цього, Ruby для цього, Scala, Clojure, F #, Swift, Dart ... Можливо, їм потрібні різні сервери, різні патчі, пекло для управління. Всі мають власні IDE з інструментами та плагінами (не завжди безкоштовними). Перегляньте кілька пунктів дядька Боба щодо вибору мови та нових технологій

Тож навіть якщо у вас є 5% - 15% переваги продуктивності, використовуючи R для конкретного завдання, вони можуть віддати перевагу інструменту, який просто виконує цю роботу, навіть якщо не найбільш ефективним способом.

Взагалі вірно, що для суто наукових та статистичних вправ R пропонує найкращі та найшвидші (особливо, якщо використовується data.tableпакет) інструменти та методи, що в іншому випадку було б важче впровадити в Python (я вважаю, що під Python усі ми маємо на увазі панди, хоча ). Більшість даних вчені фактично використовують R для виконання своїх моделей та обчислень або просто для того, щоб побачити, як поводяться дані.

Після того, як вправа завершена, прийшов час зробити її доступною для решти людей, яким доведеться її використовувати (тобто розгорнути); Для цього часто бажано подавати код на Python з двох основних причин:

1. Більшість архітектур написані на Python або зручні для Python, тому було б легше реалізувати моделі, написані на цій мові.
2. R синтаксис і граматика надзвичайно складні. Я сам сильно віддаю перевагу R, крім усього іншого, але мушу визнати, що синтаксис насправді не є простим і має дуже обрану криву навчання.

Вище сказане, все ще вірно, що можна легко перекласти R-код на будь-яку іншу мову, за умови наявності методів, бібліотек та пакетів (у Python більшість з них є, так що це зовсім не проблема). Багато інфраструктур і баз даних підтримують базовий код R, отже, портативність насправді не є проблемою, особливо, якщо потрібно просто подати результати розрахунків (до цього розширення, все одно ніхто не бачить базовий код).

Java майже не корисна для самої науки про дані (хоча Стенфордський університет має колекцію машинного навчання бібліотек NLP, написаних на Java, наскільки я пам’ятаю - але будь ласка, перевірте). Єдина причина, чому це може знадобитися, полягає лише в тому, що решта компанії використовує його в великих масштабах, і вони не хочуть замінювати його чимось новим.

Я бачив досить багато компаній, які використовують назви Data Scientist для ролей типу "Інженер даних". Особливо у просторі даних.

Якщо компанія використовує Hadoop або розподілений фреймворк на зразок Spark, це робить аналітику в тодішніх Java або Python (або, можливо, Scala), це мови, які мали б найбільше сенсу.

Java

Мені б не погодитися з іншими плакатами на питання Java. Існують певні бази даних noSQL (наприклад, hadoop), для яких потрібно писати завдання для зменшення карт у Java . Тепер ви можете використовувати HIVE для досягнення майже однакового результату.

Пітон

Дебати пітона / R тривають. Обидва є розширюваними мовами, тому потенційно обидві можуть мати однакову здатність обробляти. Я знаю лише R, і мої пітонські знання досить поверхневі. Виступаючи як власник малого бізнесу, ви хочете, щоб у вашому бізнесі не було занадто багато інструментів, інакше буде загальна недостатність у них та труднощі з їх підтримкою. Думаю, це знизиться до глибини знань інструментів у колективі. Якщо команда зосереджена на python, то наймання іншого науковця даних python має сенс, оскільки вони можуть взаємодіяти з існуючою базою коду та історичним кодом експерименту.

Принаймні для моєї нинішньої команди (~ 80 науковців та інженерів даних) у нас немає такої переваги. Половина даних тут вчені використовують R, а інша половина - Python. Багато хто може кодувати в обох. У виробництві ми розгортаємо код Python та R.

Я не думаю, що жоден із наших науковців даних взагалі не використовує Java. Якщо їм потрібно мати справу з великими даними, вони можуть використовувати SparkSQL або PySpark. Команда інженерії даних використовує поєднання Java / Scala / Python / Go.

Якщо ви один з небагатьох людей з даних в невеликій компанії, я можу зрозуміти, чому вони вимагають певних мовних навичок, щоб ви могли займатися і наукою, і інформацією. Але tbh, я думаю, що більшість малих компаній не матимуть достатньо великих даних, що Python або R не можуть обробити у виробництві.

Моя точка зору як програміста загального призначення з невеликим досвідом R: R відмінно підходить для наукових даних, але орієнтована на людей, які вручну інтерпретують дані. Якщо ви хочете використовувати результати для чогось автоматизованого, вам доведеться взаємодіяти з чимось іншим, а щось інше буде важко зробити на мові, що відповідає проблемі, як Р. Чи можете ви зробити веб-сайт в R? :) З іншого боку, python має готові бібліотеки для наукових даних про дані та є загальною мовою програмування, яка не перешкоджає вашому виконанню нічого іншого. Що стосується Java, то це добре для великих програм програмування з сотнями тисяч до мільйонів рядків коду. Якщо частина наукових даних потребує взаємодії з цим, можливо, тоді в Java буде все робити.

Випадкове скигнення: Чому я повинен входити на кожен сайт StackExchange окремо?

Інструменти в Python просто кращі, ніж спільнота R. Ther R досить застійна, тоді як спільнота Python розвивається дуже швидко. Особливо в інструментах Data Science.
Також Python працює легше з усім навколо. Ви можете легко скребти Інтернет, підключитися до баз даних тощо. Це робить прототипування дуже швидким.
І якщо у вас є діючий прототип і ви хочете зробити його швидшим або інтегрувати його в робочий процес компанії, він зазвичай повторно застосовується на Java.

R має кілька акуратних інструментів та візуалізації, але це не так здорово, щоб будувати в ньому нові речі.