Java або Python для обробки природних мов [закрито]

Мені хотілося б знати, яка мова програмування краще для обробки природних мов. Java чи Python ? Я знайшов багато питань і відповідей щодо цього. Але я все одно втрачаюсь у виборі, який з них використовувати.

І я хочу знати, яку бібліотеку NLP використовувати для Java, оскільки є багато бібліотек (LingPipe, GATE, OpenNLP, StandfordNLP). Для Python більшість програмістів рекомендують NLTK.

Але якщо я маю зробити якусь обробку тексту чи витяг інформації з неструктурованих даних (просто вільний звичайний англійський текст), щоб отримати корисну інформацію, який найкращий варіант? Java чи Python? Підходяща бібліотека?

Оновлено

Що я хочу зробити, це отримати корисну інформацію про продукт з неструктурованих даних (наприклад, користувачі роблять різні форми реклами про мобільні телефони та ноутбуки з не дуже стандартною англійською мовою)

Java проти Python для NLP - це дуже вподобання або необхідність. Залежно від компанії / проектів, вам потрібно буде використовувати те чи інше, і часто не існує великого вибору, якщо ви не керуєте проектом.

Крім NLTK(www.nltk.org), фактично є інші бібліотеки для обробки тексту в python:

• TextBlob : http://textblob.readthedocs.org/en/dev/
• Gensim : http://radimrehurek.com/gensim/
• Шаблон : http://www.clips.ua.ac.be/pattern
• Spacy :: http://spacy.io
• Помаранчевий : http://orange.biolab.si/features/
• Ананас : https://github.com/proycon/pynlpl

(детальніше див. https://pypi.python.org/pypi?%3Aaction=search&term=natural+language+processing&submit=search )

Бо Javaє тонни інших, але ось ще один список:

• Фрілінг : http://nlp.lsi.upc.edu/freeling/
• OpenNLP : http://opennlp.apache.org/
• LingPipe : http://alias-i.com/lingpipe/
• Stanford CoreNLP : http://stanfordnlp.github.io/CoreNLP/ (постачається з обгортками для інших мов, включений python)
• CogComp NLP : https://github.com/CogComp/cogcomp-nlp

Це приємне порівняння для базової обробки рядків, див. Http://nltk.googlecode.com/svn/trunk/doc/howto/nlp-python.html

Корисне порівняння GATE та UIMA з OpenNLP, див. Https://www.assembla.com/spaces/extraction-of-cost-data/wiki/Gate-vs-UIMA-vs-OpenNLP?version=4

Якщо ви не впевнені, яку саме мову слід шукати для NLP, я особисто кажу: "будь-яка мова, яка дасть вам бажаний аналіз / вихід", дивіться, яку мову чи інструменти вивчити для обробки природних мов?

Ось досить недавній (2017) інструментів NLP: https://github.com/alvations/awesome-community-curated-nlp

Старіший список інструментів NLP (2013): http://web.archive.org/web/20130703190201/http://yauhenklimovich.wordpress.com/2013/05/20/tools-nlp

Крім інструментів для обробки мови, вам дуже потрібні machine learningінструменти для включення в NLPтрубопроводи.

Є цілий діапазон в, Pythonі Java, знову ж таки, це залежить від того, чи бібліотеки достатньо зручні для користувача:

Бібліотеки машинного навчання в python:

• Sklearn (Scikit-learn): http://scikit-learn.org/stable/
• Молоко : http://luispedro.org/software/milk
• Scipy : http://www.scipy.org/
• Theano : http://deeplearning.net/software/theano/
• PyML : http://pyml.sourceforge.net/
• pyBrain : http://pybrain.org/
• Graphlab Create (комерційний інструмент, але безкоштовна академічна ліцензія на 1 рік): https://dato.com/products/create/

(детальніше див. https://pypi.python.org/pypi?%3Aaction=search&term=machine+learning&submit=search )

• Weka : http://www.cs.waikato.ac.nz/ml/weka/index.html
• Малатка : http://mallet.cs.umass.edu/
• Mahout : https://mahout.apache.org/

З недавнім (2015 р.) Глибоким навчанням цунамі в НЛП , можливо, ви могли б врахувати: https://en.wikipedia.org/wiki/Comppare_of_deep_learning_software

Я уникаю перераховувати засоби глибокого навчання через недоброзичливість / нейтральність.

Інші питання Stackoverflow, які також задавали інструменти NLP / ML:

• Машинне навчання та обробка природних мов
• Які хороші відправні точки для того, хто зацікавлений у природній обробці мови?
• Натуральна обробка мови
• Обробка природних мов на Java (NLP)
• Чи є хороша бібліотека обробки природних мов
• Простий запуск обробки природних мов для Java
• Які бібліотеки пропонують основні чи вдосконалені методи NLP?
• Останні хороші мови та книги з обробки природних мов, основи
• (Для NER) Вилучення / розпізнавання особи за допомогою безкоштовних інструментів під час годування індексу люцена
• (З PHP) інструменти програмування NLP за допомогою PHP?
• (З Рубі) /programming/3776361/ruby-nlp-libraries

Питання дуже відкрите. Сказане, замість того, щоб вибрати одну, нижче - порівняння залежно від мови, якою ви хочете скористатись (оскільки на обох мовах доступні хороші бібліотеки).

Пітон

Що стосується Python, перше місце, на яке слід звернути увагу, - це інструментарій з природних мов Python . Як вони зазначають у своєму описі, NLTK є провідною платформою для побудови програм Python для роботи з даними людської мови. Він надає прості у використанні інтерфейси для понад 50 корпоративних та лексичних ресурсів, таких як WordNet, а також набір бібліотек для обробки тексту для класифікації, токенізації, стримування, маркування, розбору та семантичного міркування.

Існує також чудовий код, який ви можете шукати, що виник із проекту "Інструментарій з природних мов Google" на основі Python. Ви можете знайти посилання на цей код тут, на GitHub .

Java

Перше місце, на яке звернеться, - група з обробки природних мов Стенфорда . Все програмне забезпечення, яке там розповсюджується, написане на Java. Для всіх останніх дистрибутивів потрібні Oracle Java 6+ або OpenJDK 7+. Пакети дистрибуції включають компоненти для виклику командного рядка, файли jar, API Java та вихідний код.

Інший чудовий варіант, який ви бачите в багатьох машинних умовах навчання тут (загальний варіант), - Weka . Weka - це сукупність алгоритмів машинного навчання для завдань з пошуку даних. Алгоритми можуть бути застосовані безпосередньо до набору даних або викликані з вашого власного коду Java. Weka містить інструменти для попередньої обробки даних, класифікації, регресії, кластеризації, правил асоціації та візуалізації. Він також добре підходить для розробки нових схем машинного навчання.