Чи можна взагалі узагальнити англійську мову за допомогою набору граматичних правил?


10

У мовах програмування існує набір граматичних правил, які регулюють побудову дійсних висловлювань та виразів. Ці правила допомагають розбирати програми, написані користувачем.

Чи може колись існувати функціонально повний набір граматичних правил, який може точно розібрати будь-яке твердження англійською мовою (специфічне для локальної мови) і яке може бути реалізоване для використання у проектах на базі AI?

Я знаю, що в Інтернеті доступно багато інструментальних інструментів NLP, але вони не настільки ефективні. Більшість з них навчаються, використовуючи специфічні корпуси, які іноді не можуть зробити складні кореляції між різними частинами виразу.

Іншими словами, я запитую те, що якщо комп'ютер може розібрати добре знайоме речення, написане англійською мовою, так, ніби його розбирав дорослий англомовний чоловік?

EDIT: Якщо її неможливо представити за допомогою простих граматичних правил, яку семантичну структуру можна використовувати для узагальнення?

EDIT2: Цей документ підтверджує відсутність контекстуальності у природних мовах. Я шукаю рішення, навіть якщо воно занадто складне.


2
У мене немає посилань на це, щоб підтвердити це, але я думаю, що математично доведено, що ви не можете цього зробити. Для розуміння англійської мови повністю потрібні контекстні підказки, які вимагають семантичних міркувань вищого рівня, які не можуть міститися в граматичні правила.
antlersoft

Згідно з Вікіпедією, більшість частин природних мов без контексту: en.wikipedia.org/wiki/…
inf3rno

Відповіді:


8

Чи може колись існувати функціонально повний набір граматичних правил, який може точно розібрати будь-яке твердження англійською мовою (специфічне для локальної мови) і яке може бути реалізовано для використання у проектах, що базуються на AI?

Розбираємо це так, точно, швидше за все, ні.

Чому?

Згідно з моїм розумінням того, як ми отримуємо значення зі звуків, існує 2 взаємодоповнюючих стратегії:

Граматичні правила: Система, що ґрунтується на правилах для впорядкування слів для полегшення спілкування, тут значення походить від взаємодії дискретних звуків та їхнього незалежного значення, так що ви можете розібрати речення на основі правила правил.

EG "Це був тріумф" : парсер вилучив займенник ( This ) з відповідним значенням (конкретна людина чи річ); дієслово ( було ) з відповідним значенням (сталося); ( а ) і тут ми почнемо з деяких проблем розбору, що б витяг парсера, іменник чи невизначена стаття? Тому ми консультуємося з правилами граматики та домовляємось про значення (невизначена стаття будь-якого), ви повинні проаналізувати наступне слово і посилатися на це, хоча, але давайте оглянемо це зараз, і нарешті ( торжествуємо ) іменник (це також може бути дієслово, але завдяки правилам граматики ми визначили іменник зі значенням: (перемога, завоювання), тож врешті-решт маємо (приєднавшись до значень):

Конкретна річ мала місце перемога. Досить близько, і я переглядаю кілька інших правил, але це не суть, інша стратегія:

Лексичний словник (або лексикон), де слова або звуки пов'язані з конкретним значенням. Тут значення походить від одного або декількох слів або звуків як одиниці. Це вводить проблему в аналізатор, оскільки добре, він не повинен нічого розбирати.

EG "Non Plus Ultra" І таким чином AI-аналізатор визнає, що ця фраза не повинна бути проаналізована, а натомість відповідна за значенням:

Найвища точка або кульмінація

Лексичні одиниці вводять ще одне питання в тому, що вони самі можуть бути частиною першого прикладу, і таким чином ви закінчуєте рекурсію.

чи можливо на комп’ютері розібрати добре знайдене речення, написане англійською мовою, так, як якщо б його розібрав дорослий англомовний чоловік?

Я вважаю, що це можливо, більшість прикладів, які я бачив, ефективно справляються з правилом граматики або частиною лексикону, але я не знаю комбінації обох, але в плані програмування це може статися.

На жаль, навіть якщо ви вирішите цю проблему, ваш AI насправді не зрозуміє речей у суворому розумінні, а скоріше подасть вам дуже досконалі синоніми, додатково контекст (про що йдеться у коментарях) грає роль у граматичній та лексиконній стратегіях.

Якщо її неможливо представити за допомогою простих граматичних правил, яку семантичну структуру можна використати для узагальнення?

Змішаний, де є і граматичні правила, і лексикон, і обидва можуть змінюватись і впливати на них, залежно від конкретного контексту та досвіду ШІ, а також система поводження з цими об'єктами може бути одним із способів.


Моя сфера використання англійської мови обмежена формальним використанням. Якби ми одного разу пропустимо дуже складні сутності, такі як метафори чи ідіоми, чи визначивши контекстно-чутливу граматику, досягти мети?
skrtbhtngr

@skrtbhtngr: В теорії так, це було б підмножиною, оскільки формальна мова є, хоча контекст все ще буде важкою проблемою.
Кено

Сторона: "Це був тріумф", який говорив про мотоцикл з різних причин (перший велосипед, згорілий велосипед). Можливо, ми можемо стверджувати, що для розрізнення марки від іменника потрібна велика літера.
Тенсібай

Я погоджуюся, що розуміння змісту тексту - це важка частина. Просто просте речення: "Пітер пішов у кіно". містить багато прихованої інформації: Пітер є чоловіком, він, швидше за все, пішов туди подивитися фільм зі своєю дівчиною, його місце розташування змінилося тощо ... Створення моделі, наприклад, графіка на основі тексту недостатньо, тому що це не щось статичне, воно може описувати кілька часових часових подій, подій та контекстів, плюс у кожному реченні є прихована інформація, яку ви можете зробити для розуміння попередніх чи наступних речень.
inf3rno

2

Я майже впевнений, що відповідь "ні" в найсуворішому сенсі, оскільки англійська мова просто не має формального визначення. Тобто, ніхто не контролює англійську мову і не публікує формальної граматики, якої повинні дотримуватися всі. Англійська мова побудована за допомогою досвіду та має протиріччя та недоліки, але ймовірнісний характер людського розуму дозволяє нам обходитися навколо них.

Наприклад, що це "речення":

У цьому реченні немає дієслова

Технічно це зовсім не речення, оскільки в ньому немає дієслова. Але чи хтось мав якісь проблеми з розумінням того, що це означає? Сумнівні. Спробуйте придумати для цього формальне правило. І це лише один приклад.

Тепер, чи могли б ви запропонувати офіційну граматику, яка охоплює, можливо, 90% випадків, і є "достатньо хорошою" для більшості практичних цілей? Можливо, може, ймовірно. Але я майже впевнений, що це неможливо досягти на 100%.


1
Ваш приклад не є граматичним, тому чому граматика повинна містити формальне правило для її опису?
BlindKungFuMaster

1
В цьому і полягає моя суть. Це чітко англійська мова, і це зрозуміло, але якщо вона не відповідає загальноприйнятому визначенню англійської граматики. Отже, це приклад того, як реально розмовна англійська мова діє за межами жорсткої граматики.
розум злочину

2

Ми дійшли висновку, що це двостороння кругла проблема: структура не може бути зроблена без контексту, але знання структури також допомагає зробити висновок про контекст. Отже, ось ваше складне рішення: почніть з контексту, який визначається комбінацією слів у реченні (комбінаторика та проблема пошуку), звідти визначте вашу структуру, або "розбір" (на цьому кроці ви також можете відфільтрувати деякі незначні слова або принаймні привласнюйте їм меншу вагу), поверніться до контексту, назад до розбору і далі, поки не досягнете значення. Таким чином, за допомогою ітеративного, рекурсивного скорочення можна вирішити всю проблему.


2

Я категорично не згоден з усіма колишніми коментарями. Не тому, що вони помиляються, -що вони не є, - а тому, що вони вводять в оману - хоча і ненавмисно.

Наприклад: Якщо дивитися на ці проблеми з академічної позиції, проблеми завжди будуть здаватися непереборними. Це тому, що все холодно оцінюється та обчислюється ізольовано від усього іншого.

Відповідь переважно полягає у асоціації слів . Ви повинні написати програму, яка може обробляти велику базу цифрових книг, реєструвати кожне слово та всі слова на тій мові, які пов'язані з ним. Плюс всю статистичну інформацію з кожним пов’язаним словом та пов'язаними з ним розділовими знаками.

Це дасть вам основу, на якій AI може вирішити кілька речей:

  1. Чи правильна структура поданого речення.
  2. Якщо структура погана, якою є ймовірність визначення контексту та наміру сказаного.
  3. Правильне значення та застосування багатогранного слова (Тріумф), є вірогідним - згідно зі статистикою.
  4. Щоб визначити, куди ймовірно йде розмова.
  5. Якою має бути правильна граматика та пунктуація.

Отже, на закінчення, вам слід шукати дві речі: асоціація та ймовірність.

При цифровій базі даних мовної моделі виникає можливість слова та речення "рядки", так що кожна зміна структури мови в будь-якому реченні може бути визначена до, під час та після написання зразка тексту. Цей інтимний контроль над моделями мовної моделі означає, що чутливі компоненти, такі як "предмет" та "об'єкт", можна легко визначити за допомогою коду.


Я думаю, що це надто оптимістично. Мова занадто безладна, щоб це працювало.
Олівер Мейсон
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.