АВТОМАТИЧНИЙ СЕМАНТИЧНИЙ АНАЛІЗ ОБЧИСЛЮВАЛЬНА СЕМАНТИКА

Speech and Language Processing - Jurafsky and Martin

СЕМАНТИЧНИЙ АНАЛІЗ

СЕМАНТИЧНИЙ АНАЛІЗ ЦЕ ПРОЦЕС ОБРОБКИ ВХІДНИХ ЛІНГВІСТИЧНИХ ДАНИХ ШЛЯХОМ ВСТАНОВЛЕННЯ ДЛЯ ЦИХ ДАНИХ ПРЕДСТАВЛЕННЯ ЗНАЧЕННЯ (СМИСЛУ).
РІЗНІ СПОСОБИ СЕМАНТИЧНОГО АНАЛІЗУ МОЖУТЬ ВИКОРИСТОВУВАТИ АБО І НЕ ВИКОРИСТОВУВАТИ РЕЗУЛЬТАТИ СИНТАКСИЧНОГО АНАЛІЗУ
РОЗГЛЯДАЄМО ПІДХІД НА ОСНОВІ ВИКОРИСТАННЯ СИНТАКСИЧНОГО АНАЛІЗУ
ПІДХІД НА ОСНОВІ ПРИНЦИПУ КОМПОЗИЦІЙНОСТІ

Speech and Language Processing - Jurafsky and Martin

ПРИНЦИП КОМПОЗИЦІЙНОСТІ

ПРИНЦИП КОМПОЗИЦІЙНОСТІ
ЗНАЧЕННЯ ВИРАЗУ ЦЕ ФУНКЦІЯ ЗНАЧЕНЬ ЙОГО ЧАСТИН І СПОСОБУ ЇХ СИНТАКСИЧНОЇ КОМБІНАЦІЇ
ЩО РОЗУМІЄМО ПІД ЧАСТИНАМИ ВИРАЗУ?
СКЛАДНИКИ (БЕЗПОСЕРЕДНІ СКЛАДОВІ) СИНТАКСИЧНОЇ СТРУКТУРИ, ЯКА Є ВХІДНИМИ ДАНИМИ
ЩО ОЗНАЧАЄ - СКЛАДНИК МАЄ ЗНАЧЕННЯ?
ЯКІ ЗНАЧЕННЯ МОЖУТЬ МАТИ ЦІ ЧАСТИНИ І ЗВІДКИ ЇХ МОЖНА ОТРИМАТИ?
ЯКІ ВЛАСТИВОСТІ ПОВИННІ МАТИ ЦІ ЗНАЧЕННЯ ДЛЯ ОБ’ЄДНАННЯ У БІЛЬШІ ЗНАЧЕННЯ

Speech and Language Processing - Jurafsky and Martin

ПРИКЛАД

Franco likes Frasca.

Speech and Language Processing - Jurafsky and Martin

АНАЛІЗ НА ОСНОВІ КОМПОЗИЦІЙНОСТІ

Speech and Language Processing - Jurafsky and Martin

ЗБАГАЧЕННЯ (аугмент) ПРАВИЛ

ЗАБЕЗПЕЧИТИ ЗДІЙСНЕННЯ АНАЛІЗУ МОЖНА ДОДАВШИ ДО ПРАВИЛ КОНТЕКСТНО-ВІЛЬНОЇ ГРАМАТИКИ ПРАВИЛА ФОРМУВАННЯ СЕМАНТИКИ
ФОРМАЛЬНО



РОЗУМІЄМО - СЕМАНТИКА ДОДАНА ДО А ВИЗНАЧАЄТЬСЯ НА ОСНОВІ ФУНКЦІЇ ВІД СЕМАНТИКИ СКЛАДОВИХ ЧАСТИН A.

Speech and Language Processing - Jurafsky and Martin

ДОДАТКИ
{PropNoun.sem}
{Frasca}
{Franco}

Speech and Language Processing - Jurafsky and Martin

{VP.sem(NP.sem)}
{Verb.sem(NP.sem)
???

Speech and Language Processing - Jurafsky and Martin

ВИКОРИСТОВУЮЧИ ЛЯМБДА-НОТАЦІЮ

Speech and Language Processing - Jurafsky and Martin

ЛЯМБДА-НОТАЦІЯ ТА РЕДУКЦІЯ

Speech and Language Processing - Jurafsky and Martin

ПРОБЛЕМИ

НЕУЗГОДЖЕНІСТЬ (НЕВІДПОВІДНІСТЬ) СИНТАКСИСУ І СЕМАНТИКИ
РОЗМІЩЕННЯ АРГУМЕНТІВ
СКЛАДНІ NPs З КВАНТОРАМИ

ФОРМУЮТЬ РЕЧЕННЯ (ПРЕДСТАВЛЕННЯ ЗНАЧЕННЯ РЕЧЕННЯ )
ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (ПРИКЛАД1)
Комп'ютерна лінгвістика

(2010) Романюк А.Б.

СЕМАНТИКУ

ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (ПРИКЛАД1)
Комп'ютерна лінгвістика (2010) Романюк А.Б.

АРНІСТЬ ТА СПОСІБ ВКЛЮЧЕННЯ (ПРИЄДНАННЯ ) АРГУМЕНТА




λ-НОТАЦІЯ ВИКОРИСТОВУЄТЬСЯ ДЛЯ ОПИСУ

ЗА ДОПОМОГОЮ ЗМІННОЇ x НЕВИЗНАЧЕНОГО ПРЕДМЕТУ, ЩО ЗАКРИВАЄТЬСЯ

ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (ПРИКЛАД1)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

(ПРИКЛАД1)
Комп'ютерна лінгвістика (2010) Романюк А.Б.

значний порівняно з попереднім прикладом
В представленні значення цього речення семантика,

яку вносить NP вираз переплітається з семантикою VP виразу і для використання λ- редукції потрібно приготуватися

ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (СКЛАДНИЙ NP)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

щось про всі ресторани, для чого і використовується таке словосполучення
Вводимо

фіктивний предикат, який буде використовуватися для представлення цього nuclear scope

ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (СКЛАДНИЙ NP)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

на логічний вираз, який відповідає nuclear scope
Використовуємо можливості λ- числення

і отримуємо

ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (СКЛАДНИЙ NP)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

виразу
ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (СКЛАДНИЙ NP)
Комп'ютерна лінгвістика (2010) Романюк А.Б.

- проведення λ-редукції в правилі для NP . Згідно цього

правила потрібно застосувати λ-вираз, який є доповненням до Det до семантичного розширення Nominal, який також є λ-виразом.
Послідовність кроків проведення редукції

зі значенням VP виразу, як його аргументом


семантичне розширення дієслова

яке перейде у семантичне значення VP виразу (неперехідне дієслово)

ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (СКЛАДНИЙ NP)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

правилі для S
PROPER NOUN
Перетворення простої константи у λ- вираз



ДОПОВНЕННЯ

СИНТАКСИЧНИХ ПРАВИЛ (МОДИФІКАЦІЇ В ПРИКЛАДІ1)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

виразом
Matthew opened a restaurant.
Потрібно розширити правила для a та open
Аналогічно

до every


P та Q λ- змінні для врахування restriction і nuclear scopes, які будуть заповнені пізніше

ДОПОВНЕННЯ СИНТАКСИЧНИХ ПРАВИЛ (СКЛАДНИЙ NP)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

Every restaurant has a menu.
На основі правил граматики можна вивести


Але

можливе і таке представлення

ОБЛАСТЬ ДІЇ КВАНТОРА

Комп'ютерна лінгвістика (2010) Романюк А.Б.

уникнення таких явищ потрібно
Мати можливість створювати представлення які будуть охоплювати

всі можливі способи прочитання без їх явного перелічення
Мати засоби генерувати або встановлювати всі можливі прочитання з таких представлень
Мати можливість вибрати одне прочитання (потрібно використовувати контекст та знання про світ)

ОБЛАСТЬ ДІЇ КВАНТОРА

Комп'ютерна лінгвістика (2010) Романюк А.Б.

мають бути (з чого мають складатися) семантичні вирази,
які додаються

до синтаксичних складників
Розглянемо has, every restaurant, a menu









Таке загальне представлення дає інформацію про те яким чином можуть комбінуватися представлення

Cooper storage – спосіб збереження представлень, які відповідають вузлам дерева

МОЖЛИВІ ПРЕДСТАВЛЕННЯ
Вершині дерева буде відповідати





λ ВИРАЗИ (NP ВИРАЗИ) КОМБІНУЮТЬСЯ

З ОСНОВНИМ ПРЕДСТАВЛЕННЯМ В ДОВІЛЬНОМУ (індексованому) ПОРЯДКУ і ці вирази беруться з вузлів дерева (нижчих)

ЗБЕРЕЖЕННЯ ПРЕДСТАВЛЕНЬ

Комп'ютерна лінгвістика (2010) Романюк А.Б.

повного представлення вибирається один з елементів і здійснюється редукція з

основним представленням
СПОЧАТКУ ОБРОБЛЯЄМО ДРУГИЙ ВИРАЗ

ПОВНЕ ЗНАЧЕННЯ (ПРЕДСТАВЛЕННЯ)

Комп'ютерна лінгвістика (2010) Романюк А.Б.

(ПРЕДСТАВЛЕННЯ)
Комп'ютерна лінгвістика (2010) Романюк А.Б.

ДВА СКЛАДНІ NP-ВИРАЗИ А БІЛЬШЕ
ВРАХОВУЮТЬСЯ ТІЛЬКИ НЕОДНОЗНАЧНОСТІ, ЯКІ ВИНИКАЮТЬ НА

ОСНОВІ ІМЕННИКОВИХ ВИРАЗІВ

ПРОБЛЕМИ

Комп'ютерна лінгвістика (2010) Романюк А.Б.

загальнолюдських цінностей, як ви їх не формулюйте – чи "свобода,

рівність, братерство" чи "свобода, справедливість, солідарність", чи ще як – вони утвердили свою тріаду – "прагматизм (насправді цинізм), комфорт, гламур".
Не капіталісти, а саме вони, менеджери, "прагматики" встановили принцип: "якщо ти не маєш мільйона доларів – ти лайно". … щоб забезпечувати функціонування високотехнологічного виробництва, треба не тільки клепку мати, а і жити в режимі наднапруги. А навіщо? … Чим ламати собі голову, як налагодити отримання прибутку з верстата з числовим програмовим управлінням, простіше порізати його на металобрухт вкупі з усім іншим устаткуванням. А виробничі площі здавати в оренду і забезпечити собі окремо взятий комунізм…

http://www.pravda.com.ua/columns/2011/05/1/6155721/

Комп'ютерна лінгвістика (2010) Романюк А.Б.

працює або потребує додаткових механізмів
Інша проблема: неможливо накласти обмеження

на можливі варіанти заповнення

ПІДХІД НА ОСНОВІ ОБМЕЖЕНЬ

Комп'ютерна лінгвістика (2010) Романюк А.Б.

виразів)
При побудові повного представлення всі дірки повинні бути заповнені промаркованими

виразами
Домінуючі обмеження дозволяють вказати яка мітка які дірки може заповнювати
l≤h – вираз діркою домінує над виразом з міткою
Вираз який містить h обов'язково повинен мати l, як свою частину

HOLE SEMANTICS

Комп'ютерна лінгвістика (2010) Романюк А.Б.

та позначити це P()= то згідно накладених обмежень

HOLE SEMANTICS
Комп'ютерна

лінгвістика (2010) Романюк А.Б.

неоднозначностей
Дірками і мітками можуть бути довільні частити виразу в термінах

логіки першого порядку
Домінуючі обмеження це потужний засіб накласти обмеження на небажані інтерпретації представлення значення
Такі обмеження вказуються в доповненнях до лексичних одиниць чи до правил граматики

HOLE SEMANTICS

Комп'ютерна лінгвістика (2010) Романюк А.Б.

Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition

- Second Edition Prentice Hall, 2008 -988. – Розділ,18 ст. 583-610.

НЕОБХІДНО ПРОЧИТАТИ

Комп'ютерна лінгвістика (2010) Романюк А.Б.