Слайд 1Новые информационные технологии
Харламов
Александр Александрович
© 2012 МГЛУ
Ин. яз. им.
М. Тореза
Слайд 2Лекция № 41. Лингвистика в новых информационных технологиях.
Уровни языка. Лингвистический
процессор
Слайд 311
Уровни языка
Язык членится на уровни
Уровень - это часть языка,
состоящая из однородных единиц и включающая набор правил, регулирующих использование
этих единиц, их группировку в классы и разряды
Уровни автономны, каждый уровень характеризуется особой единицей, предельной и минимальной для каждого уровня
Слайд 411
Уровни языка
Различают следующие уровни:
1) фонемный
2) морфемный
3) лексический
4) синтаксический
5) семантический
6) прагматический
Слайд 511
Уровни языка
Выделяют следующие уровнеобразующие компоненты:
1. фонема — неделимая, единица, класс
вариантов звука (аллофонов), фонему можно представить в виде набора дифференциальных
признаков
2. морфема - полноценная знаковая единица. Морфема обладает значением, но не является целостной единицей, не обладает грамматической оформленностью и смысловой самостоятельностью
Слайд 611
Уровни языка
Выделяют следующие уровнеобразующие компоненты:
3. слово (лексема) - целостная единица,
обладающая морфологической оформленностью и смысловой самостоятельностью. Лексема — слово как
самостоятельная единица языка, рассматриваемая во всей совокупности своих форм и значений. В одну лексему объединяются разные словоформы одного слова
Слайд 711
Уровни языка
Выделяют следующие уровнеобразующие компоненты:
4. предложение - минимальная коммуникативная единица
языка. Предложение отличается от слова по степени сложности выражаемого им
смысла и функцией. Предложение -сочетание нескольких слов
Слайд 811
Уровни языка
Выделяют следующие уровнеобразующие компоненты:
5. текст - особая единица языка,
В тексте предложения связаны между собой по смыслу
Слайд 911
Лингвистический процессор
Ядром любой естественно-языковой системы является лингвистический процессор
Слайд 1011
Лингвистический процессор
Естественный язык служит человеку для выражения собственных мыслей и
для понимания мыслей других людей
Первому виду языковой деятельности соответствует производство
естественно-языковых текстов
Второму - понимание таких текстов
Слайд 1111
Лингвистический процессор
Если обозначить множество текстов через {Т}, а множество выражаемых
ими смыслов через {С}, то модель естественного языка можно определить
как транслятор, устанавливающий соответствие между этими двумя множествами
Слайд 1211
Лингвистический процессор
Компонент ЕЯ-системы, реализующий модель языка, называется лингвистическим процессором (ЛП)
Две
основные функции ЛП:
- моделирования понимания текстов (анализ)
- моделирования производства текстов (синтез)
Слайд 1411
Лингвистический процессор
ЛП представляет собой многоуровневый преобразователь
ЛП имеет четыре уровня представления
текста, которые соответствуют уровням языка -морфологическому, синтаксическому, семантическому и прагматическому
Слайд 1511
Лингвистический процессор
Каждый из уровней обслуживается соответствующим компонентом модели - массивом
правил и определенным словарем
На каждом из уровней предложение имеет формальный
образ, именуемый в дальнейшем его структурой - морфологической, синтаксической, семантической и прагматической
Слайд 1611
Лингвистический процессор
Анализ представляет собой переход от записи предложения в обычном
орфографическом виде к его записи в семантическом и прагматическом представлениях
Синтез представляет собой обратный переход от семантического и прагматического представлений предложения к его записи в обычном орфографическом виде
Слайд 1711
Лингвистический процессор
Структура предложения
Под морфологической структурой понимается последовательность входящих в анализируемое
предложение слов с указанием части речи и морфологических характеристик (падежа,
числа, рода, одушевленности, вида и т.п.)
Слайд 1811
Лингвистический процессор
Структура предложения
Под синтаксической структурой понимается дерево зависимостей, в узлах
которого стоят слова данного естественного языка с указанием части речи
и грамматических характеристик, а дуги соответствуют специфичным для данного естественного языка синтаксическими отношениям между словами
Слайд 19 Дерево зависимостей предложения
44
Древовидная структура предложения «Бедный Джон убежал прочь»
Здесь
A – прилагательное, N- существительное, V –глагол,
Adv – наречие,
NP – именная группа, VP – Глагольная группа
Лингвистический процессор
Структура предложения
Слайд 2011
Лингвистический процессор
Структура предложения
Под семантической структурой понимается граф, в узлах которого
стоят понятия, соответствующие словам предложения, а дуги соответствуют семантическим отношениям
между понятиями (например, предикатная структура)
Слайд 2111
Структура предиката: Subj – субъект, Obji – актанты предиката, Ri
– отношения предиката, R0 – отношение «быть субъектом»
Лингвистический процессор
Структура
предложения
Слайд 2211
Лингвистический процессор
Чтобы построить ЛП, необходимо разработать:
- формальные языки
для записи предложений на соответствующих уровнях представления
- формальное
понятие структуры предложения для каждого из этих уровней
Слайд 2311
Лингвистический процессор
Чтобы построить ЛП, необходимо разработать:
- правила для
преобразования структур смежных уровней друг в друга
- словари
соответствующих уровней, включив в них всю информацию о лексемах, необходимую для осуществления таких преобразований
Слайд 2411
Лингвистический процессор
Функции анализатора
- распознавание правильно построенных предложений ЕЯ
декомпозиция предложения на
составляющие (фрагменты) и построение соответствующей синтаксической структуры предложения
Слайд 2511
Лингвистический процессор
Функции анализатора
семантическая интерпретация фрагментов ЕЯ-предложения фрагментами М- языка
композиция фрагментов
М-языка в структуру, описывающую прагматическую ситуацию предметной области
Слайд 2611
Лингвистический процессор
Функции синтезатора
разбиение текста внутреннего языка на фрагменты, соответствующие будущим
фразам
определение лексем для синтезируемой фразы
Слайд 2711
Лингвистический процессор
Функции синтезатора
построение синтаксической структуры фразы
приписывание морфологической информации вершинам синтаксической
структуры фразы
определение порядка слов
осуществление морфологического синтеза лексем