Разделы презентаций

Лингвистические основы информатики

Содержание

Главное, что ученик должен узнать от учителя, – это что некоторый вопрос еще не решен.Акад. В. И. Арнольд

Слайды и текст этой презентации

Слайд 1Лингвистические основы информатики
Рубашкин Валерий Шлемович
д. т. н., профессор
Кафедра информационных

систем
в искусстве и гуманитарной сфере

Лингвистические основы информатикиРубашкин Валерий Шлемовичд. т. н., профессор Кафедра информационных систем в искусстве и гуманитарной сфере

Слайд 2
Главное, что ученик должен узнать от учителя, –
это что

некоторый вопрос еще не решен.
Акад. В. И. Арнольд

Главное, что ученик должен узнать от учителя, – это что некоторый вопрос еще не решен.Акад. В. И.

Слайд 3Л И Т Е Р А Т У Р А
(к

разделу 1)
Основная:
1.  Лингвистический энциклопедический словарь. – М., 1990; М., 2000
Беляева

Л. Н. Лингвистические автоматы в современных информационных технологиях: Учебное пособие. – СПб.: ООО "Книжный дом", 2007.
Белоногов Г.Г. , Калинин Ю.П. , Хорошилов А.А. . Компьютерная лингвистика и перспективные информационные технологии - М.: Русский мир, 2004.
Антопольский А. Б. Лингвистическое обеспечение электронных библиотек". - М., 2003. - 302 с
Bolshakov I., Gelbukh A. Computational Linguistics. Models, Resources, Applications. - Mexico: Instituto Politecnico Nacional, 2004
Марчук Ю. Н. Компьютерная лингвистика. – 2007.

Л И Т Е Р А Т У Р А(к разделу 1)Основная:1.  Лингвистический энциклопедический словарь. – М., 1990;

Слайд 4Л И Т Е Р А Т У Р А
Дополнительная:
Левицкий

Ю.А. Основы теории синтаксиса. – М.: URSS. 2005.
Тестелец Я. Г.

Введение в общий синтаксис. – М., 2001. 800 с.



Л И Т Е Р А Т У Р АДополнительная:Левицкий Ю.А. Основы теории синтаксиса. – М.: URSS.

Слайд 5ТЕМАТИЧЕСКИЙ ПЛАН
Введение. Лингвистические модели в современных информационных технологиях.
 Раздел 1. Лингвистические

модели и методы формализации текста.
Язык как система. Уровни описания языка.
Синтаксическая

структура предложения и способы ее формализации.
Автоматизация словарных работ и статистический анализ текста.
Раздел 2. Логико-семантические модели текста
Основные понятия и проблемы семантики.
Языки представления знаний.
Семантическое описание лексики. Семантические словари.

ТЕМАТИЧЕСКИЙ ПЛАН Введение. Лингвистические модели в современных информационных технологиях.  Раздел 1. Лингвистические модели и методы формализации текста. Язык как

Слайд 6Введение. Лингвистические модели в современных информационных технологиях.
Автоматический перевод

– исторически первая "лингвистическая" технология.
Лингвистические модели в документальных информационных системах.
Орфографические

и грамматические корректоры.
Лингвистические модели в системах распознавания письменных текстов и устной речи.
Системы понимания (смыслового анализа и синтеза) текста.

Введение. Лингвистические модели в современных информационных технологиях. Автоматический перевод – исторически первая

Слайд 7Products of computational linguistics: present and prospective (по Bolshakov I., Gelbukh

A. )
Text preparation, or text editing:
–   Automatic hyphenation of words in natural

language texts,
–  Spell checking
–  Grammar checking
–   Style checking
– Referencing specific words, word combinations, and
semantic links
Information retrieval; 
Automatic translation;
Natural language interfaces to databases and other systems;
Extraction of factual data;
Text generation from pictures and formal specifications;
Natural language understanding;
Optical character recognition, speech recognition.
Products of computational linguistics: present and prospective (по Bolshakov I., Gelbukh A. )Text preparation, or text editing:–   Automatic

Слайд 8# 1. Автоматический перевод – исторически первая лингвистическая" технология.
1.1. Этапы

развития
1.2. Основные проблемы
1.3. Методы и процедуры

# 1. Автоматический перевод – исторически первая лингвистическая

Слайд 91.1. Этапы развития
Начало:
1946: А. Бут & У. Уивер – формулировка

задачи – перевод как дешифровка текста
1952: Первая конференция по

АП. Возможен ли АП?
1954: Начало работы - Джорджтаунский эксперимент.
1954: Начало работ в СССР.
- ИПМ: О. С. Кулагина и И. А. Мельчук;
Ю. Д. Апресян, А. А. Зализняк, В. А. Успенский,
Г.С. Цейтин и др.

Уоррен Уивер
(директор отделения естественных наук Рокфеллеровского фонда):
"Глядя на статью на русском языке, я говорю себе: в действительности статья написана по английски. но зашифрована какими-то непонятнымии знаками"

1.1. Этапы развитияНачало:1946: А. Бут & У. Уивер – формулировка задачи – перевод как дешифровка текста 1952:

Слайд 10
60-е гг.:
Осознание трудностей и проблем; разочарование и отступление.

1966 г. –доклад Комиссии Национальной Академии наук США
70-е

– 80-е гг: «Правильная осада».
С начала 90-х: Период коммерческих систем:
ProMT Translation Office - фирма ProMT;
Сократ – фирма «Арсенал»;
SYSTRAN: http://www.systran.co.uk/

карманные переводчики: “Partner” - «Эктако»,
“Pocket ProMT”; “СократСЕ”; “СловоЕд”
Google, Яндекс, ABBYY

Прогноз: 2020 г. : литературный перевод деловых текстов.

60-е гг.: Осознание трудностей и проблем; разочарование и отступление. 1966 г. –доклад Комиссии Национальной

Слайд 111.2. Основные проблемы АП

Недостаточная полнота и точность описания языка в

традиционной лингвистике
Основная причина – традиционная лингвистика ориентирована на человека, владеющего

(родным) языком.
«Простой» пример - словоизменение:
Абзац – абзаца
Конец - конца
Стрелец - стрельца
Читать - читаю
Спать -сплю
Быть – будь – будящий – *буденный
… - сидящий … - облученный
Слово – часть речи = ?
Формальная модель русского словоизменения -
А. А. Зализняк. Грамматический словарь русского языка. –
М.: 1977 (~70 000 слов).
1.2. Основные проблемы АПНедостаточная полнота и точность описания языка в традиционной лингвистикеОсновная причина – традиционная лингвистика ориентирована

Слайд 12
Морфологическая и лексическая многозначность
«Все слова – омонимы!»
Он открыл дверь своим

ключом (1)
Дай мне ключ 12 на 18

(2)
Он сумел подобрать ключ к шифру (3)
Ключ данных; ключевое поле (4) (= key)
Музыкальный ключ (= klef)
В овраге бьют ключи (= source, spring)

NB SYSTRAN: In the ravine they beat keys
PROMT: In a ravine beat keys

Наша цель – коммунизм!

Морфологическая и лексическая многозначность«Все слова – омонимы!»Он открыл дверь своим ключом (1)Дай мне ключ

Слайд 13Неоднозначность часто обнаруживается только в процедурах автоматического анализа:
для  длить


при  переть
из  Иза
залив, пролив, слив.
Петр

стоял на улице. - Peter stood in the street.

Петр стоит на улице -

Peter costs in the street (ProMT)

Неоднозначность часто обнаруживается только в процедурах автоматического анализа:для  длить при  перетьиз  Иза

Слайд 14
Омонимия собственных имен:
Рой Медведев, Тони Блэр
Омонимия частей речи:
Light

– 1) сущ.: = свет, лампа;

2) прил.: = светлый, легкий;
3) глаг.: = освещать, зажигать.

Пять сортов стали; листья стали желтеть; поезда стали.
NB SYSTRAN: the train of steel

Проблемы перевода:
предлог - I (отговорка) pretext, pretence; (повод) ground
предлог - II грам, preposition
предложение - I offer, suggestion
предложение - II грам, sentence;
(часть сложного предложения) clause

Омонимия собственных имен: Рой Медведев, Тони Блэр Омонимия частей речи:Light – 1) сущ.: = свет,

Слайд 15
Невозможность пословного перевода:
He is reading.
One has to wash his face

every morning.
Неоднозначность значения грамматических форм
Пример – многозначность русского творительного падежа:
Письмо

написано ребенком. («агентивность»)
Он ел икру ложкой. («инструментальность»)
Он ел икру дорОгой. («локативность»)
Он ел икру утром. («темпоральность»)
Он ел икру пудами. («квантитативность»)

Различие грамматического строя разных языков
- невозможность использования одного способа перевода для однотипных грамматических конструкций:
Stone bridge  [ A + N ]
Carriage return  [ N + NGen]
Power struggle  [ N + P + NAcc]
Невозможность пословного перевода:He is reading.One has to wash his face every morning.Неоднозначность значения грамматических форм Пример – многозначность

Слайд 16
Употребление слов в переносном значении (тропы)
(vs буквальная семантика)
Метафора
Перенесение свойств

одного предмета на другой на основании и для указания общего

для них признака
Вы – роза…; море смеялось; стальные мускулы.
Метонимия
Замена одного слова другим на основании связи, существующей между именуемыми объектами (употребление части вместо целого; частного вместо общего; собственного имени вместо нарицательного):
волна вместо море, Цицероны вместо ораторы и т. д.
Розовые лица, револьвер желт, моя милиция меня бережет

Употребление слов в переносном значении (тропы) (vs буквальная семантика)Метафора Перенесение свойств одного предмета на другой на основании и

Слайд 17
Смысловая неполнота текста. Необходимость использования логического вывода (умозаключений) для понимания

текста, зависимость способов выражения мысли от культурного контекста.





Смысловая неполнота текста. Необходимость использования логического вывода (умозаключений) для понимания текста, зависимость способов выражения мысли от культурного

Слайд 18
«Больные» тексты
(вплоть до логического противоречия)


Нужно быть полным идиотом, чтобы верить

всему, что
происходит.
[футбольный тренер А. Бышовец]

Никогда такого не было, и

вот - опять то же самое.
В.С. Черномырдин
«Больные» тексты (вплоть до логического противоречия)Нужно быть полным идиотом, чтобы верить всему, что происходит.[футбольный тренер А. Бышовец]Никогда такого

Слайд 19
Трудности перевода предлогов:
Самолет прибывает в 12:10.

Я не работаю в среду.

В

июле очень жарко.

Вы должны следовать за проводником.
The plain arrives at

12:10

I don’t work on Wednesday

It is very hot in July

You have to follow your guide / conductor (нет предлога)
NB: в путешествии – guide; в вагоне – conductor;
в культуре и науке – champion.

Трудности перевода предлогов:Самолет прибывает в 12:10.Я не работаю в среду.В июле очень жарко.Вы должны следовать за проводником.The

Слайд 20



Шутки специалистов:
Дух силен, да плоть слаба.
…
Водка крепкая,

а мясо протухло.
The spirit is strong, but the flesh is

weak

То же с английского на русский:
The plane flew over the hill. (= над горой)
The dog jumped over the fence. (= через забор)

The children ate the cake with their hands.
The children ate the cake with blue icing.

I saw a soldier with the gun
Meilin saw a bird with the telescope (…птицу с телескопом)

Шутки специалистов:Дух силен, да плоть слаба.… Водка крепкая, а мясо протухло.The spirit is strong, but

Слайд 211.3. Методы и процедуры АП
Разобрать входной текст (структурировать)
и затем собрать

выходной
1) Основные методы:
Словарная поддержка; методы быстрого поиска в словаре;
(проблема создания

больших словарей – 100 тыс. – 1 млн.)
Формальные грамматики
(Совокупность точных правил, описывающих способы построения и грамматического разбора предложений и
словосочетаний)
Прецедентно-статистический анализ
(example-based, case-based)
TMS – Translation Memory System
1.3. Методы и процедуры АПРазобрать входной текст (структурировать)и затем собрать выходной1) Основные методы:Словарная поддержка; методы быстрого поиска

Слайд 222) Процедуры АП:
От письменного текста к словоформам
Определение возможных грамматических характеристик

словоформы
Грамматический разбор – определение возможных синтаксических связей. [+ Прецедентный

анализ]
Выбор переводного эквивалента словоформы –
[с учетом синтаксического контекста ??]
[Построение смыслового представления; разрешение лексических и синтаксических неоднозначностей]
Перевод синтаксических связей на выходной язык
Морфологический синтез
Линеаризация

См. примеры автоматического перевода
PROMT_Translator.doc
GoogleTranslate.doc

2) Процедуры АП:От письменного текста к словоформамОпределение возможных грамматических характеристик словоформы Грамматический разбор – определение возможных синтаксических

Слайд 23Исследовательское подразделение корпорации IBM разрабатывает систему машинного перевода, способную функционировать

в режиме реального времени.
Проект n.Fluent тестируется уже больше года.

Система, переводящая документы, веб-страницы и мгновенные сообщения, может использоваться не только на персональных компьютерах, но и на смартфонах.
В настоящее время инструментарий n.Fluent поддерживает работу более чем с десятью языками, в том числе с английским, французским, немецким, итальянским, испанским и русским.
Сообщается, что система n.Fluent способна обучаться, а значит — повышать качество генерируемых результатов. В процессе работы применяются специальные алгоритмы, полученные при анализе огромных объемов текстовой информации, а также сопоставления оригиналов с материалами, сделанными профессиональными переводчиками.

Исследовательское подразделение корпорации IBM разрабатывает систему машинного перевода, способную функционировать в режиме реального времени. Проект n.Fluent тестируется

Слайд 24За время тестирования система перевела более 400 млн слов. В

IBM надеются, что в перспективе n.Fluent составит достойную конкуренцию бесплатным

сервисам вроде Google Translate.
О возможных сроках запуска открытой версии n.Fluent разработчики, впрочем, умалчивают.
Подготовлено по материалам CNET News.
24.11.2009


За время тестирования система перевела более 400 млн слов. В IBM надеются, что в перспективе n.Fluent составит

Слайд 25# 2. Документальные ИПС
Лингвистические проблемы:
Отождествление разных грамматических форм слова: формат

– формата - *формам
Поисковая эквивалентность связанных по смыслу слов:
Word ->

текстовый процессор; стрела ->подъемный кран; жесткий диск -> компьютер;
забастовка, пикет, митинг  протестные действия;
(словари-тезаурусы)
# 2. Документальные ИПС Лингвистические проблемы:Отождествление разных грамматических форм слова: формат – формата - *формамПоисковая эквивалентность связанных по

Слайд 26Смысловые связи между словами в тексте:
базы данных ?

 на базе данных моделей…
гусеничный трактор ? 
Расплодившиеся

гусеницы уничтожили листву яблонь. Для борьбы с ними были использованы установленные на тракторе распылители пестицидов.
Рубашкин В. Ш. ?
Александр Рубашкин . В. Ш е ф н е р. Стихотворения.
автомобиль ВАЗ-2010 ?
ВАЗ начнет выпуск автомобилей на платформе Renault в 2010 году




Еще примеры:

Смысловые связи между словами в тексте: базы данных ?  на базе данных моделей… гусеничный трактор

Слайд 27Запрос "Инженерия знаний":
Документ 1
Зарплата: $ 3000
Наш клиент – Международная Компания,

Лидер в сфере Разработки и Консалтинга компьютерной инженерии Вакансия: TEAM-LEADER JAVA

J2EE U327 – TM КЛЮЧЕВЫЕ ОБЯЗАННОСТИ: • Работа по международному проекту • Управление командой разработчиков • Программирование на платформе J2EE • Работа с framework - STRUTS, HIBERNATE, SPRING • Взаимодействие с front-офисом ТРЕБОВАНИЯ: • Опыт работы разработчиком на платформе J2EE от 2-х лет • Знание и опыт работы в framework: STRUTS, HIBERNATE, SPRING • Разговорный английский или французский язык • Ответственность, открытость, умение работать в команде
Запрос

Слайд 28Документ 2
Зарплата: 80 000 руб.
Работник должен обладать следующими знаниями: 1. Высшее

образование в области телекоммуникаций, инженерии или компьютерной науки. 2. Высокие коммуникационные

способности и умение общаться с клиентами 3. Ориентированность на работу с клиентом 4. Быстрая обучаемость, высокая степень ответственности, понимание работы в многокультурной среде. 5. Обязательно владение английским языком. 6, Обязателен опыт работы, разработки: UNIX, обязательно С++ либо Java. 7. Знания или опыт работы в ORACLE 8. Опыт/готовность к работе в technical support 9. Английский разговорный. 10. Желателен опыт работы в телекоммуникациях.
Документ 2Зарплата: 80 000 руб.Работник должен обладать следующими знаниями: 1. Высшее образование в области телекоммуникаций, инженерии или

Слайд 29Пример - для п.п. 2) и 3):
Деятельность английских разведчиков в

немецких колониях во время 1-ой мировой войны.
Деятельность немецких разведчиков в

английских колониях во время 1-ой мировой войны.
Британский шпионаж в германских владениях в 1915 -16 г.г.
Пример - для п.п. 2) и 3):Деятельность английских разведчиков в немецких колониях во время 1-ой мировой войны.Деятельность

Слайд 30# 3. Орфографические и грамматические корректоры

Орфографический контроль: словарь основ +

моделирование словоизменения
Отсутствие орфографических замечаний не гарантирует от ошибок правописания:

Целю организации является…
Пуск осуществляется красКой кнопкой.
Частый детектив.
Он не /может/ решитЬся на это.

NB: Опасность команды «Заменить все»:
Все купившИЕ путевкИ…
Каждый купившИЙ путевкУ…

# 3. Орфографические и грамматические корректорыОрфографический контроль: словарь основ + моделирование словоизменения Отсутствие орфографических замечаний не гарантирует

Слайд 31
Возможности грамматического корректора:
пока ограничены!

формальные проверки (лексические повторы, скобки…)
проверка согласования

(именные группы, подлежащее - сказуемое)
проверка управления (ограниченно - предлоги и

др.)
узус
придает большое внимание:
Замечание корректора: "Нарушение лексической сочетаемости. Смешение двух устойчивых выражений "придавать значение" "уделять внимание".
Перспективы…
Возможности грамматического корректора:пока ограничены! формальные проверки (лексические повторы, скобки…)проверка согласования (именные группы, подлежащее - сказуемое)проверка управления (ограниченно

Слайд 32# 4. Распознавание письменного текста и устной речи
OCR (Optical Character

recognition)
– от графического файла к текстовому.
Коммерческие системы:
- широкие возможности,

высокое качество распознавания.
FineReader (фирма ABBYY);
Cuneiform (фирма Cognitive Technologies)

FineReader Online: 50 страниц каждому Разработчик самого популярного OCR-приложения, компания ABBYY, запустила онлайновую версию программы для распознавания текстов. Сервис FineReader Online пока работает в режиме публичного тестирования. Каждый пользователь может с его помощью бесплатно распознать до 50 страниц в день. Результат распознавания можно сохранить в нескольких форматах.
Дата:  07.07.2009 Источник:  Internetno.net
# 4. Распознавание письменного текста и устной речиOCR (Optical Character recognition) – от графического файла к текстовому.Коммерческие

Слайд 33SR (Speech Recognition), TTS (Text To Speech) - распознавание устной

речи)
Применение:
голосовой ввод текста;
"контакт -центры";
протоколирование официальных заседаний
(медицина; следствие и судопроизводство);
военное дело;
Voice

Commander
Коммерческие системы:
Dragon («Горыныч» – неудача русификации);
IBM ViaVoice
PC Week: Качество распознавания доходит до 95%, но хорошая машинистка все же лучше.
Основные ограничения: чтение отдельными словами (есть попытки анализа слитной речи);
необходимость настройки на конкретного пользователя.
SR (Speech Recognition), TTS (Text To Speech) - распознавание устной речи)Применение:голосовой ввод текста;

Слайд 34WikiPedia:
Free and open source software
CMU Sphinx — open source under

a BSD license
Julius — BSD-style license
VoxForge — open

source, GPL
Proprietary software
HTK — copyrighted by Microsoft, but altering the software for the Licensee's internal use is allowed.
CSLU Toolkit
Dragon NaturallySpeaking from Nuance Communications is the continuous-speech successor to the older DragonDictate product, and appears to be the focus of all their current development effort (in the dictation area). It does not currently run on 64-bit operating systems.
IBM ViaVoice - Control and development as it pertains to embedded processors remain in the hands of IBM. Linux, Mac OS, and Windows products were licensed to Nuance Communications (formerly ScanSoft) which has since discontinued the product. The Nuance website provides a list of which legacy systems can run the final versions.
WikiPedia:Free and open source softwareCMU Sphinx — open source under a BSD license Julius — BSD-style license

Слайд 35Microsoft Windows Speech Recognition - Windows Vista includes version 8.0

of the Microsoft speech recognition engine along with a completely

new end user speech experience, known as Windows Speech Recognition.
Microsoft Speech API - Speech recognition functionality included as part of Microsoft Office and on Tablet PCs running Microsoft Windows XP Tablet PC Edition. It may also be downloaded as part of the Speech SDK 5.1 for Windows applications, but since that is aimed at developers building speech applications, the pure SDK form lacks any user interface, and thus is unsuitable for end users.
Philips SpeechMagic - Market leader within the medical industry according to Frost & Sullivan, Philips SpeechMagic is a recognition engine that may be run either as a stand-alone product or integrated into other applications.
Proteus Conversational Interface
Quack.com (acquired by AOL)
SpeechWorks
Microsoft Windows Speech Recognition - Windows Vista includes version 8.0 of the Microsoft speech recognition engine along

Слайд 36Пример коммерческого применения: "Контакт-центры":
службы продажи билетов;
справочные службы;
службы технической поддержки

Исходный пункт

– IVR-технологии (Interactive Voice Response)
Следующий шаг – технологии Open Speech
Новая

система распознает речь военных врачей Армейское медицинское командование Пентагона приобрело 10 тыс. лицензий на систему распознавания речи Dragon NaturallySpeaking. Она призвана ускорить составление документации по пациентам. К лету 2009 г. подобный софт будет внедрен в 42 медицинских военных центрах, включая ряд европейских.
Пример коммерческого применения:

Слайд 37Функциональность и характеристики:
Разработчик - Nuance (ScanSoft) – на базе IBM

ViaVoice;
интегратор в технологии контакт-центров "под ключ" – Avaya
точность

распознавания речи (заявленная) – 98%;
способность к самообучению в процессе работы;
определение начала и конца реплики собеседника;
умение отличать паузы от завершения фразы;
адекватная реакция на перебивание собеседником голосового сообщения системы;
отсеивание посторонних шумов;
"живой отклик" (responsiveness);
распознавание на нескольких языках.


Функциональность и характеристики:Разработчик - Nuance (ScanSoft) – на базе IBM ViaVoice; интегратор в технологии контакт-центров

Слайд 38Лингвистическое содержание технологий распознавания:
Этап распознавания отдельных элементов (буквы в OCR,

звуки или целые слова в SR)
Лингвистические фильтры:
орфографический;
грамматический;
семантический;
Прецедентно-статистический.

Лингвистическое содержание технологий распознавания:Этап распознавания отдельных элементов (буквы в OCR, звуки или целые слова в SR)Лингвистические фильтры:орфографический;грамматический;семантический;Прецедентно-статистический.

Слайд 39# 5. Системы понимания (смыслового анализа и синтеза) текста.
Что значит

«понимать текст»?
- уметь отвечать на вопросы по тексту (ср. пример

в #2)
В пустую комнату вошла высокая женщина, за руку которой держался маленький мальчик.
Сколько человек находится в этой комнате?
Диалоговые системы, имитирующие понимание:
ELIZA - диалог с потенциальным пациентом от лица психоаналитика [Weizenbaum 1977];
A.L.I.C.E. – Artificial Linguistic Internet Computer Entity;
конкурс Лёбнера - проводится Университетом острова Флиндерс (Южная Австралия); 3 -25 – 100 тыс.$
http:/www.loebner.net/Prizef/loebner-prize.html


# 5. Системы понимания (смыслового анализа и синтеза) текста.Что значит «понимать текст»? - уметь отвечать на вопросы по

Слайд 40Современная инженерная постановка задачи:
Information Extraction

Глобальные задачи:
Семантический поиск (Semantic

Web)
Семантический доступ к информационным ресурсам

Примеры конкретизации:
Автоматизированная специализированная справочная система с

речевым интерфейсом ("Контакт-центры": служба продажи билетов, «Служба 09»; «врач-консультант»; «юрист-консультант»; «шеф-повар-консультант» и т.п. ).
«Универсум знаний (оракул)» - интерактивный энциклопедический справочник.

Современная инженерная постановка задачи: Information ExtractionГлобальные задачи: Семантический поиск (Semantic Web)Семантический доступ к информационным ресурсамПримеры конкретизации:Автоматизированная специализированная

Слайд 41Справочная служба - основные процедуры:
Получить вопрос, убедиться, что он понятен

системе (взаимодействие с подсистемами 2, 3 и 4), если необходимо

–
уточнить вопрос в диалоге с пользователем
Преобразование речевого вопроса в текстовую строку
(SR-технология)
Определить релевантную БД (глубокий смысловой анализ – построение концептуальных схем БД)
Построить по тексту вопроса SQL-запрос (смысловой анализ вопроса – имеются экспериментальные системы)
Выполнить запрос (технология реляционных СУБД)
Преобразовать ответ СУБД из табличной в текстовую форму
(смысловой синтез - имеются экспериментальные системы)
Преобразовать текстовую строку ответа в звуковую речь (звуковой синтез - технологии приближаются к коммерческому уровню)

Справочная служба - основные процедуры:Получить вопрос, убедиться, что он понятен системе (взаимодействие с подсистемами 2, 3 и

Слайд 42Т е м а 3. Автоматизация словарных работ и статистический

анализ текста.
Типы словарей
Частотные словари, их создание и использование.
2.1. Основные направления

использования
2.2. Технология создания частотного словаря средствами стандартных офисных технологий
Т е м а 1. Язык как система. Уровни описания языка.
Т е м а 3. Автоматизация словарных работ и статистический анализ текста. Типы словарейЧастотные словари, их создание

Слайд 43#1. Типы словарей
1.1. По типу лексических единиц
Лингвистические словари: объект описания

– слово
(орфографические, толковые, переводные,…)
Энциклопедические словари: объект описания – понятие
(ср. БСЭ,

Политехнический словарь, )
1.2. По социальной функции
Описательные
(синонимов, толковые, переводные,…)
Нормативные
(орфографические, «Вместе или раздельно», словари рекомендуемых терминов, грамматические характеристики слова - кофе)
#1. Типы словарей1.1. По типу лексических единицЛингвистические словари: объект описания – слово (орфографические, толковые, переводные,…)Энциклопедические словари: объект описания

Слайд 441.3. По адресату
Человекоориентированные
- общего назначения;
- для определенных социальных групп

Машиноориентированные
= словарь, ориентированный на использование программами

- обычно *.DLL - библиотека
(NB: НЕ то же, что «словарь на машинном носителе»!)


1.3. По адресату Человекоориентированные - общего назначения; - для определенных социальных групп Машиноориентированные = словарь, ориентированный на

Слайд 451.4. По широте охвата лексики
Общеязыковые
Специализированные
(словари имен, блатной лексики, словарь туриста,


словарь Пушкина, словарь глагольного управления,…)

1.5. По числу языков
Одно-, двух-, многоязыковые

1.6.

По способу упорядочения
Алфавитные (прямой и обратный порядок; упорядочение по концам слова - ср. грамматический словарь Зализняка)
Частотные
Идеографические
(Русский семантический словарь, Толковый словарь русских глаголов)
1.4. По широте охвата лексикиОбщеязыковыеСпециализированные (словари имен, блатной лексики, словарь туриста, словарь Пушкина, словарь глагольного управления,…)1.5. По числу

Слайд 461.7. По типу описываемых языковых явлений
Орфографические (правописание)
Фонетические (произношение и ударение)
Грамматические

(словоизменение и грамматические характеристики словоформы)
Частотные
- общеязыковые;
- для определенного

стиля речи: научный, публицистический, разговорный, поэтический;
- для определенной предметной области (научной дисциплины);
- авторские, персонажей,…
Исторические и этимологические (происхождение слов и развитие значений слова)
Смысловые соответствия (межязыковые – переводные словари и внутриязыковые – толковые и энциклопедические словари)
1.7. По типу описываемых языковых явленийОрфографические (правописание)Фонетические (произношение и ударение)Грамматические (словоизменение и грамматические характеристики словоформы)Частотные - общеязыковые;

Слайд 47Словари сочетаемости
- словари глагольного управления
сообщить (…?)
информировать (… ?)

Словари сочетаемости - словари глагольного управления сообщить (…?) информировать (… ?)

Слайд 48Словари сочетаемости
- словари лексических функций (определяют способы нестандартного выражения

заданного смысла для слова X):
Magn(X) - ‘в большой степени X’
X

– молчание, Magn(X) – гробовое;
X – обыск, Magn(X) – тщательный;
X – дурак, Magn(X) – круглый;
X – негодяй, Magn(X) – отъявленный;
X – брюнетка, Magn(X) – …?;
Real(X) - ‘X осуществляется, происходит’
X – победа, Real(X) – одержать;
X – поражение, Real(X) – потерпеть;
X – трагедия, Real(X) – пережить;
X – потрясение, Real(X) – …?;

Словари сочетаемости - словари лексических функций (определяют способы нестандартного выражения заданного смысла для слова X):Magn(X) - ‘в

Слайд 49# 2. Частотные словари, их создание и использование.
2.1. Основные направления

использования
Изучение особенностей разных языковых стилей и языка социальных групп: (разговорный,

литературный, профессиональный стили; подростковый жаргон, …)
Изучение авторского языка и стиля ( «язык Достоевского», «язык Солженицына» и т.д.)
Выявление наиболее употребительной лексики ("русский как иностранный")
Выявление основного содержания большого текста (технологии типа Text Mining)
Ранжирование документов при поиске в Интернет (!)
Изучение сочетаемости слов и терминов
Актуализация профессиональной терминологии; разделение лексики на общеязыковую и специальную

Частотный словарь С. Шарова:
http://corpus.leeds.ac.uk/serge/frqlist/

# 2. Частотные словари, их создание и использование.2.1. Основные направления использованияИзучение особенностей разных языковых стилей и языка

Слайд 501 36358.94 и misc
2 27792.36 в prep
3 20689.51 не misc
4

18942.62 он pron
5 16588.14 на prep
6 15631.11 я pron
7 12546.08

что misc
8 11398.44 тот adjpron
9 11223.99 быть verb
10 11150.72 с prep
11 9808.61 а misc
12 8604.72 весь adjpron
13 8043.90 это pron
14 7313.35 как misc
15 7110.80 она pron
16 5735.64 по prep
17 5672.65 но misc
18 5592.16 они pron
1 36358.94 и misc2 27792.36 в prep3 20689.51 не misc4 18942.62 он pron5 16588.14 на prep6 15631.11

Слайд 51Некоторые статистические данные об использовании русских слов
Средняя длина слова

5.28 символа.
Средняя длина предложения 10.38 слов.
1000 наиболее частотных

лемм покрывает 64.0708% текста.
2000 наиболее частотных лемм покрывают 71.9521% текста.
3000 наиболее частотных лемм покрывают 76.5104% текста.
5000 наиболее частотных лемм покрывают 82.0604% текста.
Некоторые статистические данные об использовании русских слов Средняя длина слова 5.28 символа. Средняя длина предложения 10.38 слов.

Слайд 522.2. Технология создания частотного словаря средствами стандартных офисных технологий
Преобразование текста

в словник
Нормализация словоформ (метод сверток)
Импорт словника в таблицу БД Access
Создание

частотного словаря (запрос Access с группировкой по словам - сверткам)
Выделение понятий, выраженных двух- и трехсловными словосочетаниями.
Сравнение «ручной» и «частотной аннотаций». Подготовка отчета.
2.2. Технология создания частотного словаря средствами стандартных офисных технологийПреобразование текста в словникНормализация словоформ (метод сверток)Импорт словника в

Слайд 53Преобразование текста в словник
Удаление ненужных символов -
использование режима Подстановочные

знаки - поиск и замена по шаблону (использование регулярных выражений);

заменить на пустую строку или пробел):
? – любой одиночный символ (к?т)
* – любое число любых символов (к*т)
[ио] – любой из указанных символов (к[ио]т)
[A-z] – любой символ в указанном диапазоне
^# – любая цифра
…
Преобразование в формат «все словоформы в 1 столбец» -
замена пробелов символом «конец абзаца»

Преобразование текста в словникУдаление ненужных символов - использование режима Подстановочные знаки - поиск и замена по шаблону

Слайд 55Нормализация словоформ (метод сверток)
Алгоритм построения свертки:  
в свертку включаются три

первые буквы слова;
в свертку включаются остальные согласные буквы слова;
при свертывании

отбрасываются конечные буквы в, г, м, х
(если они входят в окончания существительных и прилагательных)

Макрос ДобавитьСвертки2
Примеры:
Нормализация словоформ (метод сверток)Алгоритм построения свертки:  в свертку включаются три первые буквы слова;в свертку включаются остальные согласные

Слайд 56Оценка точности грамматической нормализации методом сверток
Всего просмотрено слов (существительных и

прилагательных) – M
Из них имеют не совпавшие свертки – N
Точность

отождествления = N/M
В примере: N=1, M=3; точность = 1/3 (~30%)

Ошибки:
богослОВ, женИХ, запАХ, систЕМУ
конЬ – кон; потОМУ – пот; косОМУ – косА - косой;
сотОМУ – сотЫ
нерегулярность словоизменения:

Оценка точности грамматической нормализации методом свертокВсего просмотрено слов (существительных и прилагательных) – MИз них имеют не совпавшие

Слайд 57Анализ влияния грамматической нормализации на частотное ранжирование лексики:

Анализ влияния грамматической нормализации на частотное ранжирование лексики:

Слайд 59Разделение лексики на предметную и общеязыковую
Выделение понятий, выраженных двух- и

трехсловными словосочетаниями.

Разделение лексики на предметную и общеязыковуюВыделение понятий, выраженных двух- и трехсловными словосочетаниями.

Слайд 61Т е м а 1. Язык как система. Уровни описания языка.
Функциональное

описание языка (функциональные стили)
Внутрисистемное описание языка

Т е м а 1. Язык как система. Уровни описания языка. Функциональное описание языка (функциональные стили)Внутрисистемное описание

Слайд 62# 1. Функциональное описание языка (функциональные стили)
1.1. Деловая речь (функция

деловой коммуникации)
1.2. Поэтическая речь (функция построения
художественного образа)
1.3. Другие

функции языка:
Разговорная речь - выражение эмоций (смысл часто не важен – важна интонация…)
Ритуал (напр., церковная служба)
Символизация принадлежности к социальной группе

[Разговорная речь –комплексный феномен]

# 1. Функциональное описание языка (функциональные стили)1.1. Деловая речь (функция деловой коммуникации) 1.2. Поэтическая речь (функция построения

Слайд 63Погруженность языка в культуру.
(Почему вдруг появилась масса англицизмов?)
Что есть культура?


П. Сорокин: Совокупность значений, ценностей и норм, которыми владеют взаимодействующие

лица, и совокупность носителей , которые объективируют, социализируют и раскрывают эти компоненты.
Все это фиксируется средствами языка !
Погруженность языка в культуру.(Почему вдруг появилась масса англицизмов?)Что есть культура? П. Сорокин: Совокупность значений, ценностей и норм,

Слайд 64Основные компоненты культуры:
понятия и знания, упорядочивающие социальный опыт (когнитивная и

технологическая подсистема);
идеалы, ценности (подсистема мотивации);
нормы и образцы (подсистема регуляции поведения);
материальная

среда (орудия и продукты человеческой деятельности - артефакты, обеспечивающие физическое существование социума);
эстетическая среда (подсистема гармонизации социальной жизни) .

Социальные индивиды – носители и пользователи всех упомянутых компонентов культуры
(субъекты и объекты одновременно).

Основные компоненты культуры:понятия и знания, упорядочивающие социальный опыт (когнитивная и технологическая подсистема);идеалы, ценности (подсистема мотивации);нормы и образцы

Слайд 65Проявления культуры в языке:
Откуда взялись выражения:
Много воды утекло.
Ваше время истекло.
Бить

склянки.
Еще пример:
магазин "Старик Хоттабыч";
Клепсидра в суде.
Песочные часы.

Проявления культуры в языке:Откуда взялись выражения: Много воды утекло. Ваше время истекло. Бить склянки.Еще пример:магазин

Слайд 66Культура как диалог культурных феноменов (Литература как перекличка скрытых цитат)
В.Высоцкий:
Наконец-то

нам дали приказ наступать,
Отбирать наши пяди и крохи,
Но мы помним,

как Солнце отправилось вспять
И едва не зашло на востоке.

И. В. Сталин в Политическом отчете ЦК XVI съезду ВКП(б) сказал (27 июня 1930 г.):
«Ни одной пяди чужой земли не хотим. Но и своей земли, ни одного вершка не отдадим никому».

Культура как диалог культурных феноменов (Литература как перекличка скрытых цитат)В.Высоцкий:Наконец-то нам дали приказ наступать,Отбирать наши пяди и

Слайд 67МАРШ СОВЕТСКИХ ТАНКИСТОВ
Броня крепка, и танки наши быстры, И

наши люди мужества полны: В

строю стоят советские танкисты - Своей великой Родины сыны.

Припев: Гремя огнем, сверкая блеском стали Пойдут машины в яростный поход, Когда нас в бой пошлет товарищ Сталин И первый маршал в бой нас поведет!

Заводов труд и труд колхозных пашен Мы защититм, страну свою храня, Ударной силой орудийных башен И быстротой, и натиском огня.

Пусть помнит враг, укрывшийся в
засаде
Мы начеку, мы за врагом следим. Чужой земли мы не хотим ни пяди, Но и своей вершка не отдадим.

А если к нам полезет враг матерый, Он будет бит повсюду и везде! Тогда нажмут водители стартеры И по лесам, по сопкам, по воде....

http://www.youtube.com/watch?v=j7V5qGNTYqg

Композиторы братья Покрасс на слова поэта Бориса Ласкина для кинофильма «Трактористы» (1938, режиссер Иван Пырьев)

МАРШ СОВЕТСКИХ ТАНКИСТОВБроня крепка, и танки наши быстры, И наши люди мужества полны:

Слайд 68
В зависимости от того, где и для какой цели используется

язык,
меняются лексика, формы языковых выражений и их характеристики, способы их

использования.
С этой точки зрения можно различать
функциональные стили речи
В зависимости от того, где и для какой цели используется язык,меняются лексика, формы языковых выражений и их

Слайд 69Важность правильной оценки коммуникативного намерения говорящего / пишущего:

На школьном уроке.
Учитель:

В каком году родился Пушкин?
Ученик:
Мне бы Ваши заботы, господин учитель!
На

улице.
- Не знаете ли Вы, который час?

- Знаю.

Важность правильной оценки коммуникативного намерения говорящего / пишущего:На школьном уроке.Учитель: В каком году родился Пушкин?Ученик:Мне бы Ваши

Слайд 70 1.1. Деловая речь (функция деловой коммуникации)
А.П. Ершов: «Феномен деловой

прозы» (1978 г.): “деловая проза –это языковый носитель производственных отношений”.
Основные

характеристики.
Точность и однозначность выражения.
Стандартность, единообразие способов выражения мысли – каждое понятие должно выражаться всегда одним и тем же способом, употребление синонимов не приветствуется.
Неметафоричность – использование слов (терминов) только в их прямом и буквальном смысле.
Смысл слова (термина) должен быть определен и известен до его употребления в тексте – ср. энциклопедические словари.
Максимальная смысловая полнота; отсутствие намеков и недоговоренностей; апелляция только к профессиональным знаниям читателя (и знаниям "здравого смысла"), -
но не к воображению, не к ассоциациям.
Логическая последовательность, непротиворечивость.

NB: Каждая профессия вырабатывает свой особый язык!

1.1. Деловая речь (функция деловой коммуникации) А.П. Ершов: «Феномен деловой прозы» (1978 г.): “деловая проза –это языковый

Слайд 71Примеры деловой прозы

УК РФ, ст. 219:
“1. Нарушение правил пожарной безопасности,

совершенное лицом, на котором лежала обязанность по их соблюдению, если

это повлекло по неосторожности причинение тяжкого или средней тяжести вреда здоровью человека, -
наказывается штрафом в размере от 100 до 200 МРОТ…
2. То же деяние, повлекшее по неосторожности смерть человека или иные тяжкие последствия –
наказывается ограничением свободы на срок до 5 лет или лишением свободы на срок до 10 лет…”

Примеры деловой прозыУК РФ, ст. 219:“1. Нарушение правил пожарной безопасности, совершенное лицом, на котором лежала обязанность по

Слайд 72СНИП «Жилые здания»:
2.9. Жилые комнаты общежитий следует проектировать из расчета

заселения не более трех человек при площади не менее 6,0

кв. м. на каждого проживающего. Комнаты должны быть непроходными, шириной не менее 2.2 м., их следует оборудовать встроенными шкафами площадью не менее 0.5 кв. м. на каждого проживающего.
СНИП «Жилые здания»:2.9. Жилые комнаты общежитий следует проектировать из расчета заселения не более трех человек при площади

Слайд 73Научно-технический текст:
Увеличение напряжения текучести может быть объяснено за счет вакансий,

которые имеют заметную подвижность при –72оC.

Образование илистого осадка зависит от

размера частиц, полученных механическим способом, количества металла в амальгаме и чистоты растворов.
Научно-технический текст:Увеличение напряжения текучести может быть объяснено за счет вакансий, которые имеют заметную подвижность при –72оC.Образование илистого

Слайд 74Деловая проза – это профессиональные подъязыки - со своей лексикой,

своими характерными оборотами речи и грамматическими конструкциями.
Например:
юридический: причинение

…средней тяжести вреда…
военный: открыть огонь на поражение
морской: на флоте
математический: для…необходимо и достаточно…
приказ по вузу: зачислить на 1-ый курс (а не принять)
И т. д.
Чем ответственнее сфера деятельности, тем более стандартизован язык.
Чем беднее словарный состав делового текста – тем лучше текст!
Кто не владеет профессиональным языком – тот не профессионал!
Деловая проза – это профессиональные подъязыки - со своей лексикой, своими характерными оборотами речи и грамматическими конструкциями.

Слайд 75 1.2. Поэтическая речь (функция построения
художественного образа)
Поэтическая речь =

художественное слово «в чистом виде»
Основные характеристики:
Многовариантность выражения одного и того

же смысла.

Так думал молодой повеса, Ребенок был резов, но мил
Летя в пыли на почтовых, …
Всевышней волею Зевеса Чтоб не измучилось дитя
Наследник всех своих родных. …
Друзья Людмилы и Руслана!
С героем моего романа
Без предисловий, сей же час
Позвольте познакомить вас:
Онегин, добрый мой приятель,
…

1.2. Поэтическая речь (функция построения художественного образа)Поэтическая речь = художественное слово «в чистом виде»Основные характеристики:Многовариантность выражения

Слайд 76Смысловая неполнота как принцип – говорится всегда больше, чем сказано;

обращение не только к культурно-энциклопедическому контексту, но и к эмоциональной

сфере;
Метафорическое использование слова:
Поэты ходят пятками по лезвию ножа
И режут в кровь свои босые души. [В. Высоцкий]

Смысл слова может создаваться или изменяться контекстом его употребления:
Пинь-пинь-пинь–тарарахнул зензивер
[В. Хлебников]
Плывет в тоске необъяснимой
Среди кирпичного надсада
Ночной кораблик негасимый
Из Александровского сада. [И. Бродский]
Ожегов: надсада = чрезмерное усилие; ж.р. (+ орфографическ. сл.)
Смысловая неполнота как принцип – говорится всегда больше, чем сказано; обращение не только к культурно-энциклопедическому контексту, но

Слайд 77Логическая непоследовательность – вплоть до абсурдности буквального смысла и прямого

логического противоречия.

Речка движется и не движется,
…
Песня слышится и не слышится

Логическая непоследовательность – вплоть до абсурдности буквального смысла и прямого логического противоречия.Речка движется и не движется, …Песня слышится

Слайд 78Поэзия не ставит целью информировать, описывать положение дел – даже

если кажется, что о чем-то сообщает:
Ночь. Улица. Фонарь. Аптека.
Бессмысленный и

тусклый свет.
(О чем? О плохом освещении улиц?…)

Живи еще хоть четверть века –
Все будет так. Исхода нет.
(От внешнего к внутреннему…)

Еще:
В тот год осенняя погода
Стояла долго на дворе,
Зимы ждала, ждала природа,
Снег выпал только в январе.
(NB: Роман в стихах – но отнюдь не метеосводка!)

Поэзия не ставит целью информировать, описывать положение дел – даже если кажется, что о чем-то сообщает:Ночь. Улица.

Слайд 79И еще:
Городок провинциальный, летняя жара, На площадке танцевальной музыка с утра. «Рио-Рита»,

«Рио-Рита», вертится фокстрот, На площадке танцевальной сорок первый год.
Ничего, что немцы

в Польше, но сильна страна, Через месяц и не больше кончится война. «Рио-Рита», «Рио-Рита», вертится фокстрот, На площадке танцевальной сорок первый год. [Геннадий Шпаликов]

И еще:Городок провинциальный, летняя жара, На площадке танцевальной музыка с утра. «Рио-Рита», «Рио-Рита», вертится фокстрот, На площадке

Слайд 80О чем твои стихи? Не знаю брат.
Ты их прочти, коли

придет охота.
Стихи живые сами говорят,
И не о чем-то говорят, а

что-то.
[С. Маршак]

О чем твои стихи? Не знаю брат.Ты их прочти, коли придет охота.Стихи живые сами говорят,И не о

Слайд 81И еще о том же:
Быть знаменитым некрасиво,
Не это поднимает ввысь.
Не

надо заводить архива,
Над рукописями трястись.
Цель творчества – самоотдача,
А

не шумиха, не успех.
Позорно, ничего не знача,
Быть притчей на устах у всех.
(Пока звучит почти как речь на съезде писателей.
Но дальше: )

И еще о том же:Быть знаменитым некрасиво,Не это поднимает ввысь.Не надо заводить архива, Над рукописями трястись.Цель творчества

Слайд 82Но надо жить без самозванства,
Так жить, чтобы в конце

концов
Привлечь к себе любовь пространства,
Услышать будущего зов.

И надо оставлять пробелы
В судьбе, а не среди бумаг,
Места и главы жизни целой
Отчеркивая на полях.
…
Другие по живому следу
Пройдут твой путь за пядью пядь,
Но пораженья от победы
Ты сам не должен отличать.
И должен ни единой долькой
Не отступаться от лица,
Но быть живым, живым и только,
Живым и только до конца. [Б. Пастернак, 1956.]
Но надо жить без самозванства, Так жить, чтобы в конце концов Привлечь к себе любовь пространства, Услышать

Слайд 83В чем назначение поэзии (и искусства вообще)?
А. Блок:
“Цель поэзии –

внести гармонию в мир.”







Что может и что не может быть

объектом информационных
технологий?

В чем назначение поэзии (и искусства вообще)?А. Блок:“Цель поэзии – внести гармонию в мир.”Что может и что

Слайд 84 # 2. Внутрисистемное описание языка

2.1. Язык как текст и как

порождающая система.
2.2. Уровни описания языка:
Фонетический
Морфологический
Синтаксический
=================
Семантический

# 2. Внутрисистемное описание языка2.1. Язык как текст и как порождающая система.2.2. Уровни описания языка:Фонетический МорфологическийСинтаксический=================Семантический

Слайд 85 2.1. Язык как текст и как порождающая система
Что такое «язык»?
Два

возможных ответа: Текст vs Словарь + Грамматика

Как непосредственная

данность – вся совокупность текстов, написанных (произнесенных) на данном языке – “корпус текстов”
Задача дешифровки:
от текстов к единицам и правилам построения;
(шумерские глиняные таблички; иероглифические книги майя;
От последовательности символов к смыслу
Реконструкция звуковой формы (?)
2.1. Язык как текст и как порождающая системаЧто такое «язык»?Два возможных ответа: Текст vs Словарь

Слайд 86Язык как система правил, описывающих способ порождения текста:
список элементов (слов)

и их классификация – с точки зрения сочетаемости в тексте

(словарь);
способы их соединения в тексте (грамматика);
[способы их соотнесения с действительностью (семантика)]

Два типа отношений в языке –
синтагматические (в тексте)
Парадигматические (в системе языка)
красный - шар
синий - куб
медный - стержень
мягкий - карандаш
… …
Язык как система правил, описывающих способ порождения текста:список элементов (слов) и их классификация – с точки зрения

Слайд 872.2. Уровни описания языка
2.2.1. Фонетический (графематический) уровень

Фонетика – раздел

языкознания, изучающий звуковые единицы
языка, их сочетаемость в потоке речи

и их позиционные изменения.(РГА)

Единицы – фонемы (звуки) / буквы
Классификация (парадигматика):
согласные
звонкие – глухие;
твердые – мягкие;
…
гласные (АеёИОУЫЭюя)
2.2. Уровни описания языка 2.2.1. Фонетический (графематический) уровеньФонетика – раздел языкознания, изучающий звуковые единицы языка, их сочетаемость

Слайд 88Два звука считаются разными в данном языке, если замена одного

другим может вызвать изменение смысла.
Примеры:
кот – год; пот – бот;

(глухой - звонкий)
мэрский – мерзкий; забор – собор - запор (твердый - мягкий)
Кто счастлив, тот смеется,
Кто хочет, тот доБьётся,
Кто ищет, тот всегда найдет.
(Дунаевский, Лебедев-Кумач)
Кто хочет, тот доПьётся…
(Венедикт Ерофеев. Москва – Петушки.)


Два звука считаются разными в данном языке, если замена одного другим может вызвать изменение смысла.Примеры:кот – год;

Слайд 89Отношения (синтагматика) - линейное следование фонем в слове.
Возможность разных звукосочетаний

и их характерность в языке.
В русском языке, например, достаточно редки

последовательности след. типов:
3 гласных (длинношеее, радиоузел, змееопасный,…);
4 согласных (вздрогнуть, встряхнуть, президентский,…);
5 согласных (бодрствовать, контрпример, фландрский,…).
Отношения (синтагматика) - линейное следование фонем в слове.Возможность разных звукосочетаний и их характерность в языке.В русском языке,

Слайд 90Характерные для разных языков звукосочетания:
Русский: город, корова, пароход, беда, …
ФИКОБЫН
Польский:

Ястржембский, Збигнев Цибульский, Бжезинский, Щецин,…
Английский: Джонсон, Кеннеди, Доусон, Черчилль…
Маяковский: "Вор

нагл драл с лип жасмин"
Китайский: дао, Мао, Цзы, Цин, Мяо…
На русский текст объемом ~ 10 п.л.:
АО, ИУ – по 1 слову (наоборот, социум)
УИ – 2 слова (конструировать, градуировать)
ЯО - 0 слов;
ИЕ - 1600 раз, РО- 2244 раза!
NB: Важно для технологий SR и OCR! (Набор SMS-сообщений).
Ср. также Punto (напр., если русское слово начинается с "ь")
Характерные для разных языков звукосочетания:Русский: город, корова, пароход, беда, … ФИКОБЫНПольский: Ястржембский, Збигнев Цибульский, Бжезинский, Щецин,…Английский: Джонсон, Кеннеди,

Слайд 91Задачи моделирования:
Распознавание устной речи и письменного текста (SR и OCR);

Звуковая дешифровка древних языков

Задачи моделирования:Распознавание устной речи и письменного текста (SR и OCR); Звуковая дешифровка древних языков

Слайд 922.2.2. Морфологический уровень
Морфология – раздел языкознания, изучающий словообразование и словоизменение,

а также способы выражения грамматических признаков в пределах словоформы.
Словоформа –

слово, взятое в определенной
морфо-грамматической форме.
Слово – совокупность (парадигма) всех своих словоформ:
дом, дома, дому, домом, доме, дома(столы), домов, домами, домах.
Ср. быть, есть, будет, … (супплетивные формы )


Единицы – морфемы (= морфы) (Бодуэн де Куртенэ, 1881)
«Морфема – минимальная значимая часть словоформы»

2.2.2. Морфологический уровеньМорфология – раздел языкознания, изучающий словообразование и словоизменение, а также способы выражения грамматических признаков в

Слайд 93Классификация морфем - по месту в слове и функции:
корень

(основное предметное значение слова);
основные словообразовательные аффиксы
(приставка, суффикс);
прочие

словообразовательные аффиксы -
интерфиксы (соединительные гласные -о-, -е-, -и-):
пароход, овцебык, дозиметр,…
префиксоиды:
анти-, полу-, много-, высоко-, двух-, кило-, милли-, авто-, авиа-, гео-, вибро-, метео-, гидро-, теле-,…
суффиксоиды:
-метр, -скоп, , -мобиль, -стат, --фон, -граф, -лиз,
-навт, -лог, -логия, -фил,…
словоизменительные аффиксы -
окончания:
домами, красных, читают, работать,…
постфлексии:
давайте, смеется, какой-то,…
Классификация морфем - по месту в слове и функции: корень (основное предметное значение слова); основные словообразовательные аффиксы

Слайд 94Семантика морфем
А) Словоизменительные морфемы:
Основная смысловыражающая функция – указывают на
существование

смысловой связи между словами.
Предметная семантика грамматических категорий
- иногда есть,

иногда нет.
число: столы, книги, войны,…;
НО вилы, брюки, носилки,…
род: мама, девочка, баран,…;
НО - щука, сом, гусеница, врач, день - ночь,
стул - табуретка,…;
побежал – побежала…
падеж: послал другу (адресат);
НО горные породы разрушаются водой
vs горные породы разрушаются весной
время: время действия относительно момента речи,
либо время одного действия относительно другого в тексте:
Так думал молодой повеса, летя в пыли на почтовых, …
Семантика морфемА) Словоизменительные морфемы:Основная смысловыражающая функция – указывают на существование смысловой связи между словами.Предметная семантика грамматических категорий

Слайд 95Б) Словообразовательные
Можно выделить типовые значения:
уменьшительные и увеличительные:
ларчик, хлебец, книжечка,

медвежонок, котище,…
принадлежность лица профессии, месту, виду деятельности и т.

п.:
летчик, певец, писатель, учитель, европеец, …
характеристика по форме и материалу:
металлический, стеклянный, конический

НО:
ср. суффиксы -ов-, –н-, ник :
крокодиловые сапоги…;
научный, яблочный, компьютерный,…;
молочник, чайник; картежник, дачник, ватник, ледник

Б) СловообразовательныеМожно выделить типовые значения: уменьшительные и увеличительные:ларчик, хлебец, книжечка, медвежонок, котище,… принадлежность лица профессии, месту, виду

Слайд 96
Однако сочетаемость, например, основы и суффикса нормировать много труднее:
ротор –

роторНый, НО

шар – шарОВой;
куб – кубИЧЕСКий НО зуб - зубНой; дуб - дубОВый;
кубОВая краска
контур – контурНый, НО шнур – шнурОВой;

Однако сочетаемость, например, основы и суффикса нормировать много труднее:ротор – роторНый,

Слайд 97Отношения: (синтагматика) - линейное следование морфем в
слове (сочетаемость морфем).
Для

окончаний –
описание сочетаемости с основой
через отнесение к флективному классу

(~ 1000).
РГА: «К 1-му склонению относятся существительные муж. р.
с нулевой флексией в им. п. ед. ч. и сред. и муж. р. на –о, -е, -ё»
стол, дом, договор, сахар, купец, …; озеро, пение,
Список возможных окончаний (муж. р., «твердое склонение»):
И.: (=0)
Р.: -а (-у)
Д.: -у
В.: как И. или Р.
Т.: -ом
П.: -е(-у)
Мн. ч.: -ы(-а), -ов, -ам, -ами, -ах.
Отношения: (синтагматика) - линейное следование морфем в слове (сочетаемость морфем).Для окончаний – описание сочетаемости с основойчерез отнесение

Слайд 98Фрагмент таблицы флексий:

$N=1;СТ=ы;МН=1,4;ЖР=2;
$N=1;СТ=у;ЖР=4;
$N=1;СТ=ою;ЖР=5;
$N=1;СТ=ой;ЖР=5;
$N=1;СТ=е;ЖР=3,6;
$N=1;СТ=ах;МН=6;
$N=1;СТ=ами;МН=5;
$N=1;СТ=ам;МН=3;
$N=1;СТ=а;ЖР=1;
$N=1;МН=2;

VTR.doc

Фрагмент таблицы флексий:$N=1;СТ=ы;МН=1,4;ЖР=2;$N=1;СТ=у;ЖР=4;$N=1;СТ=ою;ЖР=5;$N=1;СТ=ой;ЖР=5;$N=1;СТ=е;ЖР=3,6;$N=1;СТ=ах;МН=6;$N=1;СТ=ами;МН=5;$N=1;СТ=ам;МН=3;$N=1;СТ=а;ЖР=1;$N=1;МН=2;VTR.doc

Слайд 99Задачи моделирования:
Отличить словоформу от случайного набора букв/звуков
(обнаружение ошибок правописания,

OCR- и SR-технологии).
Отождествление (по смыслу) разных форм
одного и того же

слова (ДИПС).
Отождествление основного предметного смысла (корня) в разных словах: ротор – роторный – двухроторный, … (ДИПС).
НО: лев, левый, королевский. ("Борис, ты не прав, ты лев!")
войска 

савойская капуста

Задачи моделирования:Отличить словоформу от случайного набора букв/звуков (обнаружение ошибок правописания, OCR- и SR-технологии).Отождествление (по смыслу) разных формодного

Слайд 100Определение по основе и окончанию
(или только по окончанию)
грамматических характеристик

словоформы для автоматического грамматического разбора предложения (АП, грамматические корректоры и

фильтры в системах распознавания речи,
анализ смысла текста):
домУ – дат. п. ед. ч.; ср. каждОМУ
домА – род. п. ед. ч., им. и вин. п. мн. ч.; (+наречие!)
Ср.: Женщина мыла оконное стекло.
Определение смысла слова по смыслу составляющих его морфов: дом, бездомный, домовладелец, домовой, домосед,…;
НО: аванс(-?)цена, полу(-?)чили, шок(-о?)лад, кол(-?)лекция,…
Определение по основе и окончанию (или только по окончанию)грамматических характеристик словоформы для автоматического грамматического разбора предложения (АП,

Слайд 101Т е м а 2. Синтаксическая структура предложения и способы ее

формализации.
Синтаксис простого предложения
Межсегментные связи Слайд 71
Анафорические связи
Синтаксическая омонимия
Представление

синтаксической структуры в алгоритмах и программах. Формальные свойства синтаксической структуры
Т е м а 2. Синтаксическая структура предложения и способы ее формализации. Синтаксис простого предложенияМежсегментные связи

Слайд 102 # 1. Синтаксис простого предложения
Синтаксическая связь – смысловая связь между

словами,
выраженная грамматическими средствами.
Синтаксис – учение о грамматически допустимых способах
соединения

слов и предложений.
Единицы – слова и устойчивые словосочетания (фразеологизмы).
Отношения – синтаксические связи.
NB: не обязательно следование в тексте!





«А есть журнал «Картофель и овощи», с картинками.
А есть «За рулем». А есть «Сибирские огни».
А есть «Синтаксис», слово какое-то вроде как непристойное, а что значит, не понять. Должно, матерное».
Татьяна Толстая. «Кысь»

# 1. Синтаксис простого предложенияСинтаксическая связь – смысловая связь между словами, выраженная грамматическими средствами.Синтаксис – учение о

Слайд 1031.1. Виды синтаксических связей в русском языке.
Синтаксические связи:
Сочинительные - Соч
Подчинительные:

согласование - С
полное
неполное
управление - У
УП – Управление от Предлога
(УС)

– Управление с Согласованием
(связь сказуемое - подлежащее)
сильное – слабое
беспредложное – предложное
примыкание - П
1.1. Виды синтаксических связей в русском языке.Синтаксические связи: Сочинительные - СочПодчинительные: согласование - Сполноенеполное управление - У УП – Управление

Слайд 104Сочинительная связь –
связь между словами, имеющими одну и ту

же грамматическую и/или смысловую функцию в предложении (однородные члены предложения),
либо

между грамматически равноценными предложениями.
Ср.: Передайте конверт тайно и в нужные руки.

Имеет обязательное грамматическое выражение посредством:
сочинительных союзов;
знаков препинания (, ;)
Ср.: Красный, синий и зеленый шары.
Большой желтый медный шар. – нет показателей сочинения!

Сочинительная связь – связь между словами, имеющими одну и ту же грамматическую и/или смысловую функцию в предложении

Слайд 105Подчинительная связь –
связь, при которой одно слово ("зависимое", "слуга")
уточняет,

конкретизирует смысл, выраженный другим словом ("главное", "хозяин").
Может связывать отдельные слова,

либо предложения.
Обнаруживается носителем языка (человеком, понимающим текст) путем постановки уточняющего вопроса от главного слова к подчиненному.
Ср.: Белеет
что? - парус
какой? - одинокий
в чем? - в тумане
чего? - моря
каком? - голубом.
Компьютерная программа (алгоритм) обнаруживает синтаксические связи, учитывая всю совокупность грамматических показателей, – в частности, учитывая порядок слов, знаки препинания, расстояние между словами и их грамматические формы.
Подчинительная связь – связь, при которой одно слово (

Слайд 106Подчинительные связи делятся по степени обязательности на сильные и слабые.
Чаще

всего это различие применяется к связям управления.
Связь считается сильной, если

при отсутствии подчиненного слова носитель языка воспринимает словосочетание/предложение как незавершенное: стать специалистом; обработка информации; можно продать; продать рукопись.
Связь считается слабой, если при отсутствии подчиненного слова носитель языка воспринимает словосочетание/предложение как завершенное: новый дом; дом отца; дом у дороги; дом построен, дом для престарелых.

Градации: от абсолютной обязательности (предлоги, фазовые и модальные глаголы, переходные глаголы)
до полной необязательности (прилагательное + существительное, конструкции с предлогом для и др.)

Подчинительные связи делятся по степени обязательности на сильные и слабые.Чаще всего это различие применяется к связям управления.Связь

Слайд 107Согласование –
подчинительная связь, при которой грамматическая форма зависимого слова

уподобляется грамматической форме главного слова.
Тест: при изменении формы главного слова

меняется и форма подчиненного.
Характерно для флективных языков (ср. русский и английский).


Мысли о вечном потребительским обществом ставятся под
запрет.

Согласование – подчинительная связь, при которой грамматическая форма зависимого слова уподобляется грамматической форме главного слова.Тест: при изменении

Слайд 108
Полное согласование – совпадение всех грамматических признаков, характеризующих одновременно оба

слова:
утомленное солнце – род, число, падеж;
белеет парус – число

(+лицо);
белел парус – число, род (белела лодка);
Неполное согласование – совпадение лишь части грамматических
признаков, характеризующих оба слова:
город Москва; врач Петрова;
синий и красный шары (род и падеж, НО не число!)
Об э́том сообщи́ла ста́рший инспе́ктор управле́ния ГИБДД Татьяна Марычева
Полное согласование – совпадение всех грамматических признаков, характеризующих одновременно оба слова: утомленное солнце – род, число, падеж; белеет

Слайд 109Управление –
подчинительная связь, при которой
для выражения определенного смыслового

отношения
главное слово требует постановки зависимого слова в определенную падежную

форму и/или определенного предложного оформления (ср. русский и англ.)
Тест: при изменении формы главного слова форма подчиненного.
не меняется.
Утомленные солнцем vs утомленное солнце

Для выражения разных смысловых отношений, как правило, должны использоваться разные падежно-предложные формы:
приближающийся к солнцу; удаляющийся от солнца;
обязанный солнцу; лишенный солнца; помещенный на солнце
Управление – подчинительная связь, при которой для выражения определенного смыслового отношения главное слово требует постановки зависимого слова

Слайд 110Список падежных форм, которые могут быть подчинены данному слову, называют

его (синтаксической) моделью управления.
Исчерпывающее описание модели управления можно дать только

для предлогов:
К - дат. (к вам и квас)
ДЛЯ - род.
НА - вин., предл. (на улицу, на улице)
С - род., вин., твор. (с крыши, с версту, с другом )
NB: выбор предлогов и падежей при построении фразы - трудная сторона грамматики иностанного языка!

Ср.: В свинцового цвета океане плавают льдины, киты и тюлени.
vs окрашен в яркие цвета
Список падежных форм, которые могут быть подчинены данному слову, называют его (синтаксической) моделью управления.Исчерпывающее описание модели управления

Слайд 111Актуально для глаголов и отглагольных существительных (обычно перечисляются только сильноуправляемые

позиции):
СООБЩАТЬ (кто: [им.]; кому: [дат.]; что: [вин.]/о чем:[предл.];)
ГРОЗИТЬ ( кто:

[им.]; кому: [дат.]; чем: [твор.]; )
Не актуально для существительных с предметным значением (сильноуправляемые позиции отсутствуют):
КНИГА – (- жалоб, - для детей, - с иллюстрациями, - в переплете).
Актуально для глаголов и отглагольных существительных (обычно перечисляются только сильноуправляемые позиции):СООБЩАТЬ (кто: [им.]; кому: [дат.]; что: [вин.]/о

Слайд 112Для знаменательных слов модель управления определяется прежде всего смыслом управляющего

слова.
Поэтому преобладает точка зрения, что для них модель управления

– явление скорее семантического, чем синтаксического уровня.
Для знаменательных слов модель управления определяется прежде всего смыслом управляющего слова. Поэтому преобладает точка зрения, что для

Слайд 113Примыкание –
подчинительная связь, при которой зависимое слово обычно
не

изменяемо и установление связи обусловлено лишь взаимным расположением (расстояние и

порядок) и/или смыслом связываемых слов.
Присоединяемые части речи:
наречия (говорить медленно)
частицы (Он не спит)
неизменяемые глагольные формы - инфинитив, деепричастие: (любил рисовать; спал стоя)
неизменяемые прилагательные, компаративы (костюм хаки; стал умнее)

Примыкание – подчинительная связь, при которой зависимое слово обычно не изменяемо и установление связи обусловлено лишь взаимным

Слайд 114С точки зрения задач автоматической обработки текста следует различать контактное

и дистантное примыкание.

Контактное примыкание выражается расположением слов (расположение значимо):
(а) Они

вместе заявили о невозможности работать.

(б) Он быстро научился решать эти задачи.

Ср.: Спит спокойно серый слон

Дистантное примыкание выражается лишь смыслом связываемых слов – может быть реализовано на большом расстоянии и при разном порядке слов:
Он приедет из Москвы с двумя сотрудниками поездом «Сапсан»
завтра вечером.

Они заявили о невозможности работать вместе.

Он научился быстро решать эти задачи.

С точки зрения задач автоматической обработки текста следует различать контактное и дистантное примыкание.Контактное примыкание выражается расположением слов

Слайд 1151.2. Табличное представление синтаксических связей

Белеет парус одинокий в тумане моря

голубом.

1.2. Табличное представление синтаксических связейБелеет парус одинокий в тумане моря голубом.

Слайд 1161.3. Средства выражения синтаксической связи
Морфологические показатели (род, число, падеж, лицо)
Служебные

слова (союзы, предлоги)
Знаки препинания (наличие и отсутствие)
Расстояние
Порядок слов
NB: Разная значимость

их в разных языках! – ср. флективные и изолирующие языки
Разные стили мышления!
1.3. Средства выражения синтаксической связиМорфологические показатели (род, число, падеж, лицо)Служебные слова (союзы, предлоги)Знаки препинания (наличие и отсутствие)РасстояниеПорядок

Слайд 117# 2. Межсегментные связи
2.1. Виды сегментов и способы установления синтаксических

связей между ними
Сегмент – любой компонент предложения, для которого правила

пунктуации предусматривают фиксацию их границ при помощи знаков препинания. [Т. Ю. Кобзарева]
2.1.1. Виды сегментов:
Простые предложения в составе сложных
связь сочинения;
связь подчинения;
Обособленные обороты (неполные предложения)
причастные;
деепричастные;
вводные обороты;
Обособленные члены предложения
# 2. Межсегментные связи2.1. Виды сегментов и способы установления синтаксических связей между нимиСегмент – любой компонент предложения,

Слайд 1182.1.2. Синтаксические связи между сегментами
1a) Простые предложения в составе сложносочиненного:
Сочинительной

связью соединяются главные слова (сказуемые) простых предложений
Каждое последующее предложение подчиняется

предыдущему
2.1.2. Синтаксические связи между сегментами1a) Простые предложения в составе сложносочиненного:Сочинительной связью соединяются главные слова (сказуемые) простых предложенийКаждое

Слайд 119Пример:
Не продается вдохновенье, но можно рукопись продать.
Назад

Пример:Не продается вдохновенье, но можно рукопись продать.Назад

Слайд 1201b) Простые предложения в составе сложноподчиненного.
1b-1) Подчинительный союз (союзное слово)

является членом придаточного предложения:
А это синица, которая часто ворует

пшеницу…

Устанавливаемые синтаксические связи.
Союзное слово подчиняется одному из слов в придаточном (обычно сказуемому): ворует –кто? которая
Придаточное предложение (его главное слово) подчиняется определяемому слову главного:
синица –какая? ворует (которая)
Если союзное слово является анафором, устанавливается анафорическая связь между союзным словом и определяемым главного: которая = синица

1b) Простые предложения в составе сложноподчиненного.1b-1) Подчинительный союз (союзное слово) является членом придаточного предложения:А это синица,

Слайд 121Примеры:
Кирджали представлен был паше, который присудил его быть

посажену на кол.
Кто жил и мыслил, тот не может в

душе не презирать людей.
Легко на сердце от песни веселой, она скучать не дает никогда.
Пока не требует поэта к священной жертве Аполлон, в заботах суетного света он малодушно погружен.
Высокой страсти не имея для звуков жизни не щадить, не мог он ямба от хорея, как мы ни бились, отличить.
Примеры: Кирджали представлен был паше, который присудил его быть посажену на кол.Кто жил и мыслил, тот

Слайд 1231b-2) Подчинительный союз (союзное слово) НЕ является членом придаточного предложения
Все

знают, что Волга впадает в Каспийское море
Устанавливаемые синтаксические связи.
Придаточное предложение

(его главное слово) подчиняется присоединяющему союзу:
что –(_?) впадает
Подчинительный союз (представляя все придаточное) подчиняется определяемому слову в главном предложении:
знают –что? что (Волга впадает…)

Сравнить:
Мы не знали, что он привез. ( случай 1b-1 )
Мы не знали, что он привез письмо. ( случай 1b-2 )


1b-2) Подчинительный союз (союзное слово) НЕ является членом придаточного предложенияВсе знают, что Волга впадает в Каспийское мореУстанавливаемые

Слайд 124Пример: Я это потому пишу, что сам давно уж

не грешу.
(потому указательное местоимение, сигнал о продолжении…)

Пример: Я это потому пишу, что сам давно уж не грешу.(потому указательное местоимение, сигнал о продолжении…)

Слайд 1252a) Причастные обороты (связь типа согласования):
Дверь, ведущая на второй этаж,

оказалась заперта.
Устанавливаемые синтаксические связи.
Все слова причастного оборота прямо или косвенно

подчинены причастию: ведущая –на что? этаж
Причастие подчиняется связью МС_С определяемому слову главного: Дверь –какая? ведущая

2b) Деепричастные обороты (связь типа примыкания):
Служив отлично-благородно, долгами жил его отец.
Устанавливаемые синтаксические связи.
Все слова деепричастного оборота прямо или косвенно подчинены деепричастию.
Деепричастие подчиняется связью МС_П сказуемому главного предложения: жил –как? служив


2a) Причастные обороты (связь типа согласования):Дверь, ведущая на второй этаж, оказалась заперта.Устанавливаемые синтаксические связи.Все слова причастного оборота

Слайд 1262c) Вводные обороты и вставные конструкции (связь типа примыкания):
По всем

приметам, будет жаркое лето.
Устанавливаемые синтаксические связи.
Вводный оборот подчиняется (формально) сказуемому

главного
предложения.

3) Обособленные члены предложения:
А он, мятежный, ищет бури…
Устанавливаемые синтаксические связи.
Подчинение не отличается от подчинения не обособленных.


2c) Вводные обороты и вставные конструкции (связь типа примыкания):По всем приметам, будет жаркое лето.Устанавливаемые синтаксические связи.Вводный оборот

Слайд 127# 3. Анафорические связи
1) Анафор – служебное слово, не имеющее

самостоятельного значения и отсылающее к полнозначному слову или выражению. (Значение

‘отсылка к предыдущему имени’ входит в смысл анафорического элемента.)
Анафоры: личные (он, они, …) и указательные (это, этот,…) местоимения; союзные слова (который, поэтому, так, …).
2) Антецедент – полнозначное (знаменательное) слово или целое предложение, замещаемые анафором.
Отношение замещения: анафор можно заменить антецедентом без изменения смысла текста.

Отношение между языковыми выражениями, состоящее в том, что в смысл одного выражения входит отсылка к другому. (ЛЭС)

# 3. Анафорические связи1) Анафор – служебное слово, не имеющее самостоятельного значения и отсылающее к полнозначному слову

Слайд 128А) Вербальная анафора – замещается отдельное слово
(существительное).
синица, которая…
Грамматически – связь

типа (неполного) согласования – в роде и числе.
Представление: направленной связью

с пометой Анаф.
Б) Сентенциальная анафора – замещается целое предложение.
Волга впадает в Каспийское море. Это известно каждому.
…когда же черт возьмет тебя. Так думал молодой повеса…
Согласование отсутствует, связь явно не фиксируется.

Катафорическая связь:
Ясно одно: я должен уехать.

ЧВС:
Сроду такого не было – и вот опять то же самое.

А) Вербальная анафора – замещается отдельное слово(существительное).синица, которая…Грамматически – связь типа (неполного) согласования – в роде и

Слайд 129# 4. Синтаксическая омонимия
Аксиома о параллельных
Студент:
Через любую точку, не лежащую

на данной прямой, можно провести одну прямую, параллельную данной, если

проводить ее ровно.

Через любую точку, не лежащую на данной прямой, можно провести ровно одну прямую, параллельную данной.

# 4. Синтаксическая омонимияАксиома о параллельныхСтудент:Через любую точку, не лежащую на данной прямой, можно провести одну прямую,

Слайд 130Виды синтаксической омонимии:
Реальная – формальная
Локальная - глобальная
Омонимия адреса - омонимия

формы

Омонимия разных видов связи:
Омонимия подчинительных и сочинительных связей
в пределах

простого предложения
Омонимия анафорических связей
Омонимия межсегментных связей

Явление, состоящее в том, что синтаксические связи в предложении могут быть установлены или грамматически описаны несколькими альтернативными способами.
Влечет за собой, как правило, и смысловую неоднозначность.

Виды синтаксической омонимии:Реальная – формальнаяЛокальная - глобальнаяОмонимия адреса - омонимия формы Омонимия разных видов связи:Омонимия подчинительных и

Слайд 131Л.Н. Иорданская:
"Под синтаксически омонимией (неоднозначностью) фразы понимается возможность приписать фразе

более чем одну правильную синтаксическую структуру. Естественно, эта возможность зависит

от того, как определена правильная синтаксическая структура и, в частности, от того, как проведена граница между синтаксической и семантическогй характеристиками фразы."

Человек стрелял из ружья vs Человек стрелял из окна

Лесник присматривает за не особенно аккуратными туристами.
"выделяющая" интерпретация;
"квалифицирующая" интерпретация.

Л.Н. Иорданская:

Слайд 132 Реальная – формальная омонимия
Он из

туманной привез

плоды.

Германии


учености

Реальная:

Он умеет заставить себя слушать.

(заставить себя или себя слушать)

Сергей вернулся из командировки в Москву.

Мы встретили сына художника, приехавшего из Парижа.

(вернулся в Москву или командировки в Москву)

(сына приехавшего или художника приехавшего).

Реальная – формальная омонимияОн из туманной

Слайд 133


Формальная: Обнаруживается, если устанавливать синтаксические связи без

учета смысловых характеристик слов и / или контекста целого предложения

Возьмите деревянный брусок с отверстием диаметром 30 мм.
Возьмите деревянный брусок с отверстием весом 300 г.

Лифты для высотных зданий со скоростью 30 м/мин.

При заводе имеются курсы по подготовке в институт, детские сады и ясли.

Парень в голубой рубашке с зелеными рукавами

Парень в голубой рубашке с зелеными глазами

Формальная: Обнаруживается, если устанавливать

Слайд 134


лед.
"Временная" омонимия – возникает и разрешается по

ходу анализа:

пиратами двух судов являются россияне

Капитанами захваченных

Мальчишек радостный народ коньками звучно режет

лед.

Слайд 135


Пограничные случаи (между реальной и формальной):
Немцову пришлось

вернуться из своей командировки на север в Москву, так как ...
(из сообщений по радио),

Привет освободителям города от немецко-фашистских захватчиков
(лозунг в Сталинграде),

Пограничные случаи (между реальной

Слайд 136Еще примеры (синтаксическая омонимия, порождаемая лексической, либо морфологической неоднозначностью словоформ

):
Простой солдат вызвал суматоху.
Маркизу нельзя есть руками.
нельзя --(кому?)--> маркизу


есть –(кого? что?)--> маркизу

NB: Найти все варианты разбора!
Письма знакомой из Киева не заменят фотографии любимой и милой дочери Марии
(Пример Е.В. Муравенко)

Еще примеры (синтаксическая омонимия, порождаемая лексической, либо морфологической неоднозначностью словоформ ):Простой солдат вызвал суматоху. Маркизу нельзя есть

Слайд 137 Локальная – глобальная омонимия


Локальная: Выбор

одной из альтернативных связей для данного слова не влияет на установление связей между другими словами предложения
Ср. англоязычный термин attachment ambiguity –
Возник, видимо, как обобщение систематически возникающей в английском языке проблемы неоднозначности присоединения предложных групп (PP attachment ambiguity).

Пример разбора неоднозначности присоединения предложных групп:
Пример1.doc

Локальная – глобальная омонимия

Слайд 138


Глобальная: Выбор одной из альтернативных связей

для одного слова влечет изменение связей между другими словами предложения
Автобус догнал трамвай
NB: невозможно в английском!

(2) Он видел их семью своими глазами
а) Он видел б) Он видел
кого? семью кого? их
чью? их чем? своими глазами
чем? своими глазами сколькими? семью

Простой солдат вызвал суматоху.
а) вызвал б) вызвал
кто? солдат что? простой
какой? простой кого? солдат
что? суматоху что? суматоху

Глобальная: Выбор одной

Слайд 139Омонимия адреса - омонимия формы связи


Омонимия адреса:

Альтернативные связи по разному
определяют хозяина для данного слова
Black power struggle
Fred saw the plane flying over Zurich
Fred saw the mountains flying over Zurich
Я опять хочу [поехать] в Париж.
Омонимия адреса - омонимия формы связи

Слайд 140


Омонимия формы: Альтернатива состоит в разном

определении грамматической формы связи для данной пары «слуга – хозяин»

Выступление адвоката Иванова
адвокат [чей?] – Иванова (управление)
адвокат [имеет фамилию?] – Иванов (согласование)

Уступки исполнительной власти
уступки (кого?) – власть уступила
уступки (кому?) – кто-то уступил власти

Казню и милую.

Омонимия формы: Альтернатива

Слайд 141Омонимия разных видов связи:


Омонимия сочинительных связей:
Вошли два

человека в шляпах и пальто.


Омонимия анафорических связей:
Джон достал пиво, сел на камень и выпил его.
Девочка уронила карандаш на пол и сломала его.
…Магомеда Халилова…
Танки генерала Шаманова расстреляли семерых членов его семьи, а еще соседку и ее двоих детей.
Взрослые огорчены тем, что дети читают не то, что им хочется.

Вошли два человека в шляпах и мальчик.

Омонимия разных видов связи:

Слайд 142


Омонимия межсегментных связей:
Кто-то застрелил служанку актрисы, которая

стояла на балконе.
Необходим контроль за крупными расходами граждан,
которые толкают сегодня вверх стоимость жилья.
Более сложный пример (3 варианта сочинения):
Он постоянно видел отца, красящего забор соседа, старый
дом и сарай.

отец – сосед – дом – сарай;

отец – дом – сарай;

забор – дом – сарай.

Омонимия межсегментных связей:Кто-то застрелил

Слайд 143Отличать от омонимии различия
в семантической интерпретации синтаксической связи:

книга сестры:
'

книга, принадлежит сестре'
' книга написана сестрой'

Таблица стандартных размеров:

'Таблица имеет

(характеристика) стандартный размер'
'Таблица содержит сведения о стандартных размерах'


Перевод Тютчева.
Платформа, нагруженная рабочими.
Борец с пережитками.
(Примеры Л.Н. Иорданской)

Отличать от омонимии различия в семантической интерпретации синтаксической связи:книга сестры:' книга, принадлежит сестре' ' книга написана сестрой'Таблица

Слайд 144# 4. Формализация синтаксической структуры предложения

4.1. Синтаксическая структура как математический

объект
Математические объекты:
Граф – множество элементов, между некоторыми из которых установлены

связи.
Ориентированный граф – если связи имеют направление.
Ориентированное дерево – если связи образуют иерархию однозначного подчинения.
Синтаксический граф =
дерево синтаксических зависимостей.
# 4. Формализация синтаксической структуры предложения4.1. Синтаксическая структура как математический объектМатематические объекты:Граф – множество элементов, между некоторыми

Слайд 145Дерево синтаксических зависисимостей:
Белеет
в
голубом
парус
одинокий
тумане
моря

Дерево синтаксических зависисимостей:Белеетвголубомпарусодинокийтуманеморя

Слайд 146Математические понятия:
Множество: { A, B, C, D, E, F,…}
Упорядоченная

пара элементов (стрелка, соединяющая пару элементов):

( A, B )

Ориентированный граф – универсальный способ представления:
{ (A, B), (C, D), (E, F),…}

Представление дерева синтаксических зависимостей как множества упорядоченных пар:
{ (белеет, парус), (парус, одинокий), (белеет, в), (в, тумане),
( тумане, моря), ( тумане, голубом) }

Математические понятия:Множество: { A, B, C, D, E, F,…}Упорядоченная пара элементов (стрелка, соединяющая пару элементов):

Слайд 147Другие способы представления дерева синтаксических зависимостей.
а) Сокращенная скобочная запись:
После каждого

главного слова перечисляются в скобках все непосредственно ему подчиненные.

Белеет (парус,

в)

Белеет (парус (одинокий), в (тумане) )

Белеет (парус (одинокий), в (тумане (моря, голубом) ) )

Другие способы представления дерева синтаксических зависимостей. а) Сокращенная скобочная запись:После каждого главного слова перечисляются в скобках все

Слайд 148б) Матрица инцидентности (матрица связей):

Таблица связей

б) Матрица инцидентности (матрица связей):Таблица связей

Слайд 1494.2. Представление синтаксических связей в виде таблиц. Дополнительные замечания.
Сводный список

синтаксических помет (для русского языка):
С

- согласование
У - управление
УС - управление с согласованием
П - примыкание
Соч - сочинение
МССоч – межсегментное сочинение
МС_П – межсегментное подчинение
Анаф - анафорическая связь
4.2. Представление синтаксических связей в виде таблиц. Дополнительные замечания.Сводный список синтаксических помет (для русского языка):С

Слайд 1502) Локальная омонимия и анафора.

2) Локальная омонимия и анафора.

Слайд 1513) Омонимия содержания и глобальная омонимия.

3) Омонимия содержания и глобальная омонимия.

Слайд 1523) Представление сочинительных связей.

3) Представление сочинительных связей.

Слайд 153Он из Германии туманной привез учености плоды.
4.2. Условие проективности для

синтаксических структур
а) Стрелки связей в синтаксическом графе не должны пересекаться.
б)

Дополнительное условие: стрелки не должны накрывать главное слово предложения.

Пример непроективного предложения:
Он из Германии туманной привез учености плоды.4.2. Условие проективности для синтаксических структура) Стрелки связей в синтаксическом графе

Слайд 154Проплыла замороженная в голубом стакане ярко-зеленая хвойная
ветка.
Почему нельзя установить

синтаксические связи так:
проплыла  в голубом стакане;

Проплыла замороженная в голубом стакане ярко-зеленая хвойная ветка.Почему нельзя установить синтаксические связи так: проплыла  в голубом

Слайд 155Общая схема:
а) Основное условие:

D1 A C

B D2
б) Дополнительное условие:

B1 A B2

Общая схема:а) Основное условие: D1 A

Слайд 156Примеры непроективных конструкций:

(1) Я памятник себе воздвиг нерукотворный.
И перья страуса

склоненные в моем качаются мозгу.

И каждый вечер в час

назначенный
(Иль это только снится мне?)
Девичий стан, шелками схваченный,
В туманном движется окне.
Примеры непроективных конструкций:(1) Я памятник себе воздвиг нерукотворный.И перья страуса склоненные в моем качаются мозгу.И каждый

Слайд 157Непроективность межсегментных связей:
(4а) Событие обещает быть впечатляющим,
к которому городские

власти провели большую предварительную подготовку.
Событие обещает быть …, к

которому … провели …
Непроективность межсегментных связей:(4а) Событие обещает быть впечатляющим, к которому городские власти провели большую предварительную подготовку.Событие обещает

Слайд 158(4б) Некоторые из оперетт были специально поставлены в театре в

расчете на Зою Виноградову,
в труппе которого она пела с 18

лет.
[Газета «Телевидение. Радио»]

(4в) Меня ж никто вредить не может.
Я злобу твердостью сотру.
Врагов моих червь кости сгложет,
А я пиит – я не умру. [Державин]
NB: Глобальная омонимия: "червь кости" ~ "гиена подозренья"

[Построить таблицы связей!]

(4б) Некоторые из оперетт были специально поставлены в театре в расчете на Зою Виноградову,в труппе которого она

Похожие презентации

Понятие о зонной теории твердых тел Понятие о зонной теории твердых тел 768
Металлы Металлы 175
Культура и религия Культура и религия 173
Синопское сражение Синопское сражение 199
PET_p34-37 PET_p34-37 183
Обзор головного мозга Обзор головного мозга 1279
Современные подходы к мотивации персонала Современные подходы к мотивации персонала 260
РЕПРОДУКТИВНОЕ ЗДОРОВЬЕ ПОДРОСТКА РЕПРОДУКТИВНОЕ ЗДОРОВЬЕ ПОДРОСТКА 231
СПАЕЧНАЯ БОЛЕЗНЬ СПАЕЧНАЯ БОЛЕЗНЬ 634
Презентация опыта работы участников сообщества Панорама деятельности учителя Презентация опыта работы участников сообщества Панорама деятельности учителя 142
Христос и Его крест Христос и Его крест 622
Экология микроорганизмов Экология микроорганизмов 196
Седалищева Надежда Пркокопьевна. – Учитель черчении и ИЗО. Родилась в 1948 г Седалищева Надежда Пркокопьевна. – Учитель черчении и ИЗО. Родилась в 1948 г 223
Истинная благотворительность, как щедрость души - Меценаты Истинная благотворительность, как щедрость души - Меценаты 533
Альтернативная энергия Альтернативная энергия 327
КОНТРОЛЬНАЯ РАБОТА ПО ТЕОРЕТИКО-ПРАВОВЫМ ДИСЦИПЛИНАМ КОНТРОЛЬНАЯ РАБОТА ПО ТЕОРЕТИКО-ПРАВОВЫМ ДИСЦИПЛИНАМ 286
Влияние невесомости на человека. Доклад подготовила: Замбрано Вера Джаритза Влияние невесомости на человека. Доклад подготовила: Замбрано Вера Джаритза 197
Направление Прикладные математика и физика Направление Прикладные математика и физика 266
Кордовая модель самолета для воздушного боя Кордовая модель самолета для воздушного боя 203
Понятие НЛП (нейролингвистического программирования). История создания НЛП Понятие НЛП (нейролингвистического программирования). История создания НЛП 276

Обратная связь

Если не удалось найти и скачать доклад-презентацию, Вы можете заказать его на нашем сайте. Мы постараемся найти нужный Вам материал и отправим по электронной почте. Не стесняйтесь обращаться к нам, если у вас возникли вопросы или пожелания:

Email: Нажмите что бы посмотреть 

Что такое TheSlide.ru?

Это сайт презентации, докладов, проектов в PowerPoint. Здесь удобно  хранить и делиться своими презентациями с другими пользователями.

Для правообладателей

Яндекс.Метрика