Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Новые информационные технологии
Содержание
- 1. Новые информационные технологии
- 2. Лекция № 24. Основные классы естественно-языковых систем.Системы синтеза
- 3. 6Структура коммуникационной системы для организации речевого поведения
- 4. 7Структура коммуникационной системы для организации речевого поведения
- 5. 8Информационно-кодовая модель коммуникации Шеннона и Уивера
- 6. 15Информационно-кодовая модель коммуникации Шеннона и Уивера,модифицированная для коммуникационного акта Якобсоном
- 7. 3Автоматический синтез речиОбщая блок-схема ориентированной на задачу системы распознавания-синтеза речи
- 8. Основные классы естественно-языковых систем - Средства
- 9. Системы синтеза речи реализуют следующие технологии 1.
- 10. Системы синтеза речи реализуют следующие технологии 3.
- 11. Рассмотрим пофонемный синтез на примере системы синтеза
- 12. Пофонемный синтез Отличительной особенностью описываемой модели
- 13. Структура системы синтеза речи Синтезатор включает четыре
- 14. Структура системы синтеза речи
- 15. Текстовый процессор включает два основных блока: -
- 16. Структура текстового процессора
- 17. Блок предварительной обработки входного текста реализует ряд
- 18. Структура блока предварительной обработки текста
- 19. Блок морфо-фонетической маркировки - осуществляет маркировку каждого
- 20. Структура просодического процессора
- 21. Просодический процессор - синтез речи по
- 22. Просодический процессор - под синтагмой понимается
- 23. Просодический процессор - для установки границ
- 24. Фонетический процессор - задачей фонетического процессора
- 25. Структура фонетического процессора
- 26. Структура акустического процессора
- 27. Мировая тенденция развития речевых технологий указывает на
- 28. Семантическая система синтеза речи - основной
- 29. Семантическая система синтеза речи - В
- 30. Семантическая система синтеза речи - синтаксический
- 31. Многоуровневый семантический анализ для синтеза речи
- 32. 11Системы синтеза речи
- 33. Системы клонирования голоса - системы клонирования
- 34. Модель персонифицированногорусскоязычного синтезаБ. Лобанов, А. Карпов,
- 35. Тенденцией в развитии речевых технологий является улучшение
- 36. Визуальная инфрмация очень важна для распознавания речи
- 37. Имеется два подхода к созданию аудио-визуальной системы
- 38. В конкатенативном подходе говорящая голова формируется из
- 39. Примеры имитационной говорящей головы
- 40. Достоинством имитационного подхода является малый физический объем
- 41. Таким образом, конкатенативный подход является предпочтительным при создании систем персонифицированного текст-речь синтеза
- 42. Дальнейшее развитие аудио-визуальных систем текст-речь синтеза идет
- 43. Разработана программная система конкатенативнго аудио-визуального текст-речь синтеза
- 44. AudioVideoClon - DEMO Boris Lobanov Liliya Tsirulnik Vladimir Golenkov
- 45. Системы синтеза видеоряда по тексту Предназначены для превращения текста в последовательность кадров видеоряда16
- 46. Системы синтеза видеоряда по тексту состоят из:
- 47. Системы синтеза видеоряда по тексту Модуль лингвистического анализа для каждого предложения формирует дерево зависимостей16
- 48. Системы синтеза видеоряда по тексту Модуль семантического анализа формирует семантическую структуру по дереву зависимостей16
- 49. Системы синтеза видеоряда по тексту Глаголам ставится в соответствие их семантический фрейм16
- 50. Системы синтеза видеоряда по тексту Рисовальщик
- 51. Системы синтеза видеоряда по тексту Рисовальщик
- 52. Системы синтеза видеоряда по тексту Он также выявляет пространственные и временные отношения между объектами16
- 53. Системы синтеза видеоряда по тексту Он
- 54. Скачать презентанцию
Лекция № 24. Основные классы естественно-языковых систем.Системы синтеза
Слайды и текст этой презентации
Слайд 1Новые информационные технологии
Харламов
Александр Александрович
© 2012 МГЛУ
Ин. яз. им.
М. Тореза
Слайд 615
Информационно-кодовая модель коммуникации Шеннона и Уивера,
модифицированная для коммуникационного акта Якобсоном
Слайд 73
Автоматический синтез речи
Общая блок-схема ориентированной
на задачу системы распознавания-синтеза речи
Слайд 8Основные классы естественно-языковых систем - Средства синтеза речи и текстов осуществляют
формирование корректного текста по его смысловой структуре, и синтез речи
по тексту - Сюда же можно отнести средства клонирования голоса - Отдельно стоят системы синтеза видеоряда по тексту16
Слайд 9Системы синтеза речи реализуют следующие технологии 1. Компилятивный синтез. В этом
случае воспроизводятся заранее подготовленные речевые фрагменты, которые озвучиваются пользователю 2. Пофонемный
синтез. В этом случае самыми мелкими, заранее подготовленными, единицами являются фонемы, или субфонемные элементы16
Слайд 10Системы синтеза речи реализуют следующие технологии 3. Физический синтез. Для физического
синтеза реализуется физическая модель артикуляторного тракта, которая управляется последовательностью символов,
соответствующих буквам синтезируемого текста, с добавлением специальных символов, отмечающих выделенные речевые фрагменты16
Слайд 11Рассмотрим пофонемный синтез на примере системы синтеза речи Б.М. Лобанова (lobanov@newman.bas-net.by) Объединенный
институт проблем информатики НАН,
Минск, Беларусь
16
Слайд 12Пофонемный синтез Отличительной особенностью описываемой модели мультиволнового синтеза является использование
в качестве элементов компиляции речи отрезков естественной речевой волны, соотносимой
с элементами различной фонетической длинны: аллофонами, диаллофонами и аллослогами16
Слайд 13Структура системы синтеза речи Синтезатор включает четыре основных модуля: - текстовый процессор -
просодический процессор - фонетический процессор - акустический процессор Каждый из этих модулей поддерживается
наборами соответствующих БД и правил
Слайд 15Текстовый процессор включает два основных блока: - блок предварительной обработки входного текста - блок
морфологической и акцентной маркировки слов текста Эти блоки поддерживаются соответствующими базами
данных, словарями и правилами
Слайд 17Блок предварительной обработки входного текста реализует ряд этапов обработки: - очистки текста -
дешифровки чисел - дешифровки аббревиатур - дешифровки иностранных слов - корректировки “ё” Эти
этапы поддерживаются соответствующими базами данных, словарями и правилами
Слайд 19Блок морфо-фонетической маркировки - осуществляет маркировку каждого слова входного текста, необходимую
для адекватного синтеза звуков и интонации речи - для фонетической маркировки
используется грамматический словарь, в котором каждое слово снабжено пометой позиции ударения
Слайд 21Просодический процессор - синтез речи по тексту предполагает наличие процедуры
формирования текущих контуров мелодии, силы звука, фонемной длительности и длительности
пауз на основе анализа определенных свойств входного текста и его просодической разметки - просодическая разметка текста заключается в его членении на синтагмы, разметке синтагм на акцентные единицы и маркировке интонационного типа синтагм в соответствии с определёнными правилами
Слайд 22Просодический процессор - под синтагмой понимается самостоятельная в интонационном смысле
часть предложения или всё предложение - установка границ синтагм влияет на
передачу интонационных характеристик, а также на передачу смыслового содержания - при разбиении текста на синтагмы важно не поставить границу синтагмы там, где она может нарушить передачу смыслового содержания текста
Слайд 23Просодический процессор - для установки границ синтагм используются определённые правила
синтагматического членения, базирующиеся на пунктуационном, морфологическом и синтаксическом анализе текста,
а также на статистическом анализе синтагматического членения в естественной речи
Слайд 24Фонетический процессор - задачей фонетического процессора является преобразование орфографического текста
в последовательность аллофонов, которая используется на этапе акустической обработки при
синтезе речевого сигнала - в фонетическом процессоре заложены правила преобразования орфографического текста в последовательность фонем (преобразование буква-фонема) и правила преобразования последовательности фонем в аллофонную последовательность (преобразование фонема-аллофон)
Слайд 27Мировая тенденция развития речевых технологий указывает на актуальность создания систем
синтеза выразительной речи (expressive text-to-speech)
- “Да не читай, как
пономарь, а с чувством, с толком, с расстановкой” (А.С. Пушкин)Достижение этой цели невозможно без развития многоуровнего семантического представления читаемого текста, а в идеале - его понимания
Б.М. Лобанов
Слайд 28Семантическая система синтеза речи - основной сложностью при создании процессоров
обработки текста для систем синтеза русской речи является значительная гибкость
языка - каждый из этапов сопряжен с определенными сложностями, связанными с тем, что в русском языке не существует строгих правил как построения фраз, так и произношения
Слайд 29Семантическая система синтеза речи - В результате этого большое количество
фраз допускает разночтение, разное произношение и интонацию, устранить которое может
только анализ всего предложения, а иногда и всего текста
Слайд 30Семантическая система синтеза речи - синтаксический анализ отдельного предложения, выявляющий
его смысловую структуру, позволяет снять омонимию на уровне предложения - семантический
анализ целого текста позволяет учесть контекст при снятии омонимии
Слайд 33Системы клонирования голоса - системы клонирования голоса предназначены для замены
параметров речевого сигнала, характеризующих тембр одного диктора, на параметры тембра
другого диктора - остальные характеристики речи остаются неизменными16
Слайд 34 Модель персонифицированного
русскоязычного синтеза
Б. Лобанов, А. Карпов, Л. Цирульник
B. Lobanov,
A. Karpov, L. Tsirulnik
Объединенный институт проблем информатики
Национальной академии наук Беларуси
{lobanov,
l.tsirulnik}@newman.bas-net.by
Слайд 35Тенденцией в развитии речевых технологий является улучшение качества восприятия и
распознавания речи за счет включения дополнительного – визуального- канала передачи
информации
Слайд 36Визуальная инфрмация очень важна для распознавания речи в шумной обстановке,
и незаменима для людей с ограничениями слуха и дефектами речи.
Число исследований в аудио-визуальном распознавании речи и текст-речь синтезе неуклонно растет
Слайд 37Имеется два подхода к созданию аудио-визуальной системы текст-речь синтеза («говорящей
головы»): имитационный и конкатентивный
В имитационном подходе создается 2D или 3D
модель головы и лица, и формируются параметры для мимики лица и движения губ
Слайд 38В конкатенативном подходе говорящая голова формируется из подходящих видеофрагментов или
образов из визуальной базы данных конкретного диктора
Слайд 40Достоинством имитационного подхода является малый физический объем данных, необходимых для
визуализации синтеза речи. В то время как использование 2D или
3D моделей связано со значительными вычислительными сложностями. Однако, иммитационный подход не позволяет получить естественного результата в персонификации говорящей головы из-за карикатурности речевых движений
Слайд 41Таким образом, конкатенативный подход является предпочтительным при создании систем персонифицированного
текст-речь синтеза
Слайд 42Дальнейшее развитие аудио-визуальных систем текст-речь синтеза идет в направлении развития
технологии персонификации голоса и клонирования персональной интонации
Слайд 43Разработана программная система конкатенативнго аудио-визуального текст-речь синтеза под операционную систему
Windows
Особенностью системы является параллельная работа модулей обработки визуальной и аудиоинформации
Слайд 45Системы синтеза видеоряда по тексту Предназначены для превращения текста в последовательность
кадров видеоряда
16
Слайд 46Системы синтеза видеоряда по тексту состоят из: - модуля лингвистического анализа -
модуля семантического анализа
- рисовальщика
16
Слайд 47Системы синтеза видеоряда по тексту Модуль лингвистического анализа для каждого
предложения формирует дерево зависимостей
16
Слайд 48Системы синтеза видеоряда по тексту Модуль семантического анализа формирует семантическую
структуру по дереву зависимостей
16
Слайд 49Системы синтеза видеоряда по тексту Глаголам ставится в соответствие их
семантический фрейм
16
Слайд 50Системы синтеза видеоряда по тексту Рисовальщик управляет 3D представлением объектов:
размером, позицией, цветом, позой человека, кинематикой, а также выражением лица
16
Слайд 51Системы синтеза видеоряда по тексту Рисовальщик управляет 3D представлением объектов:
размером, позицией, цветом, позой человека, кинематикой, а также выражением лица
16
Слайд 52Системы синтеза видеоряда по тексту Он также выявляет пространственные и
временные отношения между объектами
16
Слайд 53Системы синтеза видеоряда по тексту Он также выявляет пространственные и
временные отношения между объектами: «пчела на утке, утка на курице, курица
на свинье, свинья на корове, корова на овце»16
