Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Лингвистика для математиков
Содержание
- 1. Лингвистика для математиков
- 2. План на сегодняАвтоматическое выделение частей речиПробный тест по фану без оценок
- 3. Слайд 3
- 4. Какие бывают части речи?
- 5. Части речиКак определить часть речи?
- 6. Части речиОткрытые и закрытые Что это значит?Глокая куздра штеко будланула бокра и кудрячит бокрёнка
- 7. Части речиИз Алисы в стране чудесLewis Carroll
- 8. Части речиОтветы на задачку
- 9. Части речи в разных языкахВспомним задачу про индонезийскийЧасти речи в русском
- 10. Неоднозначность(в английском)
- 11. Автоматический морфологический анализКак автоматически отличить “book that flight” от “hand me this book”?Нужно провести морфологический анализ
- 12. The Penn Treebank tagsetУниверситет Пенсильвании. Использовался для ручной разметки корпуса для текстов.
- 13. The Penn Treebank tagset
- 14. Universal dependenciesЭтот набор тегов используется в большинстве
- 15. Точностьбазовый алгоритм: если слово неоднозначно, присваиваем ему
- 16. Какими методами мы можем воспользоваться?на основе сета правилстохастические (с помощью машинного обучения, с помощью марковских моделей)
- 17. Первый метод: сверяемся с таблицей
- 18. Первый метод: сверяемся с таблицей
- 19. Второй метод: n-граммы
- 20. Второй метод: n-граммыJane will spot Mary ---
- 21. Скрытые марковские моделиБудущее зависит от прошлого только через настоящееЭто называется марковской цепью
- 22. Скрытые марковские моделиСначала классический пример про погоду и настроениеhttps://www.youtube.com/watch?v=kqSzLo9fenkдо 11 минуты
- 23. Скрытые марковские моделиНам нужна последовательность наблюдений. Событий
- 24. Наша первая марковская модельКак это соотноситься с языком?
- 25. Применения скрытых марковских моделей
- 26. Скрытые марковские модели
- 27. Скрытые марковские модели
- 28. Скрытые марковские модели
- 29. Скрытые марковские модели
- 30. Скрытые марковские модели
- 31. Скрытые марковские модели
- 32. Скрытые марковские модели
- 33. Скрытые марковские моделиhttps://www.youtube.com/watch?v=ZDXlExZlVMs&list=PLC0PzjY99Q_U5bba7gYJicCxIufrFmlTa&index=7
- 34. Скрытые марковские моделиЗадача:У нас есть 3 части
- 35. Скрытые марковские модели
- 36. Скрытые марковские модели
- 37. Скрытые марковские моделиСколько путей нам нужно проверить теперь?Что мы удалили?
- 38. Скрытые марковские моделиОтвет: 4
- 39. Скрытые марковские модели
- 40. Алгоритм Витерби
- 41. Алгоритм Витербиhttps://www.youtube.com/watch?v=mHEKZ8jv2SY&list=PLC0PzjY99Q_U5bba7gYJicCxIufrFmlTa&index=13
- 42. Задача на марковские процессыВ процессе опроса владельцев
- 43. Задача на марковские процессыВопрос 1 : Если
- 44. Некоторый funЗадача: Даны фразы из биографии
- 45. Некоторый fun1. Режиссерам привзглянулась нежная красота Беар,
- 46. Некоторый fun5. Своих детей и свою личную
- 47. Некоторый fun
- 48. Некоторый fun
- 49. Некоторый funПодумайте, как NLP помогает отсеивать такие сайты?Как вы думаете насколько давно придумали эту задачу?
- 50. Задача на языковые моделиПопробуйте описать образование глагольных
- 51. Спасибо за внимание!
- 52. Литература
- 53. Скачать презентанцию
План на сегодняАвтоматическое выделение частей речиПробный тест по фану без оценок
Слайды и текст этой презентации
Слайд 6Части речи
Открытые и закрытые
Что это значит?
Глокая куздра штеко будланула
бокра и кудрячит бокрёнка
Слайд 11Автоматический морфологический анализ
Как автоматически отличить “book that flight” от “hand
me this book”?
Нужно провести морфологический анализ
Слайд 12The Penn Treebank tagset
Университет Пенсильвании. Использовался для ручной разметки корпуса
для текстов.
Слайд 14Universal dependencies
Этот набор тегов используется в большинстве современных корпусов
Используется для
большого количества языков
Можно сравнивать разные языки и делать разборы более
однообразными+ синтаксический парсинг
Слайд 15Точность
базовый алгоритм: если слово неоднозначно, присваиваем ему ту часть речи,
которая чаще всего встречается в корпусе (для этого слова)
--- 90% точностьболее сложные алгоритмы (скрытые марковские модели, машинное обучение и т.д.) --- 97% точность
человек --- 98% точность
Слайд 16Какими методами мы можем воспользоваться?
на основе сета правил
стохастические (с помощью
машинного обучения, с помощью марковских моделей)
Слайд 20Второй метод: n-граммы
Jane will spot Mary --- эта пара (биграмм)
не встретится в таблице. Как мы тогда присвоим ему частотность/вероятность?
Слайд 21Скрытые марковские модели
Будущее зависит от прошлого только через настоящее
Это называется
марковской цепью
Слайд 22Скрытые марковские модели
Сначала классический пример про погоду и настроение
https://www.youtube.com/watch?v=kqSzLo9fenk
до 11
минуты
Слайд 23Скрытые марковские модели
Нам нужна последовательность наблюдений. Событий и каких-то зависимых
от них событий
Два типа вероятностей:
вероятность перехода из одного состояния в
другоевероятность того, что при условии, что есть одно состояние, то ему соответствует какое-то событие
Слайд 33Скрытые марковские модели
https://www.youtube.com/watch?v=ZDXlExZlVMs&list=PLC0PzjY99Q_U5bba7gYJicCxIufrFmlTa&index=7
Слайд 34Скрытые марковские модели
Задача:
У нас есть 3 части речи: modal verb,
verb, noun. Сколько возможных цепочек частей речи нужно проверить скрытой
марковской модели для выбора наиболее вероятной для предложенияJane will spot Will
Слайд 41Алгоритм Витерби
https://www.youtube.com/watch?v=mHEKZ8jv2SY&list=PLC0PzjY99Q_U5bba7gYJicCxIufrFmlTa&index=13
Слайд 42Задача на марковские процессы
В процессе опроса владельцев автомобилей трех американских
марок: марки A, марки B, марки C, им был задан
вопрос о том, какую торговую марку они бы выбрали для следующей покупки.Среди владельцев автомобилей марки A 20% сказали что выберут опять эту же марку, 50% сказали, что они бы перешли на марку B%, а 30% заявили, что предпочли бы марку C.
Среди владельцев автомобилей марки B 20% сказали, что перейдут на марку A, в то время как 70% заявили, что приобрели бы опять автомобиль марки B, а 10% заявили, что в следующий раз предпочли бы марку C.
Среди владельцев автомобилей C 30% ответили, что перешли бы на марку A, 30% сказали, что перешли бы на марку B, а 40% заявили, что остались бы верны той же марке C.
Слайд 43Задача на марковские процессы
Вопрос 1 : Если некто приобрел автомобиль
марки A, то какова вероятность, что его второй машиной будет
автомобиль марки C?
Слайд 44Некоторый fun
Задача:
Даны фразы из биографии французской актрисы Эммануэль Беар, приведённой
на сайте «Каталог биографий известных актёров».
Слайд 45Некоторый fun
1. Режиссерам привзглянулась нежная красота Беар, и без ролей
она не сидела.
2. Но «своего» режиссера Эммануэль порадостнилось встретить лишь
в 1992 году.3. Обрелась невероятно тонкая и красивая картина (не в последнюю очередность благодаря Беар), которая обрела «Сезара» как оптимальный кинофильм того года.
4. Она нанастолькоко ладно сыграла метания героини между двумя супругчинами, что Даниэль Отёй, который был супругом Беар в кинофильме и в жизни, выбирал не приезжать на съемки, когда там снимались сцены с любовником героини Эммануэль.
Слайд 46Некоторый fun
5. Своих детей и свою личную жизнь артистка ревностно
оберегает от внимания газетчиков, но папарацци очень любят Беар, видимо,
позжеу что она очень фотогенична.6. Много лет Эммануэль Беар была «лицом» известной фирмы «Christian Dior», но не так давно ее на этом посту поменяла российская манекенщица Крправда Семеновская.
Задание 1. Отметьте слова, которые вам показались странными.
Задание 2. Объясните их появление в этом тексте.
Слайд 49Некоторый fun
Подумайте, как NLP помогает отсеивать такие сайты?
Как вы думаете
насколько давно придумали эту задачу?
Слайд 50Задача на языковые модели
Попробуйте описать образование глагольных основ в языке
йоулумни (индейский язык где-то в Северной Америке). Запишите регулярками 3
основы
