данных, специфических для предметной области, в понятные для модели векторы
feature
transformation – трансформация данных для повышения точности алгоритма;feature selection – отсечение ненужных признаков
Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Кружок по искусственному интеллекту
Содержание
- 1. Кружок по искусственному интеллекту
- 2. План занятияОбщие рекомендации по анализу данныхРабота с текстовыми даннымиАнализ результатов
- 3. Обработка и анализ данныхfeature extraction and feature
- 4. Обработка и анализ данныхПостроение матриц ошибокПостроение гистограмм, анализ коррелирующих признаков,
- 5. ПризнакиВещественные (Возраст, площадь квартиры)Бинарные ( Доход клиента
- 6. Label Encoder
- 7. Оne-hot-кодирование
- 8. Другие способы кодирования
- 9. Обработка и анализ текстовых данных - токенизация (nltk) -
- 10. Векторизация текстаРазбиение текста на слова и преобразование
- 11. Преобазование токенов в векторыOne-hot encoding( прямое кодирование
- 12. Bag of words («Мешок слов»)
- 13. N-граммы
- 14. TF-IDFIDF (inverse document frequency — обратная частота документа) — инверсия
- 15. Embeddings Малоразмерные представленияГеометрические отношения между векторами отражают семантические связи
- 16. Embeddings
- 17. Спасибо за внимание!
- 18. Скачать презентанцию
План занятияОбщие рекомендации по анализу данныхРабота с текстовыми даннымиАнализ результатов
Слайды и текст этой презентации
Слайд 2План занятия
Общие рекомендации по анализу данных
Работа с текстовыми данными
Анализ результатов
Слайд 3Обработка и анализ данных
feature extraction and feature engineering – превращение
данных, специфических для предметной области, в понятные для модели векторы
transformation – трансформация данных для повышения точности алгоритма;feature selection – отсечение ненужных признаков
Слайд 4Обработка и анализ данных
Построение матриц ошибок
Построение гистограмм, анализ коррелирующих признаков,
Слайд 5Признаки
Вещественные (Возраст, площадь квартиры)
Бинарные ( Доход клиента больше среднего по
городу?)
Порядковые (тип населенного пункта,размер одежды,образование)
Категориальные (цвет глаз, город)
Слайд 9Обработка и анализ текстовых данных
- токенизация (nltk)
- приведение к одному
регистру
- лемматизация (nltk, pymorphy )
- удаление нерелевантных слов ( re)
Слайд 10Векторизация текста
Разбиение текста на слова и преобразование каждого слова в
вектор
Разбиение текста на символы и преобразование каждого символа в вектор
Извлечение
N-грамм и их преобразование в вектор 
Слайд 11Преобазование токенов в векторы
One-hot encoding( прямое кодирование слов и символов)
One-hot
hashing trick ( прямое хеширование признаков)
Embeddings (векторное представление слов) (Word2vec,
Glove, Fasttext)
Слайд 14TF-IDF
IDF (inverse document frequency — обратная частота документа) — инверсия частоты, с которой
некоторое слово встречается в документах коллекции.
TF (term frequency — частота слова) — отношение
числа вхождений некоторого слова к общему числу слов документа.
Слайд 15Embeddings
Малоразмерные представления
Геометрические отношения между векторами отражают семантические связи
