Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Распознаем документы с помощью FPN и Tesseract
Содержание
- 1. Распознаем документы с помощью FPN и Tesseract
- 2. Who are you, again?2015-2019 Бакалавриат Data Science2018-nowРазработчик машинного обучения
- 3. Глава 1 О проблеме
- 4. Описание проблемыПользовательЭлектронная подписьШаг 1Шаг 2Шаг 3
- 5. Описание проблемыПользовательЭлектронная подписьШаг 1Шаг 2Шаг 3Заполнить данные в форму
- 6. Описание проблемыПользовательЭлектронная подписьШаг 1Шаг 2Шаг 3Распечатать и подписать заявление
- 7. Описание проблемыПользовательЭлектронная подписьШаг 1Шаг 2Шаг 3Отправить на проверкуи дождаться одобрения
- 8. Описание проблемыПользовательЭлектронная подписьШаг 1Шаг 2Шаг 3
- 9. Описание проблемыШаг 1Шаг 2Шаг 3
- 10. Описание проблемыШаг 1Шаг 2Шаг 3
- 11. Описание проблемыШаг 1Шаг 2Шаг 3
- 12. Описание проблемыШаг 1Шаг 3Шаг 2
- 13. Интересные цифрыВремя операторана 1 заявление:2 МИН.
- 14. Интересные цифрыВремя операторана 1 заявление:2 МИН.Время ожидания очереди к оператору:2-4 ЧАСАx кол-во ошибок
- 15. РешениеРаспознаем скан/фото и предупреждаем об ошибках:не совпадает датане совпадает номер телефонане совпадают реквизиты паспортанет подписи…
- 16. Глава 2 О том, как устроена архитектура решения
- 17. ЦелиБыстро для созданияКонтролируемоПоменьше велосипедов
- 18. Заявление
- 19. ЗаявлениеQR кодТаблицаДатаПаспортные данныеБлок подписей+ печатьТелефон
- 20. 1 giant modelEnd2End
- 21. 1 giant modelEnd2End – way too heavyДолго и сложно создаватьОчень сложно контролировать
- 22. OCROCR + rulesrules
- 23. OCROCR + rules – way too unstablerulesНизкое качествоСложные и нестабильные правила
- 24. QR кодТаблицаДатаПаспортные данныеБлок подписей+ печатьТелефон
- 25. QR кодТаблицаДатаПаспортные данныеБлок подписей+ печатьТелефон
- 26. ТаблицаДатаПаспортные данныеБлок подписей+ печатьТелефон
- 27. PipelineSegmentationText recognitionДатаТелефонДругие данныеФИО, серия, номерMultilabel classificationЕсть печатьЕсть подпись субъектаЕсть расшифровка
- 28. PipelineSegmentationText recognitionMultilabel classificationЕсть печатьЕсть подпись субъектаЕсть расшифровкаOrientationДатаТелефонДругие данныеФИО, серия, номер
- 29. PipelineSegmentationText recognitionMultilabel classificationЕсть печатьЕсть подпись субъектаЕсть расшифровкаOrientationBox extractionДатаТелефонДругие данныеФИО, серия, номер
- 30. ТехнологииText recognitionMultilabel classificationЕсть печатьЕсть подпись субъектаЕсть расшифровкаДатаТелефонДругие
- 31. Глава 3 О граблях, технологиях и озарениях
- 32. SegmentationText recognitionMultilabel classificationЕсть печатьЕсть подпись субъектаЕсть расшифровкаOrientationBox extractionПредобработка картинкиСегментацияРаспознавание текстаДатаТелефонДругие данныеФИО, серия, номер
- 33. Предобработка картинкиСегментацияРаспознавание текстаКак сделать поворот картинок?
- 34. Предобработка картинкиСегментацияРаспознавание текстаКак максимально глупо (но очень быстро) сделать поворот картинки?
- 35. Предобработка картинкиСегментацияРаспознавание текстаКак максимально глупо (но очень
- 36. Предобработка картинкиСегментацияРаспознавание текстаКак максимально глупо (но очень
- 37. Предобработка картинкиСегментацияРаспознавание текстаКак максимально глупо поворачивать картинку?Метрика: среднее отклонение углаБылоПредсказание
- 38. Предобработка картинкиСегментацияРаспознавание текстаВывод:Иногда самое тупое решение может
- 39. SegmentationText recognitionMultilabel classificationЕсть печатьЕсть подпись субъектаЕсть расшифровкаOrientationBox extractionПредобработка картинкиСегментацияРаспознавание текстаДатаТелефонДругие данныеФИО, серия, номер
- 40. Предобработка картинкиСегментацияРаспознавание текстаFPN – Feature Pyramid Networkhttps://arxiv.org/abs/1612.03144
- 41. Предобработка картинкиСегментацияРаспознавание текстаhttps://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106cFPN:ну очень быстрый обзор
- 42. Предобработка картинкиСегментацияРаспознавание текстаhttps://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106cFPN:ну очень быстрый обзорU
- 43. Предобработка картинкиСегментацияРаспознавание текстаhttps://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106cBottom-up:понижаем разрешение, увеличиваем семантический смысл картинки
- 44. Предобработка картинкиСегментацияРаспознавание текстаhttps://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106cTop-down:восстанавливаем разрешение картинки
- 45. Предобработка картинкиСегментацияРаспознавание текстаhttps://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c1x1 свертки:повторяют смысл skip-connections в ResNet
- 46. Предобработка картинкиСегментацияРаспознавание текстаhttps://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106cПредсказания каждого слоя скейлятся к нужному размеру и соединяются в финальное предсказание.
- 47. Предобработка картинкиСегментацияРаспознавание текстаMore on segmentation modelМодель сегментации:FPNBackbone – ResNet, предтренированный на Imagenethttps://github.com/qubvel/segmentation_models
- 48. Предобработка картинкиСегментацияРаспознавание текстаMore on segmentation modelМодель сегментацииFPNBackbone
- 49. Предобработка картинкиСегментацияРаспознавание текстаMore on segmentation modelМодель сегментацииFPNBackbone
- 50. Предобработка картинкиСегментацияРаспознавание текстаSpinoffbce_jaccard_loss Balanced cross entropy + Jaccard lossIoU metric
- 51. Предобработка картинкиСегментацияРаспознавание текстаMore on segmentation modelМодель сегментацииFPNBackbone
- 52. Предобработка картинкиСегментацияРаспознавание текстаВыводValue: 0.9847
- 53. SegmentationText recognitionMultilabel classificationЕсть печатьЕсть подпись субъектаЕсть расшифровкаOrientationBox extractionПредобработка картинкиСегментацияРаспознавание текстаДатаТелефонДругие данныеФИО, серия, номер
- 54. Предобработка картинкиСегментацияРаспознавание текстаДано:
- 55. Предобработка картинкиСегментацияРаспознавание текстаМы распознаем текст с помощью Tesseracthttps://github.com/tesseract-ocr/Open Source OCR EngineOCR – Optical Character Recognition
- 56. Предобработка картинкиСегментацияРаспознавание текстаTesseract – очень хорош
- 57. Предобработка картинкиСегментацияРаспознавание текстаTesseract – очень хорош, но капризенDetected:
- 58. Предобработка картинкиСегментацияРаспознавание текстаTesseract – очень хорош, но
- 59. Предобработка картинкиСегментацияРаспознавание текстаМагия для Tesseract’а
- 60. Предобработка картинкиСегментацияРаспознавание текстаМагия для Tesseract’аPaddingScaling
- 61. Предобработка картинкиСегментацияРаспознавание текстаЧто ещё полезно знать о
- 62. Предобработка картинкиСегментацияРаспознавание текстаВывод:Tesseract – на удивление простое
- 63. Глава 4: Завершающая
- 64. ИтогиAccuracy so far:даты: 98%телефоны: 96%паспортные данные: 86%Summary:FPN
- 65. Готов ответить на ваши вопросы
- 66. Скачать презентанцию
Who are you, again?2015-2019 Бакалавриат Data Science2018-nowРазработчик машинного обучения
Слайды и текст этой презентации
Слайд 1Распознаем документы с помощью FPN и Tesseract
Панченко Иван
Telegram: @piaxar
Mail: i.a.panchenko@icloud.com
Слайд 6Описание проблемы
Пользователь
Электронная подпись
Шаг 1
Шаг 2
Шаг 3
Распечатать и подписать заявление
Слайд 7Описание проблемы
Пользователь
Электронная подпись
Шаг 1
Шаг 2
Шаг 3
Отправить на проверку
и дождаться одобрения
Слайд 14Интересные цифры
Время оператора
на 1 заявление:
2 МИН.
Время ожидания
очереди к оператору:
2-4
ЧАСА
Слайд 15Решение
Распознаем скан/фото и предупреждаем об ошибках:
не совпадает дата
не совпадает номер
телефона
не совпадают реквизиты паспорта
нет подписи
…
Слайд 27Pipeline
Segmentation
Text recognition
Дата
Телефон
Другие данные
ФИО, серия, номер
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Слайд 28Pipeline
Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Дата
Телефон
Другие данные
ФИО, серия, номер
Слайд 29Pipeline
Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Дата
Телефон
Другие данные
ФИО, серия,
номер
Слайд 30Технологии
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Дата
Телефон
Другие данные
ФИО, серия, номер
Segmentation
Orientation
Box
extraction
MobileNet
FFT / MobileNet для поворотов
FPN для сегментации
Tesseract + эвристики
Слайд 32Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Предобработка картинки
Сегментация
Распознавание текста
Дата
Телефон
Другие
данные
ФИО, серия, номер
Слайд 34Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо (но очень быстро) сделать поворот
картинки?
Слайд 35Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо (но очень быстро) сделать поворот
картинки?
сделать обучающую разметку на глаз
начать с модели (MobileNet), вместо алгоритма
обучать
как классификацию на 360 классовLoss: categorical_crossentropy
Слайд 36Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо (но очень быстро) сделать поворот
картинки?
сделать обучающую разметку на глаз
начать с модели, вместо алгоритма
обучать как
классификацию на 360 классовLoss: categorical_crossentropy
Loss (2 градуса разницы) = Loss (45 градусов разницы)
Слайд 37Предобработка картинки
Сегментация
Распознавание текста
Как максимально глупо поворачивать картинку?
Метрика: среднее отклонение угла
Было
Предсказание
Слайд 38Предобработка картинки
Сегментация
Распознавание текста
Вывод:
Иногда самое тупое решение может оказаться неплохим baseline-ом.
P.S.
В конечном итоге мы используем Fast Fourier transform (FFT)
Слайд 39Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Предобработка картинки
Сегментация
Распознавание текста
Дата
Телефон
Другие
данные
ФИО, серия, номер
Слайд 40Предобработка картинки
Сегментация
Распознавание текста
FPN – Feature Pyramid Network
https://arxiv.org/abs/1612.03144
Слайд 41Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
FPN:
ну очень быстрый обзор
Слайд 42Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
FPN:
ну очень быстрый обзор
U
Слайд 43Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
Bottom-up:
понижаем разрешение, увеличиваем семантический смысл картинки
Слайд 44Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
Top-down:
восстанавливаем разрешение картинки
Слайд 45Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
1x1 свертки:
повторяют смысл skip-connections в ResNet
Слайд 46Предобработка картинки
Сегментация
Распознавание текста
https://medium.com/@jonathan_hui/understanding-feature-pyramid-networks-for-object-detection-fpn-45b227b9106c
Предсказания каждого слоя скейлятся к нужному размеру и
соединяются в финальное предсказание.
Слайд 47Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации:
FPN
Backbone – ResNet, предтренированный
на Imagenet
https://github.com/qubvel/segmentation_models
Слайд 48Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации
FPN
Backbone – ResNet, предтренированный
на Imagenet
https://github.com/qubvel/segmentation_models
Input shape: (512, 512, 3)
Output shape:
(512, 512, 7)
6 classes
+ 1 background
Слайд 49Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации
FPN
Backbone – ResNet, предтренированный
на Imagenet
https://github.com/qubvel/segmentation_models
Input shape: (512, 512, 3)
Output shape:
(512, 512, 7)
6 classes
+ 1 backgroundOptimizer: Adam
Loss: bce_jaccard_loss
Metric: IOU-score
Слайд 50Предобработка картинки
Сегментация
Распознавание текста
Spinoff
bce_jaccard_loss
Balanced cross entropy +
Jaccard loss
IoU metric
Слайд 51Предобработка картинки
Сегментация
Распознавание текста
More on segmentation model
Модель сегментации
FPN
Backbone – ResNet, предтренированный
на Imagenet
https://github.com/qubvel/segmentation_models
Input shape: (512, 512, 3)
Output shape:
(512, 512, 7)
6 classes
+ 1 backgroundOptimizer: Adam
Loss: bce_jaccard_loss
Metric: IOU-score
Augmentations
https://github.com
/albumentations-team/albumentations
60 epochs
BS: 24
Слайд 53Segmentation
Text recognition
Multilabel classification
Есть печать
Есть подпись субъекта
Есть расшифровка
Orientation
Box extraction
Предобработка картинки
Сегментация
Распознавание текста
Дата
Телефон
Другие
данные
ФИО, серия, номер
Слайд 55Предобработка картинки
Сегментация
Распознавание текста
Мы распознаем текст с помощью Tesseract
https://github.com/tesseract-ocr/
Open Source OCR
Engine
OCR – Optical Character Recognition
Слайд 57Предобработка картинки
Сегментация
Распознавание текста
Tesseract – очень хорош, но капризен
Detected:
322->
Слайд 58Предобработка картинки
Сегментация
Распознавание текста
Tesseract – очень хорош, но капризен
Detected: + 9
322-
Detected: +7 (937) 322-00-70,
86% -> 96% accuracy
Слайд 61Предобработка картинки
Сегментация
Распознавание текста
Что ещё полезно знать о Tesseract
Используйте Tesseract V4,
у которого под капотом LSTM
Смотрите за версиями языковых пакетов, разница
в точности распознавания ~ 5%Tesseract best – медленнее в 1,5 раза, но + 1,5% точности
Слайд 62Предобработка картинки
Сегментация
Распознавание текста
Вывод:
Tesseract – на удивление простое в использовании и
качественное решение.
Зная о тонкостях работы с ним и используя некоторые
трюки, можно получить стабильное решение для production-а.
Слайд 64Итоги
Accuracy so far:
даты: 98%
телефоны: 96%
паспортные данные: 86%
Summary:
FPN – очень сильная
архитектура для подобных задач
Tesseract – используем аккуратно и радуемся
иногда странные
вещи тоже могут работать
