Tesseract OCR, выделение распознанного текста на изображении

Моя цель - предложение широкого ассортимента товаров и услуг на постоянно высоком качестве обслуживания по самым выгодным ценам.

Прочитать картинку, сохранить текст, обработать текст, получить результат довольно просто. Хочу рассказать как отобразить результат для пользователя на ранее прочитанной картинке, например выделить кусочек текста содержащий целевое предложение. Такая задача будет полезна при выделении важной части отчета и демонстрации её руководству.

Рисовать на картинке можно по координатам, а получить координаты нужно при чтении текста. Получить их можно с используя особый output_type:

pd_dataframe = pytesseract.image_to_data(image, output_type=Output.DATAFRAME)

И так, давайте рассмотрим пример. Возьмем общедоступный финансовый отчет из Интернета, прочитаем одну его страницу (ниже на ней же и будем рисовать) и посмотрим на получившийся датафрейм с текстом.

результат output_type = Output.DATAFRAME
результат output_type = Output.DATAFRAME
Подробное описание колонок (eng)
  • level = 1/2/3/4/5,the level of current item.

  • page_num: the page index of the current item. In most instances, a image only has one page.

  • block_num: the block item of the current item. when tesseract OCR Image, it will split the image into several blocks according the PSM parameters and some rules. The words in a line often in a block.

  • par_num: The paragraph index of the current item. It is the page analysis results.

  • line_num: The line index of the current item. It is the page analysis results.

  • word_num: The word index in one block.

  • left/top/width/height:the top-left coordinate and the width and height of the current word.

  • conf: the confidence of the current word, the range is -1~100.. The -1 means that there is no text here. The 100 is the highest value.

  • text: the word ocr results.

Датафрейм состоит из слов, для каждого слова указна страница (обычно одна у всех слов), блок, параграф в блоке, строка параграфа, номер слова.

отличие блоков от параграфов (block vs par_num)
отличие блоков от параграфов (block vs par_num)

Рассмотрим подробнее столбцы с координатами, полученные для каждого слова. Распознавание считает координаты в пикселях:

left - отступ от левой границы картинки до левой части слова

top - отступ от верхней границы картинки до верхней части слова

width - длина слова (расстояние между левой и правой границами слова)

height - высота слова (расстояние между нижней и верхней границами слова)

Для блока или параграфа по всем словам возьмем минимальные left и top, а width и height максимальные, в результате получим координаты для выделенного текста:

Получив датафрейм с координатами каждого слова можно создать датафрейс с координатами блоков, параграфов, строк, предложений.. зависит от решаемой задачи. Для рисования (геометрических фигур, вставки дополнительного текста и др.) по этим координатам потребуется получить картинку из текста и на ней рисовать, если для распознавания и получения координат вы искуственно увеличивали её - не забудьте при рисовании увеличивать точно так же.

Код чтения текста, рисования cv2.rectangle по координатам выложу на GitHub

Источник: https://habr.com/ru/post/565566/


Интересные статьи

Интересные статьи

Все «за» и «против» 1С-Битрикс, какие есть альтернативы и что выгоднее знать разработчику? Читать далее
Кто бы что ни говорил, но я считаю, что изобретение велосипедов — штука полезная. Использование готовых библиотек и фреймворков, конечно, хорошо, но порой стоит их отложить и создать ...
Здравствуйте, уважаемые читатели. В своих разработках на микроконтроллерах STM32, для вывода осмысленной информации, я пользуюсь OLED дисплеями на чипе SSD1306. В последний раз пришел...
Ранее в одном из наших КП добавление задач обрабатывалось бизнес-процессами, сейчас задач стало столько, что бизнес-процессы стали неуместны, и понадобился инструмент для массовой заливки задач на КП.
Компании растут и меняются. Если для небольшого бизнеса легко прогнозировать последствия любых изменений, то у крупного для такого предвидения — необходимо изучение деталей.