Автоматизированное распознавание рукописных текстов с помощью алгоритмов искусственного интеллекта: российский и зарубежный опыт

Обзор посвящен программным решениям и проектам автоматизированного распознавания рукописных текстов исторических источников, выполненным в Российской Федерации и за рубежом. Автор рассматривает наиболее известные OCR/HTR-сервисы, представленные онлайн, акцентирует внимание на интернет-ресурсах по европейской и восточной (японской, китайской) палеографии, описывает основные технологические принципы их реализации.

Ключевые слова

палеография, рукописный текст, средневековые исторические источники, оптическое распознавание, распознавание рукописных текстов, искусственный интеллект, наборы данных

Получено

16.06.2023

Дата публикации

25.09.2023

Кол-во символов

21343

Цитировать Скачать pdf Для скачивания PDF необходимо авторизоваться

ГОСТ	Юмашева Ю. Ю. Автоматизированное распознавание рукописных текстов с помощью алгоритмов искусственного интеллекта: российский и зарубежный опыт // Digital Orientalia – 2023. – Tом 3. – № 1-2 C. 24-32 [Электронный ресурс]. URL: https://do.jes.su/S278240120026084-5-1 (дата обращения: 17.05.2024). DOI: 10.31696/S278240120026084-5
MLA	Yumasheva, Julia "Automated handwriting recognition using artificial intelligence algorithms: Russian and foreign experience." Digital Orientalia 3.1-2 (2023):24-32. DOI: 10.31696/S278240120026084-5
APA	Yumasheva J. (2023). Automated handwriting recognition using artificial intelligence algorithms: Russian and foreign experience. Digital Orientalia 3(1-2), pp.24-32 DOI: 10.31696/S278240120026084-5

100 руб.

При оформлении подписки на статью или выпуск пользователь получает возможность скачать PDF, оценить публикацию и связаться с автором. Для оформления подписки требуется авторизация.

Оператором распространения коммерческих препринтов является ООО «Интеграция: ОН»


1	Возможности новых информационных технологий в вопросах автоматизированного распознавания рукописных текстов исторических источников в настоящее время являются одними из наиболее обсуждаемых тем в научных дискуссиях. Этой проблематике был посвящен и Круглый стол, проходивший в феврале 2023 г. в РАНХиГС, центральной темой которого было обсуждение опыта научных учреждений Российской Федерации по применению автоматизированного оптического распознавания текстов электронных копий архивных документов с помощью алгоритмов искусственного интеллекта [1, 2].
2	Участникам и слушателям Круглого стола были представлены два основных доклада по заявленной проблематике. Первый доклад о проекте «Digital Петр», осуществляемом специалистами Санкт-Петербургского института истории РАН и ПАО «СберБанк», хорошо известен. Проект неоднократно был представлен на различных конференциях [3, 4] и даже имеет собственный сайт в сети Интернет [5]. Его авторы применили методы искусственного интеллекта (artificial intelligence, AI) – комбинацию трех нейросетей для автоматизированного прочтения рукописей Петра I. В результате AI с уверенностью распознал рукописи 1709–1713 гг., уже прочитанные палеографами и даже изданные в «твердой» обложке [6].
3	Во втором докладе специалисты РАНХиГС представили проект, который находится на стадии разработки. Исследование посвящено изучению экономики России первой половины XIX в. на основе изучения отчетов губернаторов – источника хорошо известного в отечественной историографии [7, 8]. Использование AI в данном проекте носит утилитарный характер и является средством «извлечения данных» (data wrangling) из рукописного текста с целью их последующего анализа.
4	Расширяя границы Круглого стола, в контексте обзора отечественного опыта применения AI для распознавания рукописных текстов, необходимо также упомянуть проект Центра восточных рукописей и ксилографов Института монголоведения, буддологии и тибетологии СО РАН (Улан-Удэ) (http://imbtarchive.ru/index.php). Специалисты Центра смогли «прочитать» (дешифровать) с помощью AI 500 страниц тибетских рукописей с точностью в 94% распознаваемых символов, однако с учетом всех особенностей тибетской письменности правильность текстов в данный момент оценивается примерно в 80% [9, 10].
5	В целом же, следует отметить, что тема автоматизированного распознавания рукописного текста не нова и разрабатывается специалистами разных стран более 30 лет с момента проведения первой международной конференции International Conference on Document Analysis and Recognition (ICDAR) в 1991 г. [11]. На сегодняшний день ICDAR –ведущее международное событие для ученых и практиков, занимающихся автоматическим распознаванием и анализом текстов документов. За десятилетия проведения этого мероприятия его участники – ученые разных стран – представили более тысячи докладов, посвященных различным аспектам осуществления проектов автоматизированного распознавания исторических текстов, содержащихся на разных носителях: от каменных блоков и глиняных табличек до машинописных документов и современных газет.

всего просмотров: 168

Оценка читателей: голосов 0

1. Программа Круглого стола «Искусственный интеллект в исторических исследованиях: автоматизированное распознавание текстов рукописных исторических источников», 11 февраля 2023 г. РАНХиГС. https://aik-hisc.ru/static/pdfs/aik_docs/семинар_ИИ_2023.pdf (дата обращения: 16.06.2023)

2. Видеозапись выступлений на Круглом столе 11 февраля 2023, РАНХиГС. https://www.youtube.com/watch?v=iP7kpaDBPP4 (дата обращения: 16.06.2023)

3. Базарова Т.А., Проскурякова М.Е. Автографы Петра I: чтение технологиями искусственного интеллекта и создание электронного архива // Историческая информатика. 2022. № 4 (42). С. 179—190.

4. Автографы Петра Великого и технологии искусственного интеллекта. Новости РИО. https://historyrussia.org/sobytiya/avtografy-petra-velikogo-i-tekhnologii-iskusstvennogo-intellekta.html (дата обращения: 16.06.2023)

5. Автографы Петра I. Электронный архив. https://peterscript.historyrussia.org/ (дата обращения: 16.06.2023)

6. Письма и бумаги императора Петра Великого. Том XIV. Выпуск I. Январь – июнь 1714 г. Издательство «Древлехранище», Москва, 2022. 928 с.

7. Литвак Б.Г. О достоверности сведений губернаторских отчетов XIX в. // Источниковедение отечественной истории. М., 1976. С.125-144.

8. Минаков А.С. Годовые всеподданнейшие отчеты губернаторов: исследовательский опыт и источниковедческие перспективы //Археографический ежегодник за 2009-2010 годы. М., Наука. 2013. С. 37-55.

9. Штерман И. Сибирские ученые начали расшифровку старинных книг при помощи нейросети // Российская газета. Иркутск. 05.04.2022. https://rg.ru/2022/04/05/reg-dfo/sibirskie-uchenye-nachali-rasshifrovku-starinnyh-knig-pri-pomoshchi-nejroseti.html (дата обращения: 16.06.2023)

10. Базаров Б.В., Ринчинов О.C., Базаров А.А. Цифровая трансформация письменного наследия тибетского буддизма: состояние и перспективы // Oriental Studies. 2022;15(4):740-750. https://doi.org/10.22162/2619-0990-2022-62-4-740-750 (дата обращения: 16.06.2023)

11. International Conference on Document Analysis and Recognition (ICDAR) // https://icdar2021.org/; https://www.icdar.org/document-analysis/ (дата обращения: 16.06.2023)

12. Ranade S. Traces through Time: A Probabilistic Approach to Connected Archival Data // 2016 IEEE International Conference on Big Data (Big Data), 3260–65. Washington DC, USA: IEEE. https://doi.org/10.1109/BigData.2016.7840983 (дата обращения: 16.06.2023)

13. Colavizza, G., Ehrmann, M., Bortoluzzi, F. Index-Driven Digitization and Indexation of Historical Archives // Frontiers in Digital Humanities. 2019. №6 (March). https://doi.org/10.3389/fdigh.2019.00004 (дата обращения: 16.06.2023)

14. Wilde M. de, Hengchen S. Semantic Enrichment of a Multilingual Archive with Linked Open Data // Digital Humanities Quarterly. 2017. № 11(4).

15. Chauhan R. eScriptorium: Digital Text Production for Urdu, Hindi, and Bengali Print, part 1 // The Digital Orientalist. https://digitalorientalist.com/2022/11/15/escriptorium-digital-text-production-for-urdu-hindi-and-bengali-print-part-1/ (дата обращения: 16.06.2023)

16. Chauhan R. eScriptorium: Digital Text Production for Urdu, Hindi, and Bengali Print, part 2 // The Digital Orientalist. https://digitalorientalist.com/2023/01/31/escriptorium-digital-text-production-for-urdu-hindi-and-bengali-print-part-2/ (дата обращения: 16.06.2023)

17. Cursive Japanese and OCR: Using KuroNet // The Digital Orientalist. https://digitalorientalist.com/2020/02/18/cursive-japanese-and-ocr-using-kuronet/ (дата обращения: 16.06.2023)

18. Kitamoto Asanobu, Tarin Karanuwat. Kuzushi Character Recognition by AI and the Road to Full-text Search for Historical Materials // Specialized Library, No. 300, pp. 26-32, 2020/5 (北本朝展, カラーヌワットタリン, "AIによるくずし字認識と歴史的資料全文検索への道", 専門図書館, No. 300, pp. 26-32, 2020年5月)

19. Tallinn Karanuwat, KITAMOTO Asanobu. Evolution of Kuzushi Character Recognition and Development of Service // Humanities and Computer Symposium Jinmonkon2020 Proceedings, pp. 3-10, 2020 year 12 month (カラーヌワットタリン, 北本朝展, "くずし字認識の進化とサービス化の展開", 人文科学とコンピュータシンポジウムじんもんこん2020論文集, pp. 3-10, 2020年12月)

20. Yingtao Tian, Tarin Clanuwat, Chikahiko Suzuki, Asanobu Kitamoto. Ukiyo-e Analysis and Creativity with Attribute and Geometry Annotation // Arxiv.org. https://arxiv.org/pdf/2106.02267.pdf (дата обращения: 16.06.2023)

21. Poli M. The evolution of Kaom.net // The Digital Orientalist. https://digitalorientalist.com/2023/05/16/the-evolution-of-kaom-net/ (дата обращения: 16.06.2023)

22. Liu Yanling. Rarely used Chinese characters to be collected and made available online // Global Times. Apr 24, 2023. https://www.globaltimes.cn/page/202304/1289735.shtml (дата обращения: 16.06.2023)