Automated handwriting recognition using artificial intelligence algorithms: Russian and foreign experience

The review is devoted to software solutions and projects for automated recognition of handwritten texts of historical sources, made in the Russian Federation and abroad. The author considers the most famous OCR/HTR services presented online, focuses on Internet resources on European and Eastern (Japanese, Chinese) paleography, and describes the basic technological principles for their implementation.

Keywords

paleography, handwriting, medieval historical sources, optical recognition, handwriting text recognition, artificial intelligence, datasets

Received

16.06.2023

Publication date

25.09.2023

Number of characters

21343

Cite Download pdf To download PDF you should sign in

GOST	Yumasheva J. Automated handwriting recognition using artificial intelligence algorithms: Russian and foreign experience // Digital Orientalia – 2023. – V. 3. – № 1-2 C. 24-32 [Electronic resource]. URL: https://do.jes.su/S278240120026084-5-1 (circulation date: 04.07.2024). DOI: 10.31696/S278240120026084-5
MLA	Yumasheva, Julia "Automated handwriting recognition using artificial intelligence algorithms: Russian and foreign experience." Digital Orientalia 3.1-2 (2023):24-32. DOI: 10.31696/S278240120026084-5
APA	Yumasheva J. (2023). Automated handwriting recognition using artificial intelligence algorithms: Russian and foreign experience. Digital Orientalia 3(1-2), pp.24-32 DOI: 10.31696/S278240120026084-5

100 rub.

When subscribing to an article or issue, the user can download PDF, evaluate the publication or contact the author. Need to register.


1	Возможности новых информационных технологий в вопросах автоматизированного распознавания рукописных текстов исторических источников в настоящее время являются одними из наиболее обсуждаемых тем в научных дискуссиях. Этой проблематике был посвящен и Круглый стол, проходивший в феврале 2023 г. в РАНХиГС, центральной темой которого было обсуждение опыта научных учреждений Российской Федерации по применению автоматизированного оптического распознавания текстов электронных копий архивных документов с помощью алгоритмов искусственного интеллекта [1, 2].
2	Участникам и слушателям Круглого стола были представлены два основных доклада по заявленной проблематике. Первый доклад о проекте «Digital Петр», осуществляемом специалистами Санкт-Петербургского института истории РАН и ПАО «СберБанк», хорошо известен. Проект неоднократно был представлен на различных конференциях [3, 4] и даже имеет собственный сайт в сети Интернет [5]. Его авторы применили методы искусственного интеллекта (artificial intelligence, AI) – комбинацию трех нейросетей для автоматизированного прочтения рукописей Петра I. В результате AI с уверенностью распознал рукописи 1709–1713 гг., уже прочитанные палеографами и даже изданные в «твердой» обложке [6].
3	Во втором докладе специалисты РАНХиГС представили проект, который находится на стадии разработки. Исследование посвящено изучению экономики России первой половины XIX в. на основе изучения отчетов губернаторов – источника хорошо известного в отечественной историографии [7, 8]. Использование AI в данном проекте носит утилитарный характер и является средством «извлечения данных» (data wrangling) из рукописного текста с целью их последующего анализа.
4	Расширяя границы Круглого стола, в контексте обзора отечественного опыта применения AI для распознавания рукописных текстов, необходимо также упомянуть проект Центра восточных рукописей и ксилографов Института монголоведения, буддологии и тибетологии СО РАН (Улан-Удэ) (http://imbtarchive.ru/index.php). Специалисты Центра смогли «прочитать» (дешифровать) с помощью AI 500 страниц тибетских рукописей с точностью в 94% распознаваемых символов, однако с учетом всех особенностей тибетской письменности правильность текстов в данный момент оценивается примерно в 80% [9, 10].
5	В целом же, следует отметить, что тема автоматизированного распознавания рукописного текста не нова и разрабатывается специалистами разных стран более 30 лет с момента проведения первой международной конференции International Conference on Document Analysis and Recognition (ICDAR) в 1991 г. [11]. На сегодняшний день ICDAR –ведущее международное событие для ученых и практиков, занимающихся автоматическим распознаванием и анализом текстов документов. За десятилетия проведения этого мероприятия его участники – ученые разных стран – представили более тысячи докладов, посвященных различным аспектам осуществления проектов автоматизированного распознавания исторических текстов, содержащихся на разных носителях: от каменных блоков и глиняных табличек до машинописных документов и современных газет.

Readers community rating: votes 0

1. Program of the Round Table "Artificial Intelligence in Historical Research: Automated Text Recognition of Handwritten Historical Sources", February 11, 2023, RANEPA. >>>> (date of access: 06/16/2023)
2. Video recording of speeches at the Round Table on February 11, 2023, RANEPA. >>>> (accessed 06/16/2023)
3. Bazarova T.A., Proskuryakova M.E. Autographs of Peter I: reading with artificial intelligence technologies and creating an electronic archive // Historical informatics. 2022. No. 4 (42). pp. 179-190.
4. Autographs of Peter the Great and artificial intelligence technologies. RIO news. >>>> (date of access: 06/16/2023)
5. Autographs of Peter I. Electronic archive. https://peterscript.historyrussia.org/ 
6. Letters and papers of Emperor Peter the Great. Volume XIV. Issue I. January - June 1714. Drevlekhranishche Publishing House, Moscow, 2022. 928 p.
7. Litvak B.G. On the reliability of the information of the governor's reports of the XIX century. // Source study of national history. M., 1976. S.125-144.
8. Minakov A.S. Annual all-subject reports of governors: research experience and source prospects // Archaeographic Yearbook for 2009-2010. M., Science. 2013. S. 37-55.
9. Shterman I. Siberian scientists began deciphering old books using a neural network // Rossiyskaya Gazeta. Irkutsk. 04/05/2022. >>>> (date of access: 06/16/2023)
10. Bazarov B.V., Rinchinov O.S., Bazarov A.A. Digital Transformation of the Written Heritage of Tibetan Buddhism: Status and Prospects // Oriental Studies. 2022;15(4):740-750. >>>> (Date of access: 06/16/2023)
11. International Conference on Document Analysis and Recognition (ICDAR) //  >>>> ;  >>>>  (дата обращения: 16.06.2023)
12. Ranade S. Traces through Time: A Probabilistic Approach to Connected Archival Data // 2016 IEEE International Conference on Big Data (Big Data), 3260–65. Washington DC, USA: IEEE.  >>>>  (дата обращения: 16.06.2023)
13. Colavizza, G., Ehrmann, M., Bortoluzzi, F. Index-Driven Digitization and Indexation of Historical Archives // Frontiers in Digital Humanities. 2019. №6 (March).  >>>>  (дата обращения: 16.06.2023)
14. Wilde M. de, Hengchen S. Semantic Enrichment of a Multilingual Archive with Linked Open Data // Digital Humanities Quarterly. 2017. № 11(4).
15. Chauhan R. eScriptorium: Digital Text Production for Urdu, Hindi, and Bengali Print, part 1 // The Digital Orientalist.  >>>> (дата обращения: 16.06.2023)
16. Chauhan R. eScriptorium: Digital Text Production for Urdu, Hindi, and Bengali Print, part 2 // The Digital Orientalist.  >>>>  (дата обращения: 16.06.2023)
17. Cursive Japanese and OCR: Using KuroNet // The Digital Orientalist. >>>> (дата обращения: 16.06.2023)
18. Kitamoto Asanobu, Tarin Karanuwat. Kuzushi Character Recognition by AI and the Road to Full-text Search for Historical Materials // Specialized Library, No. 300, pp. 26-32, 2020/5 (北本 朝展, カラーヌワット タリン, "AIによるくずし字認識と歴史的資料全文検索への道", 専門図書館, No. 300, pp. 26-32, 2020年5月)
19. Tallinn Karanuwat, KITAMOTO Asanobu. Evolution of Kuzushi Character Recognition and Development of Service // Humanities and Computer Symposium Jinmonkon2020 Proceedings, pp. 3-10, 2020 year 12 month (カラーヌワット タリン, 北本 朝展, "くずし字認識の進化とサービス化の展開", 人文科学とコンピュータシンポジウム じんもんこん2020論文集, pp. 3-10, 2020年12月)
20. Yingtao Tian, Tarin Clanuwat, Chikahiko Suzuki, Asanobu Kitamoto. Ukiyo-e Analysis and Creativity with Attribute and Geometry Annotation // Arxiv.org. >>>> (дата обращения: 16.06.2023)
21. Poli M. The evolution of Kaom.net // The Digital Orientalist.  >>>>  (дата обращения: 16.06.2023)
22. Liu Yanling. Rarely used Chinese characters to be collected and made available online // Global Times. Apr 24, 2023.  >>>>  (дата обращения: 16.06.2023)