Мультимедийная база данных жестов русского жестового языка в трехмерном формате

Настоящая статья посвящена описанию мультимедийной базы данных (БД) “TheRuSLan” русского жестового языка (РЖЯ) и принципов ее фонетической аннотации. Особенностью заявленной БД является трехмерное (3D) представление жестов, что дает новые возможности лексикографического описания лексики и исследования особенностей артикуляции РЖЯ. Трехмерное представление жеста достигается за счет использования камеры Kinect 2.0, записывающей данные в высоком разрешении (FullHD), в режиме карты глубины и в инфракрасном диапазоне. БД представляет собой запись 164 лексических единиц и клауз в исполнении 13 информантов минимум в 5 итерациях. Общий размер файлов составляет 3,8 Тб в оригинальном формате, общая длительность видео — более 8 часов. В статье дается обзор существующих БД по РЖЯ, раскрывается содержание описываемого словаря, обрисовываются принципы лингвистической аннотации жестов и обосновывается набор признаков, используемых при аннотировании настоящей БД. Показано, что некоторые параметры жеста могут существенно варьировать от информанта к информанту, а именно: форма руки и локализация. Однако причины такой вариативности, ее масштабы и значение для описания РЖЯ являются делом дальнейших исследований.

Ключевые слова

базы данных, жестовые языки, компьютерная лингвистика, русский жестовый язык

Источник финансирования

Данное исследование проводится частично в рамках Соглашения с Минобрнауки России № 075-15-2019-1295 (идентификатор проекта RFMEFI61618X0095).

Дата публикации

02.03.2020

Кол-во символов

37201

Цитировать

ГОСТ	Кагиров И. А. , Рюмин Д. А. , Аксёнов А. А. , Карпов А. А. Мультимедийная база данных жестов русского жестового языка в трехмерном формате // Вопросы языкознания – 2020. – Номер 1 C. 104-123 [Электронный ресурс]. URL: http://ras.jes.su/vopjaz/s0373658x0008302-1-1 (дата обращения: 02.05.2024). DOI: 10.31857/S0373658X0008302-1
MLA	Kagirov, Ildar, Ryumin, Dmitry A, Axyonov, Alexander A, Karpov, Alexey A "Multimedia Database of Russian Sign Language Items in 3D." Voprosy Jazykoznanija 1 (2020):104-123. DOI: 10.31857/S0373658X0008302-1
APA	Kagirov I., Ryumin D., Axyonov A., Karpov A. (2020). Multimedia Database of Russian Sign Language Items in 3D. Voprosy Jazykoznanija (1), pp.104-123 DOI: 10.31857/S0373658X0008302-1

100 руб.

При оформлении подписки на статью или выпуск пользователь получает возможность скачать PDF, оценить публикацию и связаться с автором. Для оформления подписки требуется авторизация.

Оператором распространения коммерческих препринтов является ООО «Интеграция: ОН»

Всего подписок: 2, всего просмотров: 2199

Оценка читателей: голосов 0

1. Буркова 2012–2015 — Буркова С. И. Русский жестовый язык: общие сведения. URL: http://rsl.nstu.ru/site/signlang.

2. Буркова, Варинова 2012 — Буркова С. И., Варинова О. А. К вопросу о территориальном и социальном варьировании русского жестового языка. Русский жестовый язык: Первая лингвистическая конференция. Федорова О. В. (ред.). М.: Буки Веди, 2012, 127–143.

3. Воскресенский 2002 — Воскресенский А. Л. Непризнанный язык (Язык жестов глухих и компьютерная лингвистика). Труды Международного семинара по компьютерной лингвистике и интеллектуальным технологиям «Диалог-2002». Т. 2. Протвино, 2002, 100–106.

4. Воскресенский и др. 2009 — Воскресенский А. Л., Гуленко И. Е., Хахалин Г. К. Cловарь RuSLED как инструмент семантических исследований. Материалы Международной конференции «Диалог-2009». Вып. 8(15). М.: РГГУ, 2009, 64–68.

5. Гейльман 2001 — Гейльман И. Ф. Знакомьтесь: ручная речь. М.: Загрей, 2001.

6. Гейльман 2004 — Гейльман И. Ф. Словарь русского жестового языка: в 2-х т. СПб: Прана, 2004.

7. Давиденко, Комарова 2006 — Давиденко Т. П., Комарова А. А. Краткий очерк по лингвистике РЖЯ. Современные аспекты жестового языка. Комарова А. А. (сост.). М.: ВОГ, 2006, 146–161.

8. Димскис 2002 — Димскис Л. С. Изучаем жестовый язык: учебное пособие. М.: Academia, 2002.

9. Жесты 1995 — Жесты: словарь-справочник. М.: Загрей, 1995.

10. Заварицкий 2015 — Заварицкий Д. А. 100 фраз на русском жестовом языке. Разговорник для священнослужителей. М.: Лепта Книга, 2015.

11. Зайцева 2000 — Зайцева Г. Л. Жестовая речь. Дактилология: учеб. для студ. высш. учеб. заведений. М.: Гуманит. изд. центр ВЛАДОС, 2000.

12. Захаров 2005 — Захаров В. П. Корпусная лингвистика: учеб.-метод. пособие. СПб.: СПбГУ, 2005.

13. Кагиров 2018 — Кагиров И. А. Концепция роботизированной продуктовой тележки с поддержкой русскоязычного речевого и жестового интерфейсов пользователя. Региональная информатика и информационная безопасность: сборник трудов. Вып. 5. Советов Б. Я., Юсупов Р. М., Касаткин В. В. (ред.). СПб.: СПОИСУ, 2018, 273–277.

14. Карпов 2011 — Карпов А. А. Компьютерный анализ и синтез русского жестового языка. Вопросы языкознания, 2011, 6: 41–54.

15. Карпов 2013 — Карпов А. А. Машинный синтез русской дактильной речи по тексту. Научно-техническая информация. Серия 2: Информационные процессы и системы, 2013, 1: 20–26.

16. Карпов, Кагиров 2011 — Карпов А. А., Кагиров И. А. Формализация лексикона системы компьютерного синтеза языка жестов. Труды СПИИРАН, 2011, 1(16): 123–140.

17. Киммельман 2010 — Киммельман В. И. Базовый порядок слов в русском жестовом языке. Дипломная работа. М.: РГГУ, 2010.

18. Кипяткова, Карпов 2017 — Кипяткова И. С., Карпов А. А. Исследование нейросетевых моделей русского языка для систем автоматического распознавания слитной речи. Автоматика и телемеханика, 2017, 78(5): 110–122.

19. КРЖЯ — Корпус русского жестового языка. URL: http://rsl.nstu.ru/.

20. Львовская 2006 — Львовская А. Анализ видовой и временной системы глагола русского жестового языка (РЖЯ) на основании работы Ö. Dahl «Tense and Aspect Systems». Курсовая работа. М.: МГУ, 2006.

21. Ляшевская 2016 — Ляшевская О. Н. Корпусные инструменты в грамматических исследованиях русского языка. М.: Издательский дом ЯСК, 2016.

22. Мануева и др. 2014 — Мануева Ю. С., Гриф М. Г., Козлов А. Н. Построение системы компьютерного сурдоперевода русского языка. Труды СПИИРАН, 2014, 37(6): 170–187.

23. Правовые основы 2016 — Правовые основы реализации Конвенции ООН о правах инвалидов в Российской Федерации. Сборник нормативных правовых актов, принятых Российской Федерацией в целях выполнения положений Конвенции о правах инвалидов. Шестаков В. П. и др. (сост.). СПб.: НЦЭПР им. Г. А. Альбрехта Минтруда России, 2016.

24. Прозорова 2007 — Прозорова Е. В. Российский жестовый язык как предмет лингвистического исследования. Вопросы языкознания, 2007, 1: 44–61.

25. РЖЯБК 2001 — Русский жестовый язык. Базовый курс. Компьютерная обучающая система. М.: Истина, 2001.

26. Сурдосервер — Проект «Сурдосервер 2.0». URL: http://surdoserver.ru.

27. Сысоев, Гриф 2018 — Сысоев М. Д., Гриф М. Г. Разработка системы удаленного сурдоперевода для глухих. Разработка системы удаленного сурдоперевода для глухих. Инновационные инфокоммуникации XXI века: 19 межвуз. Всерос. студен. науч.-практ. (очно-заоч.) конф. Клепиков С. И. и др. (ред.). Хабаровск: ХИИК, 2018, 97–99.

28. Федорова 2012 — Федорова О. В. (ред.). Русский жестовый язык: Первая лингвистическая конференция. М.: Буки Веди, 2012.

29. Федорова 2018 — Федорова О. В. О русской жестикуляции с лингвистической точки зрения (к выходу монографии Е. А. Гришиной). Вопросы языкознания, 2018, 5: 114–123.

30. Филимонова, Душкина 2018 — Филимонова Е. В., Душкина В. А. Учебно-методическое пособие для изучающих русский жестовый язык. М., 2018. URL: https://www.academia.edu/38047551/Учебно-методическое_пособие_для_изучающих_русский_жестовый_язык.

31. Фрадкина 2001 — Фрадкина Р. Н. Говорящие руки: Тематический словарь жестового языка глухих России. М.: Рефл-бук, 2001.

32. Шамаро 2006 — Шамаро Е. Ю. Некоторые факты видо-временной системы РЖЯ. Современные аспекты жестового языка. Комарова А. А. (сост.). М.: ВОГ, 2006, 180–191.

33. AF 1996 — Arbeitsgruppe Fachgebärdenlexika. Fachgebärdenlexikon Psychologie. Hamburg: Signum, 1996.

34. Battison 1978 — Battison R. Lexical borrowing in American Sign Language. Silver Spring (MD): Linstok Press, 1978.

35. Bauer 2018 — Bauer A. Артикуляция слов в русском жестовом языке (РЖЯ). Deutsche Beiträge zum 16. Internationalet Slavistenkongress. Belgrad, 2018. Kempgen S. et al. (eds.). Wiesbaden: Harrassowitz Verlag, 2018, 35–44.

36. Brentari 1998 — Brentari D. A prosodic model of sign language phonology. Cambridge (MA): MIT Press, 1998.

37. Brentari et al. 2010 — Brentari D. (ed.). Sign languages. Cambridge: Cambridge Univ. Press, 2010.

38. Chomsky, Halle 1968 — Chomsky N., Halle M. The sound pattern of English. New York: Harper & Row, 1968.

39. Garcia, Sallandre 2013 — Garcia B., Sallandre M.-A. Transcription systems for sign languages: A sketch of the different graphical representations of sign language and their characteristics. Body — language — communication. An international handbook on multimodality in human interaction. Vol. 1. Müller C. et al. (eds.). Berlin: De Gruyter Mouton, 2013, 1125–1140.

40. Digitgestus — Digitgestus. URL: http://www.digitgestus.com.

41. Frischberg et al. 2012 — Frischberg N., Hoiting N., Slobin D. I. Transcription. Sign language. An international handbook. Pfau R. et al. (eds.). Berlin: De Gruyter Mouton, 2012, 1045–1075.

42. Grenoble 1992 — Grenoble L. An overview of Russian Sign Language. Sign Language Studies, 1992, 77: 321–338.

43. Hanke 2004 — HamNoSys — Representing sign language data in language. Resources and language processing contexts. URL: https://www.sign-lang.uni-hamburg.de/dgs-korpus/ﬁles/inhalt_pdf/HankeLRECSLP2004_05.pdf.

44. Hanke, Storz 2008 — Hanke T., Storz J. Ilex — a database tool for integrating sign language corpus linguistics and sign language lexicography. Proc. of LREC 2008, Sixth International Conf. on Language

45. Resources and Evaluation. Calzolari N. et al. (eds.). Paris: European Language Resources Association, 2008, 64–67.

46. Huang et al. 2017 — Huang J., Rathod V., Sun Ch., Zhu M., Korattikara A., Fathi A., Fischer I., Wojna Z., Song Y., Guadarrama S., Murphy K. Speed/accuracy trade-offs for modern convolutional object detectors. Proc. of 30th IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). Los Alamitos (CA): Institute of Electrical and Electronics Engineers, 2017, 3296–3297.

47. Johnston 2001 — Johnston T. The lexical database of Auslan (Australian Sign Language). Wilbur R. (ed.). Sign Language and Linguistics, 2001, 4(1/2): 145–169.

48. Karpov et al. 2014 — Karpov A., Markov K., Kipyatkova I., Vazhenina D., Ronzhin A. Large vocabulary Russian speech recognition using syntactico-statistical language modeling. Speech Communication, 2014, 56: 213–228.

49. Karpov et al. 2016 — Karpov A., Kipyatkova I., Zelezny M. Automatic technologies for processing spoken sign languages. Procedia Computer Science, 2016, 81: 201–207.

50. Kennedy et al. 1997 — Kennedy G., Arnold R., Dugdale P., Fahey S., Moskovitz D. (eds.). A dictionary of New Zealand Sign Language. Auckland: Auckland Univ. Press; Bridget Willam Books, 1997.

51. Kimmelman 2009 — Kimmelman V. Reflexive pronouns in Russian Sign Language and Sign Language of the Netherlands. MA thesis. Amsterdam: Univ. of Amsterdam, 2009.

52. Kimmelman 2014 — Kimmelman V. Information structure in Russian Sign Language and Sign Language of the Netherlands: Ph.D. diss. Amsterdam: Univ. of Amsterdam, 2014.

53. Language Archive — The Language Archive. URL: https://tla.mpi.nl/forums/software/elan.

54. Liddell, Johnson 1983 — Liddell S., Johnson R. E. American Sign Language: The phonological base. Washington (D.C.): Ms. Gallaudet Univ., 1983.

55. Perlmutter 1992 — Perlmutter D. M. Sonority and syllable structure in American Sign Language. Linguistic Inquiry, 1992, 3(23): 407–442.

56. Prillwitz et al. 1989 — Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages. An introductory guide. Hamburg: Signum Verlag, 1989.

57. Ryumin et al. 2019 — Ryumin D., Kagirov I., Ivanko D., Axyonov A., Karpov A. A. Automatic Detection and Recognition of 3D Manual Gestures for Human-machine Interaction. ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences. 2019, XLII-2/ W12: 179–183.

58. RSL — “Russian Sign Language” at Ethnologue. URL: https://www.ethnologue.com/language/rsl. Sandler 1986 — Sandler W. The spreading hand autosegment of American Sign Language. Sign Language Studies, 1986, 50: 1–28.

59. Sandler 2012 — Sandler W. The Phonological organization of sign languages. Language and Linguistic Compass, 2012, 6(3): 162–182.

60. Sandler, Lillo-Martin 2006 — Sandler W., Lillo-Martin D. Sign language and linguistic universals. Cambridge: Cambridge Univ. Press, 2006.

61. SLCN — Sign Linguistics Corpora Network. URL: https://www.ru.nl/slcn/.

62. Spreadthesign — Spreadthesign. URL: https://www.spreadthesign.com/ru.ru/search.

63. Stokoe 1960 — Stokoe W. C. Sign language structure: An outline of the visual communication systems of the American deaf. Buffalo: Dept. of Anthropology and Linguistics, Univ. of Buffalo, 1960.

64. Sutton 1995 — Sutton V. Lessons in sign writing. Textbook and workbook. La Jolla (CA): Deaf Action Committee for Sign Writing, 1995.

65. Thiessen 2011 — Thiessen S. A grammar of sign writing. MA thesis. Grand Forks (ND): Univ. of North Dakota, 2011.

66. Van der Hulst, Channon 2010 — van der Hulst H., Channon R. Notation systems. Sign languages. (Cambridge Language Surveys.) Brentari D. (ed.). Cambridge: Cambridge Univ. Press, 2010, 151–172.