lobrjЛингвистика и образованиеLinguistics & education2712-9519FSBEI НЕ Astrakhan SMU МОН Russia10.17021/2712-9519-2025-2-74-89lobrj-192Research ArticleЛИНГВИСТИКАСовременные подходы к исследованию мультимодальностиCurrent approaches to the investigation of multimodalityКёпкеК.KöpkeK.

Кёпке Катрин – доцент кафедры линводидактики.

Пермь

Katrin Köpke - associate professor, department of linvodidactics, Perm state national research university.

Perm

koepkekathrin@yahoo.deПермский государственный национальный исследовательский университетРоссияPerm state national research universityRussian Federation202514072025527489Copyright © Кёпке К., 20252025Кёпке К.Köpke K.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.lobrj.ru/jour/article/view/192

Статья посвящена исследованию семиотики мультимодальных феноменов. Мультимодальность является ключевой характеристикой междисциплинарного подхода, направленного на описание комплекса модусов (визуальных, звуковых и др.) коммуникации. Исследования в русле мультимодальности ориентированы на системный анализ условий коммуникации, в том числе цифровых медиа и технологий. Принимая во внимание, что прагматика языка реализуется только в мультимодальном контексте, мультимодальный подход предполагает широкую палитру методов анализа цифровых медиа и дискурсов.

Данная статья представляет собой критический обзор и систематизацию подходов к мультимодальным исследованиям языка и анализу семиотически сложных текстов. Некоторые из представленных подходов к исследованию отношений вербального и визуального модусов (например, вербально-визуальная семиотика) анализируют взаимодействие между языком и изображением при создании смысла. Другие подходы фокусируются на прагматической коммуникации (например, визуально-вербальная риторика).

The article is dedicated to the study of the semiotics of multimodal phenomena. Multimodality is an essential feature of an interdisciplinary approach that aims to describe a range of modes (visual, acoustic, etc.). Multimodality research focuses on the systemic analysis of communication conditions, including digital media and technologies. Since the pragmatics of language is only realised in a multimodal context, a multimodal approach implies a wide range of methods for analysing digital media and discourse.

This article is a critical overview of the approaches of multimodal language research. It aims to systematise them for the analysis of semiotically complex texts. Some of the approaches presented for investigating the relationship between language and image, such as verbal-visual semiotics, analyse the interaction between language and image in the creation of meaning. Others focus on pragmatic communication, such as visual-verbal rhetoric.

мультимодальный поворотзнаковые ресурсывербально-визуальная семиотикавизуально-вербальная риторикаисследования производства мультимодальных текстовисследования рецепции мультимодальных текстованализ мультимодальных метафорисследование типографикиmultimodal turnsign resourcesverbal-visual semioticsvisual-verbal rhetoricmultimodal text production researchmultimodal text reception researchmultimodal metaphor analysistypography researchReferencesSachs-Hombach K. Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic-Turns. – Frankfurt a.M.: Suhrkamp, 2009. – 437 s.Sachs-Hombach K. Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic-Turns. – Frankfurt a.M.: Suhrkamp, 2009. – 437 s.Kress G. Literacy in the New Media Age. – London: Routledge, 2003. – 208 p.Kress G. Literacy in the New Media Age. – London: Routledge, 2003. – 208 p.Bucher H.-J. „Man sieht, was man hört“ oder Multimodales Verstehen als interaktionale Aneignung. Eine Blickaufzeichnungsstudie zur audiovisuellen Rezeption. In: Jan Georg Schneider/Hartmut Stöckl (Hrsg.): Medientheorien und Multimodalität. Ein TV-Werbespot – Sieben methodische Beschreibungsansätze. – Köln, 2011. – Ss. 109-150.Bucher H.-J. „Man sieht, was man hört“ oder Multimodales Verstehen als interaktionale Aneignung. Eine Blickaufzeichnungsstudie zur audiovisuellen Rezeption. In: Jan Georg Schneider/Hartmut Stöckl (Hrsg.): Medientheorien und Multimodalität. Ein TV-Werbespot – Sieben methodische Beschreibungsansätze. – Köln, 2011. – Ss. 109-150.Jewitt C. The Routledge Handbook of Multimodal Analysis. 2nd edition. – London: Routledge, 2014. – 562 p.Jewitt C. The Routledge Handbook of Multimodal Analysis. 2nd edition. – London: Routledge, 2014. – 562 p.Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design. Second Edition. – London: Routledge, 2006. – 288 с.Kress G., van Leeuwen T. Reading Images: The Grammar of Visual Design. Second Edition. – London: Routledge, 2006. – 288 с.Bateman J., Wildfeuer J., Hiippalle T. Multimodality. Foundations, Research and Analysis. A Problem Oriented Introduction. – Berlin, Boston: De Gruyter, 2017. – 424 p.Bateman J., Wildfeuer J., Hiippalle T. Multimodality. Foundations, Research and Analysis. A Problem Oriented Introduction. – Berlin, Boston: De Gruyter, 2017. – 424 p.van Leeuwen T. Introducing Social Semiotics. – London: Routledge, New York, 2005. – 301 p.van Leeuwen T. Introducing Social Semiotics. – London: Routledge, New York, 2005. – 301 p.Stöckl H. Multimodalität – Semiotische und textlinguistische Grundlagen. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Ss. 3-35.Stöckl H. Multimodalität – Semiotische und textlinguistische Grundlagen. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Ss. 3-35.van Leeuwen T. Semiotic and Iconography. In: Leeuwen, van Theo; Jewitt, Carey (ed.): Handbook of Visual Analysis, London: Routledge, 2001. – Ss. 92‐118.van Leeuwen T. Semiotic and Iconography. In: Leeuwen, van Theo; Jewitt, Carey (ed.): Handbook of Visual Analysis, London: Routledge, 2001. – Ss. 92‐118.Kress G. Multimodality. A social semiotic approach to contemporary communication. – London, New York: Routledge, 2010. – 212 p.Kress G. Multimodality. A social semiotic approach to contemporary communication. – London, New York: Routledge, 2010. – 212 p.Halliday M.A.K. Language as social semiotic. The social interpretation of language and meaning. – London: Edward Arnold, 1978. – 256 p.Halliday M.A.K. Language as social semiotic. The social interpretation of language and meaning. – London: Edward Arnold, 1978. – 256 p.MODE (2012). Glossary of multimodal terms [National Centre for Research Methods]. Available at: https://multimodalityglossary.wordpress.com/genre/ (accessed 12 February 2025).MODE (2012). Glossary of multimodal terms [National Centre for Research Methods]. Available at: https://multimodalityglossary.wordpress.com/genre/ (accessed 12 February 2025).Bateman J. Multimodality and Genre. A Foundation for the Systematic Analysis of Multimodal Documents. – London: Palgrave Macmillan, 2008. – 331 p.Bateman J. Multimodality and Genre. A Foundation for the Systematic Analysis of Multimodal Documents. – London: Palgrave Macmillan, 2008. – 331 p.Kress Gunther/van Leeuwen, Theo Multimodal Discourse. The modes and media of contemporary communication. – London: Bloomsbury Academic, 2017. – 142 p.Kress Gunther/van Leeuwen, Theo Multimodal Discourse. The modes and media of contemporary communication. – London: Bloomsbury Academic, 2017. – 142 p.Mayr Andrea Multimodal Critical Discourse Analysis (MCDA). In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 261-276.Mayr Andrea Multimodal Critical Discourse Analysis (MCDA). In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 261-276.Tereick J. Klimawandel im Diskurs: Multimodale Diskursanalyse Crossmedialer Corpora. – Berlin und Boston: de Gruyter, 2016. – 443 p.Tereick J. Klimawandel im Diskurs: Multimodale Diskursanalyse Crossmedialer Corpora. – Berlin und Boston: de Gruyter, 2016. – 443 p.Sorokina Iu. V. Poniatie mul'timodalnosti i voprosy analiza mul'timodal'nogo lektsionnogo diskursa. – Tabov: Gramota, 2017. – Pp. 168-170.Sorokina Iu. V. Poniatie mul'timodalnosti i voprosy analiza mul'timodal'nogo lektsionnogo diskursa. – Tabov: Gramota, 2017. – Pp. 168-170.Egbert S. Diskurs und Materialität. Eine Dispositivanalyse des Drogentests. – Wiesbaden: Springer, 2022. – 348 p.Egbert S. Diskurs und Materialität. Eine Dispositivanalyse des Drogentests. – Wiesbaden: Springer, 2022. – 348 p.Klug N.-M., Stöckl H. Sprache im multimodalen Kontext. In: Felder, Ekkehard, Gardt, Andreas (HG): Handbuch Sprache und Wissen. – Berlin und Boston: de Gruyter, 2015. – Pp. 242-264.Klug N.-M., Stöckl H. Sprache im multimodalen Kontext. In: Felder, Ekkehard, Gardt, Andreas (HG): Handbuch Sprache und Wissen. – Berlin und Boston: de Gruyter, 2015. – Pp. 242-264.Forceville C. Pictorial and multimodal Metaphor. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 241-260.Forceville C. Pictorial and multimodal Metaphor. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 241-260.Knape J. Multimodalität aus rhetoriktheoretischer Sicht // IMAGE. Zeitschrift für interdisziplinäre Bildwissenschaft. – 2018. – Heft 28, Jg. 14. Nr. 2. – Pp. 47-60. DOI: https://doi.org/10.25969/mediarep/16403.Knape J. Multimodalität aus rhetoriktheoretischer Sicht // IMAGE. Zeitschrift für interdisziplinäre Bildwissenschaft. – 2018. – Heft 28, Jg. 14. Nr. 2. – Pp. 47-60. DOI: https://doi.org/10.25969/mediarep/16403.Koch N., Schirren T. Verbal-visuelle Rhetorik. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 217-20.Koch N., Schirren T. Verbal-visuelle Rhetorik. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 217-20.Spitzmüller J. Typographie – Sprache als Schriftbild. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 99-120.Spitzmüller J. Typographie – Sprache als Schriftbild. In: Stöckl, Hartmut, Klug, Nina-Maria (HG) Handbuch Sprache im multimodalen Kontext. – Berlin und Boston: de Gruyter, 2016. – Pp. 99-120.Crystal D. Toward a typographical linguistics // Type. A Journal of the Association Typographique Internationale. – 1998. – 2 (1). – Pp. 7-23.Crystal D. Toward a typographical linguistics // Type. A Journal of the Association Typographique Internationale. – 1998. – 2 (1). – Pp. 7-23.Fix U. Nichtsprachliches als Textfaktor. Medialität, Materialität, Lokalität // Zeitschrift für Germanistische Linguistik. – 2008. – 36 (3). – Pp. 343-354.Fix U. Nichtsprachliches als Textfaktor. Medialität, Materialität, Lokalität // Zeitschrift für Germanistische Linguistik. – 2008. – 36 (3). – Pp. 343-354.Spitzmüller J. Graphische Variation als soziale Praxis. Eine soziolinguistische Theorie skripturaler ‚Sichtbarkeit‘. – Berlin/Boston: de Gruyter, 2013. – 521 p.Spitzmüller J. Graphische Variation als soziale Praxis. Eine soziolinguistische Theorie skripturaler ‚Sichtbarkeit‘. – Berlin/Boston: de Gruyter, 2013. – 521 p.

The authors declare that there are no conflicts of interest present.