Мультимодальная репрезентация в составе коммуникативного события (когнитивно-дискурсивный аспект)

В статье рассматривается концептуальная структура термина «мультимодальный» и его английского переводного эквивалента “multimodal” в ретроспективе его осмысления в контексте современных представлений о мультимодальной коммуникации, а также пересечений с семиотикой и когнитивными исследованиями. Развитие новых смыслов в структуре концепта прослеживается с использованием компьютерных методов на основе рассмотрения дистрибутивной семантики лексем в частотных фрагментах их функционирования. Данный подход выявляет ассимилятивные связи слов и отражает языковую репрезентацию концептосферы. Различные семиотические ресурсы в структуре многомерного объекта могут быть представлены актуально или потенциально (в виде ментальной репрезентации). Нарративность визуального выявляется по отношению к использованию вербальных элементов в живописи. Одним из примеров является включение букв и их сочетаний в изобразительное пространство произведения искусства. В названиях некоторых подобных произведений используются «речевые маркеры», которые могут быть развернуты в целую ситуацию. Перевод таких дискурсивных единиц становится «интерсемиотическим», поскольку он охватывает широкий диапазон значений и смыслов в пространственной перспективе объекта искусства, обусловленных индивидуальным восприятием зрителя. Большой объем информации, заключенный в короткое слово или фразу, тем самым подвергается интерпретации.

мультимодальная репрезентация, дистрибутивные синонимы, социальная семиотика, интерсемиотический перевод, категоризация мира

1. Гвишиани 2022 – Гвишиани Н.Б. Лингвопрагматические особенности взаимодействия вербального и невербального компонентов мультимодального текста в коммуникативном пространстве различных типов дискурса // Вопросы когнитивной лингвистики. 2022. № 1. С. 5–17.

2. Кибрик, Молчанова 2013 – Кибрик А.А., Молчанова Н.Б. Каналы мультимодальной коммуникации: относительный вклад в понимание дискурса // Мультимодальная коммуникация: теоретические и эмпирические исследования: Материалы семинара. М., 2013. С. 99–114.

3. Троцук 2014 – Троцук И. Нарративность визуального, или о пользе несоциологического чтения // Социологическое обозрение. 2014. Т. 13. № 1. С. 242–258.

4. Eco 1979 – Eco Umberto. A Theory of Semiotics. Bloomington: Indiana University Press, 1979. 354 p.

5. Kay et al. 2016 – Kay L., O’Halloran S., Tan S., Wignell P. Intersemiotic Translation as Resemiotisation: A Multimodal Perspective // SIGNATA. 2016. No 7. P. 119–129 [Электронный ресурс]. URL: https://doi.org/10.4000/signata.1223 (дата обращения 31 мая 2022)