El análisis multimodal como base para el estudio de la entonación con valor expresivo. Acercamiento a la relación prosodia-gesto en datos de hablantes cultos de Santa Clara

Multimodal Analysis as a Basis for Studying Intonation with Expressive Value: An Approach to the Prosody-Gesture Relationship in Speech Data from Educated Speakers in Santa Clara

PALABRAS CLAVE: análisis multimodal; estudio de la entonación; valor expresivo; relación prosodia-gesto

CONTRIBUCIÓN DE AUTORÍA

INTRODUCCIÓN

Concepción y/o diseño de investigación: Adriana Pedrosa Ramírez (40 %) Madeleyne Bermúdez Sánchez (40 %) Raquel María García Riverón (20 %)	Adquisición de datos: Adriana Pedrosa Ramírez (70 %) Madeleyne Bermúdez Sánchez (20 %) Raquel María García Riverón (10 %)
Análisis e interpretación de datos: Adriana Pedrosa Ramírez (50 %) Madeleyne Bermúdez Sánchez (30 %) Raquel María García Riverón (20 %)	Escritura y/o revisión del artículo: Adriana Pedrosa Ramírez (50 %) Madeleyne Bermúdez Sánchez (40 %) Raquel María García Riverón (10 %)

En el ámbito de la comunicación y, más específicamente, en la lingüística, si bien los estudios han resaltado los niveles de abstracción y las dificultades para el abordaje de las emociones y la expresividad,¹ se observan desde mediados del siglo xx acercamientos de gran valor para la ciencia del lenguaje.

En las investigaciones sobre prosodia y emoción —nombradas fonoemoción o entonación emocional o expresiva— (Navarro Tomás, 1968; Quilis, 1981; Prieto, 2002; Cantero Serena, 2014, 2019; Hidalgo Navarro, 1998, 2019, 2020; Garrido, 2011; Padilla, 2022 y en América, Moraes, 2008; Rebollo Couto, 2014; Butragueño, 2015; Velásquez Upegui, 2015; Carbajal-Carrera, Martínez & Ramos, 2020), algunos autores reconocen la existencia de un grupo de unidades de entonación a las que es posible atribuir estos valores y, otros, realizan estudios de caso, generalmente con habla controlada o con algún tipo de unidad específica, sin llegar a grandes generalizaciones ni sistematizar el uso de patrones o rasgos prosódicos con valores expresivos.

La mayoría de los autores entiende la expresividad ligada a las emociones del hablante. Desde la temprana definición de Navarro Tomás (1968) de entonación emocional hasta las investigaciones más actuales, se analiza la relación que se da entre el uso de determinados rasgos prosódicos del habla y la expresión de estados emocionales como la alegría, la tristeza, el enfado, el miedo, etcétera. Los investigadores se han encontrado ante un número elevado de emociones, cuyos rasgos prosódicos pueden interconectarse, por lo que resulta difícil, a su juicio, encontrar patrones específicos de cada tipo de emoción. Esta dispersión impide hallar correspondencias estables y unívocas entre rasgos prosódicos y valores expresivos.

Por tal motivo, se considera pertinente enfrentar el estudio de la entonación expresiva partiendo de un enfoque sustentado en la Teoría de la Complejidad, que indague en la manera en que emergen los valores expresivos, no a partir de rasgos o patrones inconexos, sino como realidades interconectadas entre sí y con otros medios semióticos de expresión verbales y extraverbales. En el enfoque multimodal, perspectiva teórica aplicada al estudio semiótico de los textos y discursos, encuentra esta teoría los métodos apropiados para el estudio de la entonación como sistema dinámico y complejo. De esta manera, este trabajo se traza dos objetivos: explicar los engarces entre el análisis multimodal y la Teoría de la Complejidad como base para un estudio de la entonación con valor expresivo; asimismo, demostrar a través de datos empíricos la efectividad de este enfoque para explicar la emergencia de significados expresivos en el discurso.

RESULTADOS

El análisis multimodal y la Teoría de la Complejidad: dos perspectivas que confluyen para la interpretación de los significados de la entonación

El principio fundamental del que parte la Teoría de la Complejidad, aplicada a la explicación de los sistemas complejos, es el de la emergencia de estructuras nuevas que surgen de la interacción de los componentes del sistema, los nodos (Ballesteros, 2014). Así, la complejidad consiste en explicar el surgimiento de dichas entidades, que nacen de la actividad coordinada de las partes. Por otro lado, los sistemas complejos se caracterizan por ser abiertos e inestables, ya que pueden ocurrir en ellos cambios constantes: las bifurcaciones (Morin, 2003; Ballesteros, 2014). Extrapolado al estudio de la lengua, esta se define, entonces, como un Sistema Dinámico Complejo (SDC), formado por una serie de subsistemas (nodos) que se entrelazan entre sí (interactúan), a modo de redes neuronales.

En un modelo de análisis de la entonación (entendido como subsistema de la lengua) que asuma esta perspectiva, se entiende que las relaciones entre los nodos o elementos que lo forman no son estáticas ni lineales; este rasgo, se vincula al carácter no unívoco de las relaciones patrón de entonación/rasgo prosódico-significado (Bermúdez, García y Pedrosa, 2021: 359).

Precisamente, el enfoque multimodal —una de las perspectivas más recientes en el terreno del estudio de los signos—, en muchos puntos coincidente con esta teoría, ya que atribuye gran importancia al principio de interacción en el estudio de la semiosis discursiva. En él se atiende el estudio del lenguaje en sus interacciones (relación del habla con los gestos, las posturas, los espacios, los silencios, etc.). Siendo así, las unidades de un sistema entonativo, los patrones de entonación, y sus rasgos prosódicos constituyentes, no se enlazan de manera unívoca con determinadas unidades de sentido, sino que adquieren diversos significados en sus interacciones semióticas con otros modos de expresión verbales y extraverbales.

De manera que, al asumir el carácter complejo de un sistema de entonación, el estudio de su significado debe tener en cuenta posiciones epistemológicas diferentes: la explicación del significado autónomo de sus unidades (como unidades abstractas) y la emergencia de nuevos significados en el discurso, como resultado de procesos de interacción semiótica. En este último caso, la entonación contribuye a formar unidades comunicativas de mayor complejidad: los actos de habla interaccionales (AHI) (García, 1998).

Considerando estas premisas, es posible encontrar confluencias razonables entre el enfoque multimodal y el estudio de la entonación como SDC: la entonación se define como un subsistema complejo que conforma AHI «un signo complejo que comporta la interacción de los medios de expresión léxicos, gramaticales, prosódicos y kinésicos en el discurso oral» (García, 2005: 30). Estos actos de habla son, igualmente, unidades «con sentido íntegro emitido por el hablante, es un mensaje codificado dentro de un grupo social y registros funcionales determinados de la lengua oral. Ese conjunto de signos forma un signo en sí mismo» (García, 1998: 64), por lo que «le permite originar a su vez un significado resultante de un proceso de semiosis en el discurso oral» (García, 1998: 77).

Precisamente, la tarea de aplicar esta visión a los estudios prosódicos del discurso se comienza en la Escuela Cubana de Entonación con el análisis multimodal de textos audiovisuales, desde la Teoría de la Complejidad (García, Marrero y Acosta, 2021). Ambos enfoques, uno como perspectiva para el estudio de los sistemas complejos, y el otro para el estudio de la semiosis discursiva, constituyen el basamento teórico-metodológico fundamental en el que se sustenta la propuesta de análisis de la entonación expresiva que se presenta en este trabajo.

El enfoque multimodal en los estudios de discurso. Integración del componente no verbal como modo (o nodo) de los sistemas básicos de comunicación humana

El análisis del discurso multimodal (ADM) se ha instaurado como un nuevo paradigma, ampliando el estudio del lenguaje verbal en combinación con otros recursos tales como las imágenes, la gestualidad, las acciones, la música y el sonido. Se ocupa de la teoría y del análisis de los recursos semióticos y de las expansiones semánticas que tienen lugar a medida que en los fenómenos multimodales se combinan las diferentes opciones semióticas disponibles (O’Halloran, 2012). También se ocupa del diseño, la producción y la distribución de los recursos multimodales en contextos sociales (van Leeuwen, 2008) y de la resemiotización (Iedema, 2003) de los fenómenos multimodales que tiene lugar a medida que se despliegan las prácticas sociales.

Desde esta perspectiva, las unidades de análisis son los recursos semióticos de un texto, entendidos como los modos —nodos de una red neuronal desde la Teoría de la Complejidad— que se integran de forma transversal en modalidades sensoriales (como la visual, auditiva, táctil, olfativa, gustativa, quinésica) en los textos, discursos y actividades multimodales, a los que denomina fenómenos multimodales (O’Halloran, 2012).

De tal modo, los lenguajes se consideran sistemas complejos, cuyos modos de expresión (verbales y no verbales) interactúan para conformar textos eminentemente multimodales. Numerosos estudios muestran que la modalidad oral no es suficiente para captar toda la información relevante para el procesamiento del lenguaje tanto a nivel comunicativo como cognitivo. Los textos orales son esencialmente multimodales. «Una simple conversación se ve naturalmente acompañada de gestos y, en el caso de situaciones comunicativas más formales, como una ponencia, es de esperar que se utilicen imágenes o videos de apoyo» (Cárcamo, 2018: 147).

En tal sentido, se entiende por comunicación no verbal: «todos los signos y sistemas de signos no lingüísticos que comunican o se utilizan para comunicar» (Cestero, 2006: 57). Es un concepto bastante amplio en el que se integran los hábitos y las costumbres culturales, así como los denominados sistemas de comunicación no verbal.

Las emisiones de signos activos [un gesto, un sonrojo] o pasivos [una postura estática, la ropa], constituyan o no comportamiento [un gesto lo es, pero no un perfume], a través de los sistemas somáticos no léxicos [gestos, reacciones químicas], objetuales [el cigarrillo en la mano] y ambientales [temperatura, espacios arquitectónicos que pueden influir en el discurso], contenidos en una cultura concreta [con posibles diferencias transculturales]) y producidos aisladamente [un guiño sin palabras, un carraspeo de indecisión] o en mutua coestructuración [palabra-gesto, palabra-gesto-lágrimas]. (Poyatos, 2018: 6)

Al hablar de coestructuración de signos, Poyatos (2018) se refiere a otro concepto, refrendado también por la Teoría de la Complejidad y que se considera la base de todo proceso de comunicación: la interacción, que define como el intercambio consciente o inconsciente de signos que determinan las características peculiares y únicas de cada intercambio.

El paralenguaje, la quinésica, la proxémica y la cronémica se entienden como los cuatro sistemas de comunicación no verbal reconocidos hasta el momento. De ellos, los dos primeros, uno fónico y otro corporal, son considerados sistemas básicos o primarios por su implicación directa en cualquier acto de comunicación humana, ya que se ponen en funcionamiento, a la vez que el sistema verbal, para producir cualquier enunciado.

El sistema paralingüístico está formado por las cualidades y los modificadores fónicos, los indicadores sonoros de reacciones fisiológicas y emocionales, los elementos cuasi-léxicos y las pausas y silencios que, a partir de su significado o de alguno de sus componentes inferenciales, comunican o matizan el sentido de los enunciados verbales. El sistema quinésico lo conforman los movimientos y las posturas corporales que comunican o matizan el significado de los enunciados verbales, incluyéndose, además, dentro de él, aspectos tan relevantes como la mirada o el contacto corporal (Cestero, 2006). Comprende, pues, todo movimiento o posición observable: gestos, maneras, posturas, la mirada, un respingo, un tic, y cualquier mínimo acto cinético visible (Poyatos, 2018).

En resumen, se habla de una indiscutible unión entre lo que se dice, cómo se dice y cómo nos movemos al decirlo, estructura triple básica de la comunicación que el propio Poyatos simplificó como: «un continuo verbal paralingüístico-kinésico» (2018: 7).

La interacción prosodia-gesto como coestructuración de modos del discurso oral

La indagación sobre los principales estudios acerca de la interacción entre la prosodia y el componente gestual, permite ubicar algunos trabajos en el ámbito hispánico en las últimas décadas (McKinnon y Prieto, 2014; Sarymsakova, 2018, 2022; Hidalgo, 2019).

En consonancia con el estudio de la entonación como SDC y desde una postura anclada en el carácter multimodal del discurso, se asume en este trabajo una visión integrada de ambos sistemas que coexisten en la construcción y expresión del significado de los actos de habla.

Para Bolinger (1986), se debe estudiar la entonación desde una concepción paralingüística y quinésica, privilegiando la función emotiva, por lo que determina que la entonación se relaciona con un complejo de gestos cuya función primaria es señalar o indicar emociones. En tal sentido reconoce el carácter espontáneo de su ejecución, así como su planificación en determinados casos. Asume que, de manera individual, cada uno genera significados propios, pero cuando están en contacto producen otros significados contextuales.

Por otra parte, este autor enfatiza la ventaja del código entonativo, asumiendo que un gesto físico no está ligado necesariamente a la corriente del discurso verbal, por lo que su ejecución puede anteponerse al acto discursivo propio. La entonación, por su parte, actúa en consonancia con el resto del complejo de gestos y para ser entendida debe ser en su propio marco, de modo que no pierde su identidad en el proceso.

Por su parte, Hidalgo (2006, 2019, 2020) comparte la idea de que, en una conversación, o situación comunicativa dada, el mensaje transmitido por el emisor es decodificado por el receptor o destinatario, una vez que identifica previamente los elementos prosódicos (segmentales o suprasegmentales), y los elementos particulares de la comunicación no verbal manifiestos, es decir, paralingüísticos y quinésicos. Según Hidalgo (2019), debe asumirse el enfoque multimodal, pues «junto con los indicadores lingüísticos (evidenciales, superlativos, hipérboles, lítotes) o prosódicos, los gestos (movimientos corporales y faciales) contribuyen decisivamente a delimitar el significado preciso de nuestras emisiones» (Hidalgo, 2019: 280).

Como se evidencia, se atribuye a la entonación un carácter paralingüístico por su función supuestamente complementaria o acompañante del significado del enunciado, que cobra sentido en el contexto. Desde la perspectiva que se asume, sin embargo, se trata de un subsistema lingüístico propio, conformado por unidades sígnicas complejas, los patrones de entonación.

Se utiliza el término patrón para definir una unidad acústico-prosódica mínima en la que ocurren interacciones de frecuencia fundamental, tiempo, intensidad y, virtualmente, timbre (García et al., 2020). A los patrones se les atribuyen significados semántico-pragmáticos relativamente autónomos o emergentes de procesos interaccionales multisistémicos, con diferentes grados de sistematización, y por tanto, analizables teniendo en cuenta diferentes criterios epistemológicos: 1. el significado codificado en el sistema de la lengua, derivado de la entonación y con independencia del resto de los medios expresivos; 2. el significado que emerge de la interacción sistemática entre la entonación y determinadas estructuras léxico-gramaticales, parcialmente codificados por el uso; 3. el significado estrictamente pragmático por su dependencia de los procesos inferenciales que emanan del contexto (Bermúdez, 2019).

Es en esta tercera dimensión del significado de la entonación donde se hace evidente su dependencia de procesos interaccionales multisistémicos en los que actúa en correlación con los medios kinésicos de expresión. Siendo así, el significado de los actos de habla emerge de dichas interacciones que cobran sentido en un contexto y situación específicos. Los gestos desempeñan aquí una función coexpresiva y paralela a la expresión oral, lo que McNeill y Duncan (2000) llaman growthpoint: la unidad mínima referida al conjunto de codificación lingüística y mensaje pragmático, que se realiza simultáneamente a través de los canales gestual y verbal. Este concepto es análogo a la unidad de análisis acto de habla interaccional (AHI) expuesta por García (1998), al entenderlo también como una unidad mínima que comporta la coacción de los medios de expresión léxicos, gramaticales, prosódicos y quinésicos en el discurso oral.

Teniendo en cuenta estos aspectos, como se verá en el siguiente apartado, en el análisis de la gestualidad en actos de habla asociados a valores expresivos, deben integrarse el criterio formal y funcional, que dé cuenta de la naturaleza del gesto y sus funciones en interacción con la estructura lingüística (morfosintáctica y léxica) y prosódica del acto de habla. Se seguirá, por tanto, la taxonomía de Forgas y Herrera (1999), a fin de caracterizar el gesto partiendo de su estructura y llegando a su carácter significativo y comunicativo.

La expresividad como rasgo semántico modal de los actos de habla. Principales acercamientos a su expresión prosódica y gestual

Teniendo en cuenta los criterios refrendados por autores como Beller (2009), Caballero (2002), Galbán (2014) y Alba-Juez (2019, 2020) se relacionan emoción y lenguaje a través del concepto de expresividad, entendida como el acto de exteriorizar el estado emocional-afectivo a través de la lengua y el discurso. Son aquellas demostraciones del hablante que incluyen emociones, actitudes, estados de ánimo y psicológicos y que se expresan en sus actos de habla, los cuales adquieren determinados rasgos semántico-pragmáticos de expresividad. Estos rasgos o atributos modales coexisten con el significado ilocutivo del acto de habla, por lo que es posible hablar de un significado dimensional que integra el valor ilocutivo, asociado a la intención del hablante, y un valor modal, asociado a la actitud psicológica que asume. Aunque el significado semántico modal se analiza en varias macrocategorías (Véase Caballero, 2002; Galbán 2014), interesa a este estudio aquellos rasgos modales que se asocian a las macrocategorías de expresividad y afectividad.

Ahora bien, en la última década se ha mostrado un interés marcado por el estudio de la entonación emotiva. En las disímiles aproximaciones se parte de la psicología para definir entre 4 y hasta 8 emociones básicas y se aprecia una preferencia por los estudios con habla controlada o actuada, aunque se va haciendo hincapié en la importancia del trabajo con corpus espontáneos.

En estos trabajos se ha concluido que, en sentido general, la expresividad se asocia a alteraciones en las estructuras prosódicas neutrales de actos enunciativos e interrogativos, mediante cambios en el rango tonal, la altura tonal, uso de tonemas circunflejos (Hidalgo, 2006; Garrido, 2011), variación en la duración de los acentos nucleares (Rebollo, 2014).

Martín Butragueño (2015), sin embargo, realiza un estudio de la prosodia de actos de habla expresivos mediante datos del español de México, con un corpus recogido a partir de la técnica del juego de roles. Uno de sus supuestos es «que la expresividad no solo es un grado enfático de otras modalidades prosódicas, sino que tiene propiedades específicas» (Butragueño, 2015: 2). Al comparar actos expresivos de placer con actos de dolor o gusto, por ejemplo, este autor refiere:

No habría, al menos en estos ejemplos, grandes diferencias entre el placer y el gusto, lo que quizás permite atisbar una primera hipótesis sobre las ejecuciones prosódicas: que habría dos grandes tendencias, dos actitudes básicas hacia la expresividad, una positiva y otra negativa, más que un correlato prosódico para cada subtipo pragmático. (Butragueño, 2015: 11)

Por su parte, Velásquez Upegui (2015) analiza datos de lectura y datos semiespontáneos elicitados con 16 hablantes oriundos de cuatro ciudades colombianas: Bogotá, Cali, Medellín y Cartagena. Sus resultados indican que las diferencias entre los enunciados exclamativos y aseverativos no solo se manifiestan en las modificaciones de la altura y el campo tonal, sino también en la presencia de patrones prosódicos particulares asociados a su función expresiva. Así, la realización prosódica de los enunciados exclamativos o expresivos analizados se diferencia de los actos de habla aseverativos en cuanto al patrón melódico, la amplitud del campo tonal y la duración silábica.

En los últimos años, se han realizado trabajos como los de Padilla (2020, 2022), interesados por el estudio con habla espontánea para lo cual emplea conversaciones coloquiales del corpus Val.Es.Co 2.0. Partiendo de la definición de la emoción como respuesta-reacción ubicada en un contexto, concluye que los enunciados emocionales presentan algún tipo de variación (aumento, descenso, mantenimiento) en las medias de las magnitudes acústicas F0, Db y VEL. «Es posible por tanto afirmar que sí hay algunas regularidades en la prosodia emocional» (Padilla, 2022: 14).

A partir de las evidencias obtenidas en los citados estudios empíricos, es posible hablar de una entonación expresiva que contrasta con la entonación de comportamiento neutral. La entonación expresiva es entendida en esta investigación, por tanto, como el conjunto de rasgos prosódicos de la voz (movimientos tonales, intensidad, tiempo, tempo, campo tonal, etc.) que se vinculan a la expresión de los estados emotivos, afectivos y actitudes psicológicas de los hablantes.

Ahora bien, con respecto a la gestualidad se ha llegado a una sistematización de las tipologías gestuales que interactúan con la prosodia y la expresión de emociones. Entre las taxonomías gestuales al uso se encuentra la de Ekman y Friesen (1971), ampliada en los estudios de Ekman y Keltner (1997) y Ekman (2004). En ellas se diferencian diversas categorías gestuales según sus funciones comunicativas, y se advierte sobre la dificultad de establecer un gesto puro en sí.²

Por su parte, Cestero (2006), simplifica su propuesta de tipologías gestuales, agrupándolos por un criterio formal, según la extremidad del cuerpo involucrada. Distingue dos tipos de gestos básicos, generalmente interrelacionados,³ faciales y corporales.

Sin embargo, en un momento anterior al de los trabajos referidos, Forgas y Herrera (1999) proponen una taxonomía, seleccionada para esta investigación, que parte de una división categorial en cuanto al carácter significativo y comunicativo del código gestual. De ahí que aquellos gestos que poseen un carácter significativo propio se denominan semánticos; y aquellos de carácter comunicativo —no informativo por su nula relación con el contenido verbal y constituyente del reflejo del estado anímico y la idiosincrasia del emisor— se denominan asemánticos. Los gestos de carácter semántico que acompañan al discurso oral se subdividen en emblemas e ilustradores.

Los gestos asemánticos, por su parte, comprenden los reactivos, los marcadiscursos, las batutas y los adaptadores, y se usan de forma inconsciente para conducir nuestros sentimientos, controlar nuestras respuestas, transmitir el estado emocional y las necesidades individuales de cada emisor.

A partir de lo expuesto hasta aquí conviene generalizar dos aspectos fundamentales: en primer lugar, que los gestos, unidos al lenguaje verbal y la prosodia, constituyen modos (o nodos) de un sistema complejo para la comunicación humana y, en segundo lugar, se asume que tanto los gestos como la entonación constituyen subsistemas semióticos de relativa autonomía, que al interactuar con las estructuras léxico-gramaticales del enunciado/AHI en determinados contextos, hacen emerger nuevos significados semántico-pragmáticos, analizables desde la dimensión modal e ilocutiva.

De esta manera, se propone un análisis multimodal de los actos de habla que tenga en consideración los siguientes recursos o modos de expresión (nodos):

Propuesta metodológica para el análisis multimodal de la entonación expresiva en el discurso coloquial

Teniendo en cuenta los principios teóricos antes señalados se propone una metodología para el estudio multimodal de la entonación con valores expresivos, que combina los métodos de análisis propios de la prosodia (métodos auditivo y acústico) con los métodos del análisis multimodal (análisis de las interacciones). Se propone un estudio que pasa por diferentes etapas, las cuales transitan desde la percepción e identificación de rasgos, el análisis experimental de datos empíricos y el análisis de las correlaciones entre rasgos semánticos, prosódicos y gestuales.

Fase de análisis perceptivo:

Tomando en consideración que la unidad de análisis del discurso es el acto de habla, un estudio de esta naturaleza debe partir de la identificación perceptiva (observación auditiva y visual de las muestras) de los tipos de actos de habla y la naturaleza de sus significados, desde la dimensión modal e ilocutiva, teniendo en cuenta el contexto.

Una vez delimitados los actos de habla, según la naturaleza de sus ilocuciones, se identifican los rasgos semántico-pragmáticos de expresividad que pueden constituir emociones dentro de un inventario más o menos amplio, a saber: alegría, enfado, miedo, tristeza, asco, agrado, desagrado, placer, aburrimiento, sorpresa, etc., o puede manifestarse el carácter expresivo del acto por rasgos más generales que se solapan con las emociones o no se asocian a ninguna en particular. Estos son: desbordamiento, contención (según el grado de excitación del hablante), énfasis (según la energía puesta en la enunciación), valor positivo o negativo (según el tono emocional).

El análisis de los valores modales e ilocutivos de los actos de habla es harto complejo, ya que los estudios han demostrado que no existen emociones o valores expresivos puros, sino que se dan muchas veces mezclados y se presentan en manifestaciones graduales que van desde los estados de mayor expresividad a los de menos expresividad. Siendo así, el análisis perceptivo debe ser en dos etapas y siempre partiendo de la observación del contexto: una primera fase de observación del investigador y/o equipo de investigadores y una segunda fase de aplicación de prueba interjuez con una muestra aleatoria y auditores externos.

El análisis perceptivo permite, además, la identificación de los nodos semióticos que interactúan en cada tipo de acto de habla, según sus valores expresivos: el método de la observación visual permite identificar tipos de gestos (por la forma y la función) asociados a cada AHI; el método auditivo permite identificar patrones entonativos o rasgos prosódicos asociados a la expresividad, que serán luego medidos y cuantificados en la próxima fase.

Fase de análisis acústico:

Se aplica el método de análisis acústico que consiste en la medición manual de los parámetros acústicos (tono, intensidad y duración) en los segmentos tonales de los patrones entonativos que interactúan con los actos de habla. En este trabajo se realiza el análisis acústico mediante el software PRAAT. Estos se recogen en una base de datos con ayuda del programa Excel, lo cual permite la realización a posteriori de pruebas estadísticas y gráficos para el etiquetaje y análisis de las curvas de entonación.

Fase de codificación de rasgos:

En esta fase se identifican y codifican en una base de datos todos los rasgos acústicos y gestuales en relación con los valores semántico-pragmáticos de los AHI para su posterior análisis y correlación. Se parte de la unidad acto de habla y se codifican todas las variables del estudio: tipo de acto, valor ilocutivo, rasgos modales, rasgos prosódicos, estructuras sintácticas, tipos de gesto.

Fase de análisis de las interacciones y correlación entre rasgos:

En esta fase se emplea el método de análisis multimodal que como se ha planteado consiste en analizar junto con los indicadores lingüísticos o prosódicos, los gestos (movimientos corporales y faciales) que contribuyen a delimitar el significado preciso de los diferentes actos de habla. En este momento del estudio, la aplicación de pruebas estadísticas de correlación de variables numéricas y nominales es de gran utilidad para medir las probabilidades de ocurrencia de tales interacciones en el discurso.

Primer acercamiento a los datos

En este trabajo se analizan ejemplos tomados de una muestra audiovisual del discurso oral espontáneo de hablantes de la ciudad de Santa Clara. Las grabaciones fueron realizadas con una cámara de video Panasonic LUMIX DMC-FZ1000 y se llevaron a cabo en contextos de conversaciones espontáneas, aunque no encubiertas.⁴ En la selección de los informantes se tuvo en cuenta que fueran personas adultas comprendidas en el rango de edades de entre 18 y 75 años y se conformó una muestra con un número equilibrado de hablantes, tanto masculinos como femeninos, de nivel sociocultural alto (con estudios superiores). De esta se extrajo el corpus conformado por actos de habla con valores expresivos, para lo cual se utilizó el criterio perceptivo de las investigadoras. Se ha trabajado hasta el momento con las grabaciones de 5 mujeres y 5 hombres, originarios de la ciudad de Santa Clara.

Los resultados que aquí se presentan parten de un trabajo exploratorio donde se han podido identificar auditivamente patrones entonativos asociados a la expresión de determinadas emociones, estados afectivos o de ánimo. Al tratarse de un trabajo con una muestra de prueba, se han podido identificar fundamentalmente los siguientes tipos expresivos: alegría, asombro, enfado, sorpresa, susto, advertencia, cansancio. Sin embargo, en aras de poder explicar la aplicación de la metodología propuesta, se trabajará a manera de ejemplificación, únicamente con actos de habla asociados a la expresión del enfado.

En el análisis se procedió a la segmentación de los actos de habla expresivos que semánticamente se caracterizan por el tono emocional expresado, que refleja la oposición de los rasgos contrarios satisfacción/insatisfacción (Caballero, 2002; Galbán, 2014).⁵

De tal modo, se agruparon aquellos actos de habla expresivos en los que aparecen un tono emocional negativo caracterizado por el atributo modal de la insatisfacción en diverso grado. Esta noción de insatisfacción, se vincula a sentimientos aflictivos tales como el pesar, el dolor emocional, la tristeza, la angustia, así como a otros estados de ánimo como el disgusto, el enojo, la vergüenza, etc. En los siguientes análisis todos los actos de habla se vinculan a estados de disgusto o enfado.

Figura 1. Gesto que acompaña al enunciado pronunciado con enfado: ¡Ay, pero pidan ayuda caballero!

Este acto de habla posee un valor ilocutivo de mandato, por lo que se trata de un acto directivo, con matiz modal de enfado. Se produce en la siguiente situación: el emisor conoce en la reunión de su departamento que un posgrado no ha podido iniciarse porque los jóvenes profesores que deben impartirlo no conocen cómo confeccionar el programa para su impartición. El emisor ejecuta un acto de mandato a los profesores para exigir que pidan ayuda. La información contenida en la situación sobre la trascendencia de este hecho permite interpretar este acto de mandato como asociado a la expresión de reproche o enfado.

Esta unidad está precedida por la interjección Ay, vinculándose y reforzando la incomodidad y el disgusto que siente su emisor, quien reprocha la falta de solicitud de ayuda por parte de los responsables.

Desde el punto de vista prosódico esta idea se refleja mediante un patrón melódico con final descendente, que le atribuye cierto grado de categoricidad. Describe un movimiento ligeramente ascendente en el inicio del segmento (Figura 2), cuyo pico máximo recae sobre la conjunción adversativa pero, lo cual refuerza la contrariedad que le produce el hecho tratado. También la intensidad muestra ese valor al coincidir un pico en esta parte del acto de habla (Figura 3). Seguidamente, el movimiento de F0 del cuerpo representa un marcado descenso que describe una circunflexión sobre la sílaba tónica del verbo pidan, lo cual hace percibir junto con el enfado, la contención que trata de asumir el emisor, para tratar de reprimir el efecto que le produce lo que ha ocurrido, pero asumiendo que debe moderarse al encontrarse en una reunión departamental con colegas de su centro de trabajo. El descenso final es muy marcado; comienza desde la pretónica y continúa en las postónicas.

En el análisis con el tiempo, se observa la presencia de un alargamiento en la última vocal tónica del segmento, ubicada en la forma de tratamiento caballero, con lo cual se enfatiza el disgusto y el carácter apelativo de un acto de mandato.

Figura 4. Gráfico de tiempo en segundos de enunciado pronunciado con enfado

Ahora bien, los principales gestos que se observan en esta secuencia (como se muestra en la Figura 1) se corresponden a movimientos de la cabeza, el tronco y los brazos. Como se ha explicado, en el acercamiento al estudio del lenguaje no verbal y las posibles clasificaciones de los gestos, no es posible establecer con claridad un gesto único al analizar con profundidad una interacción por lo que, en consecuencia, aparecen, de forma regular como mezclas de dos o más tipos de gestos.

En este ejemplo se observa la presencia de ojos muy abiertos, el levantamiento de las cejas y una gran tensión en los músculos de los ojos, que se logra ya casi al final del enunciado, coincidiendo con expresión de la fórmula de tratamiento. Junto a ello, aparecen las manos levantadas desde la altura del tórax con palmas hacia adentro y la elevación de los hombros.

Sus brazos describen movimientos donde se acompaña lo que se va diciendo; en este caso al colocar los codos firmemente sobre la mesa y abrir las manos con las palmas hacia su rostro y los dedos tensos, se perciben como signos de elevado enojo. En este caso se clasifica como gesto ilustrador, ya que enfatiza el mensaje. Por otro lado, también tiene una lectura como gesto reactivo, pues, aunque trata de disimular el gran enojo que siente, sus expresiones faciales y la entonación delatan la reacción alterada que le produce la inercia mostrada por sus colegas del departamento ante una actividad tan importante.

Figura 5. Gesto que acompaña al enunciado pronunciado con enfado. Esto no puesel (no puede ser).

En este ejemplo, la informante se encuentra en un ambiente laboral, discutiendo con otro colega asuntos internos de trabajo. Se advierte un aire categórico al afirmar mediante una negación que la situación que se había presentado no podría repetirse en el futuro. Reprocha a un tercero que no se encuentra en la conversación el hecho de no recopilar la información que debía reunir para que la informante pudiera enviarla en tiempo y cumplir con su trabajo. La distancia a la que se realizó la grabación y el uso del nasobuco como medida restrictiva impuesta por la pandemia de la Covid 19 impidieron apreciar los gestos faciales, no obstante, los rasgos prosódicos que caracterizan al acto de habla y la postura que adopta, así como los movimientos de la cabeza, el torso y las extremidades superiores son suficientes para describir la gestualidad y sus vínculos con el acto de habla asociado a un matiz de enfado. Se trata en este caso de un acto de prohibición que en esta situación adquiere, además, un valor reactivo de reproche.

Al igual que en el ejemplo anterior se asocia a un patrón con tonema descendente (Figura 6). Los valores máximos de F0 se aprecian al inicio del segmento, coincidiendo con el pronombre demostrativo esto que contiene precisamente todo lo que ha provocado el enojo; en él se encierran todas las motivaciones de la alteración que siente este informante.

Además, este momento es coincidente con el gesto que ejecuta: el de arrojar de forma despectiva y con desdén los papeles sobre el organizador del buró. Por sus características y forma de realización, es de naturaleza ilustrador, ya que no solo acompaña lo dicho, sino que enfatiza el mensaje. Por otro lado, también tiene una lectura como gesto adaptador, al estar estos estrechamente vinculados a las emociones, la expresión y conducción de las mismas (Figura 5).

Por su parte, los valores máximos de intensidad (ver Figura 7) y tiempo (ver Figura 8) confluyen en la última sílaba tónica, en este caso en el verbo pue (puede), remarcando con el adverbio de negación no, la imposibilidad de continuar con esta práctica en el trabajo.

Figura 8. Gráfico de tiempo en segundos en enunciado pronunciado con enfado

El análisis de estos ejemplos, aunque sin ofrecer datos concluyentes, permite identificar regularidades en la correlación de los rasgos de expresividad que requieren ser demostrados en corpus más amplios mediante análisis estadísticos. Se aprecia el uso de tonemas descendentes y picos tonales al inicio de los segmentos en interacción con picos de intensidad y alargamientos de la última sílaba tónica como rasgos asociados a la expresión de mandatos y prohibiciones con tono emocional negativo, en este caso, enfado.

Estos interactúan con gestos ilustradores que refuerzan el sentido del acto de habla al tiempo que se interpretan como gestos de carácter reactivo o adaptador, por su uso más o menos inconsciente en el manejo de emociones fuertes (como el enfado) que emergen como reacción ante un acto que produce altos niveles de insatisfacción.

CONCLUSIONES

Al considerar los presupuestos del enfoque multimodal en su relación con la Teoría de la Complejidad, se evidencian principios teóricos comunes que brindan amplias posibilidades para el estudio del lenguaje verbal en sus vínculos con medios extraverbales, que configuran y determinan el significado de las unidades del discurso.

Se fundamenta la importancia de una perspectiva de análisis que parta de la concepción de la lengua en general y la entonación en particular, como un sistema dinámico complejo, cuyas unidades se asocian de manera estable a determinados significados, pero pueden sufrir bifurcaciones de sentido al interactuar con el resto de los medios de expresión verbales y extraverbales en situaciones comunicativas concretas.

De esta manera, se justifica la eficacia del análisis multimodal por las posibilidades que brinda para el estudio de las interacciones de los recursos comunicativos del hombre, entendidos como medios que confluyen para reforzar la interpretación de determinados significados.

Dada la falta de correspondencia unívoca entre rasgos prosódicos y expresivos o emotivos, es esta la visión que mejor permite enfrentar su estudio, si de encontrar tendencias o regularidades se trata en medio de su aparente caos.

La metodología que se presenta combina los métodos de análisis de la prosodia (métodos auditivo y acústico) con los métodos del análisis multimodal (análisis de las interacciones), por lo que el estudio recorre desde la percepción e identificación de rasgos, el análisis experimental de datos empíricos y el análisis de las correlaciones entre rasgos semánticos, prosódicos y gestuales.

En forma de botón de muestra se analizaron ejemplos de actos de habla interaccionales asociados a la expresión de actos directivos con valor de enfado. Desde el punto de vista semántico, se relacionan con el tono emocional negativo que se caracteriza por el atributo modal de la insatisfacción en diverso grado y se vincula a estados de ánimo tales como el disgusto, el enojo, u otros similares.

La identificación de ciertas correlaciones entre sus rasgos prosódicos y gestuales evidencia los resultados que pueden obtenerse con la aplicación de este tipo de análisis en corpus audiovisuales espontáneos del discurso coloquial.

REFERENCIAS

Ballesteros, M. P. (2014). Complejidad y emergencia en el estudio de la entonación. En Congosto, Y., Curiel, M. L. & Salvador, A. (eds.), Fonética Experimental, Educación Superior e Investigación (3 vols.). Arco Libros.

Ballesteros, M. P. & Torregrosa-Azor, J. (2012). Hacia una lingüística compleja: teoría y método de análisis del habla espontánea. Conferencia XXX Congreso Internacional AESLA-La lingüística aplicada en la era de la globalización. https://doi: 10.13140/RG.2.1.1441.1763

Bermúdez, M. (2019). Funciones discursivas de la entonación en el discurso académico del profesor. Valor de la prosodia en la conferencia universitaria. [Tesis de doctorado]. Universidad de La Habana.

Bermúdez Sánchez, M., García Riverón, R. M., & Pedrosa Ramírez, A. (2021). El sistema entonativo cubano y sus funciones en la interpretación de los actos de habla interaccionales. Logos: Revista De Lingüística, Filosofía Y Literatura, 31(2), 356–379. https://doi.org/10.15443/RL3121

Bolinger, D. (1986). Intonation and gesture. Intonation and its parts. (pp. 194-214). Stanford University Press.

Caballero, L. (2002). Modalidades semánticas del lenguaje. En Curbeira Cancela, A. (comp.), Teorías lingüísticas: concepciones y corrientes. (pp.235-247). La Habana: Editorial Universitaria Félix Varela.

Cantero Serena, F. J. (2002). Teoría y análisis de la entonación. Barcelona: Ediciones de la Universidad de Barcelona.

Cantero Serena, F. J. (2014). Códigos de la entonación y entonación emocional. En A. Díaz et al. (eds.), Actas del 31 Congreso Internacional AESLA. Universidad de La Laguna, 618-29.

Carbajal-Carrera, B., Martínez Hernández, D. & Ramos Martín, D. (2020). El aprendizaje de los rasgos fonopragmáticos del enfado en español como lengua extranjera. Logos: Revista de Lingüística, Filosofía y Literatura, 30(2), 393-411. https://doi.org/10.15443/RL3029

Ekman, P. y Friesen, W. V. (1971). Constants across cultures in the face and emotion. Journal of Personality and Social Psychology, 17, 124-129

Ekman, P. y Keltner, D. (1997). Universal facial expressions of emotion. En U. P. Segerstrale y P. Molnar (Eds.), Nonverbal Communication: Where Nature Meets Culture (pp. 27-46). Routledge.

Forgas, E. & Herrera, M. (1999). Propuesta de tipología no verbal en los discursos públicos. Nuevas perspectivas en la enseñanza del español como lengua extranjera. Actas del X Congreso Internacional de ASELE (Cádiz, 22-25 de septiembre de 1999), 214-226, Centro Virtual Cervantes. https://dialnet.unirioja.es/servlet/articulo?codigo=766241

Galbán, A. M. (2014). Las macrocategorías semánticas modales de valoración, lealtad, certidumbre, interés, afectividad y expresividad. En Curbeira Cancela, A. (comp.), Teorías lingüísticas: concepciones y corrientes. (pp.281-295). La Habana: Editorial Universitaria Félix Varela.

García Riverón, R. M. (1998). Aspectos de la entonación hispánica III. Funciones de la entonación en el español de Cuba. Universidad de Extremadura.

García Riverón, R. M. (2005). El estudio de la entonación. Moenia, (11), 141-176.

García Riverón, R., Losada, M. & Pardo, A. (2008). El acto de habla interaccional como unidad para el estudio de la oralidad: una visión desde la complejidad. Oralia, (11), 336-351.

García Riverón, R., Serra, E; Silverio, T. & Urribarres, S. (2020). Apuntes teórico-metodológicos para el estudio tipológico del sistema de entonación de Madrid y La Habana desde la Teoría de la Complejidad. Moenia, (25), 619-654. https://revistas.usc.gal/index.php/moenia/article/view/6418/10001

García Riverón, R., Marrero Montero, A. & Acosta González, Y. K. (2021). Teoría de la Complejidad y prosodia. Análisis multimodal-discursivo de textos audiovisuales. Moenia, (27). https://doi.org/10.15304/moenia.id7564

Garrido. J. M. (2011). Análisis de las curvas melódicas del español en habla emotiva simulada. Estudios de Fonética Experimental, 20, 205-255.

Hidalgo, A. (1998). Expresividad y función pragmática de la entonación en la conversación coloquial: algunos usos frecuentes, Oralia, (1), 69-92.

Hidalgo Navarro, A. (2006). Aspectos de la entonación española: viejos y nuevos enfoques. Arco / Libros.

Hidalgo Navarro, A. (2019). Sistema y uso de la entonación en español hablado: Aproximación interactivo-funcional. Ediciones Universidad Alberto Hurtado.

Iedema, R. (2003). Multimodality, Resemioticization: Extending the Analysis of Discourse as a Multisemiotic Practice. Visual Communication, 2(1), 29-57.

Kendon, A. (2004). Gesture: Visible Action as Utterance. Cambridge University Press.

Martín Butragueño, P. (2015). Acercamiento a la prosodia de los actos de habla expresivos. Datos del español de México. En, E. Hernández y P. Martín (Eds.), Variación y diversidad lingüística: hacia una teoría convergente (pp. 259-349).

McKinnon, S. & Prieto, P. (2014). The role of prosody and gesture in the perception of mock impoliteness. Journal of Politeness Research 20; 10(2), 185–219.

McNeill, D. & Duncan, S. (2000). Growth points in thinking-for-speaking. En D. McNeill y S. Duncan (Eds.), Language and Gesture (pp. 141-161). Cambridge University Press.

Moraes, J. A. (2008). The pitch accents in Brazilian Portuguese. Emotion expression in speech acts in Brazilian Portuguese: production and perception, Proceedings of Speech Prosody. Fourth Conference on Speech Prosody, Campinas.

Morin, E. (2003). El Método. La humanidad de la humanidad. La identidad humana. Ideas. Vol. V. Madrid: Cátedra.

Nascimento, N. (2005). Comunicación no verbal: Algunas diferencias gestuales entre España y Brasil. Linred: Revista Electrónica de lingüística. http://hdl.handle.net/10017/22697

Navarro, T. (1968). Manual de Entonación Española. La Habana, Cuba: Instituto del Libro.

O’Halloran, K. L. (2012). Análisis del discurso multimodal. ALED, 12(1), 75-97. National University of Singapore.

Padilla, X. A. (2022). La voz como reacción emocional: de qué nos informa la prosodia. Spanish in Context, 19 (1), 72-98. https://doi.org/10.1075/sic.20029.pad

Poyatos, F. (1994a). La comunicación no verbal I. Cultura, Lenguaje y Conversación. Istmo.

Poyatos, F. (1994b). La comunicación no verbal II. Paralenguaje, kinésica e interacción. Istmo.

Poyatos, F. (2003). La comunicación no verbal: algunas de sus perspectivas de estudio e investigación. Revista de investigación lingüística, 6 (2), 67-83.

Rebollo Couto, L. et al. (2014) Actitudes lingüísticas y entonación: acentos tonales y enunciados interrogativos en el español de Buenos Aires y Montevideo. En P. Martín y L. Orozco (Ed.) Argumentos cualitativos y argumentos cuantitativos en sociolingüística. Segundo coloquio de cambio y variación. El Colegio de México.

Sarymsakova, A. (2018). Interacciones profesionales simuladas en la enseñanza de español como L2 a aprendices rusos: análisis de la prosodia y de los recursos discursivos en relación en una situación de conflicto profesional. En Actas do XIII Congreso Internacional de Lingüística Xeral, Vigo 2018, 803-808. http://cilx2018.uvigo.gal/actas/pdf/660242.pdf

Sarymsakova, A. (2022). La enseñanza del español a rusohablantes por medio de interacciones profesionales simuladas (role-play): El análisis del conflicto comunicativo e intercultural y su relación con la prosodia y el gesto. [Tesis de doctorado]. Departamento de Letras. Universidade da Coruña. https://ruc.udc.es/dspace/handle/2183/32371

van Leeuwen, T. (2008). Discourse and Practice: New Tools for Critical Discourse Analysis. Oxford Univerity Press.

Velásquez-Upegui, E. P. (2015). ¿Entonación de enunciados aseverativos con fuerza expresiva o de enunciados exclamativos? A propósito del español hablado en Colombia. Moenia, 21, 111-130.

ANEXO 1. Modelo del consentimiento informado empleado en la investigación

Yo, ___________________________________________________ declaro que estoy de acuerdo en participar como informante para la recogida de una muestra lingüística y conformación de un corpus audiovisual que será objeto de estudio en la investigación Análisis multimodal de la entonación expresiva en el español hablado en Santa Clara, auspiciada y dirigida por el departamento de Lingüística y Literatura de la Universidad Central «Marta Abreu» de Las Villas.

Soy consciente de que serán analizadas la entonación de mi voz y la gestualidad y doy mi consentimiento para que se incluyan entre los datos de este estudio.

Datos de las autoras

Adriana Pedrosa Ramírez (Santa Clara, 1984). Graduada de Letras por la Universidad Central «Marta Abreu» de Las Villas (UCLV) en 2007. Máster en Estudios Lingüístico-Editoriales Hispánicos (UCLV, 2012). Profesora del Departamento de Lingüística y Literatura en la UCLV. Ha centrado su labor investigativa en estudios sobre prosodia del español y de tipología comparada entre el español de Cuba y España con diferentes tipos de corpus (televisivo, PRESEEA, AMERESCO).

Madeleyne Bermúdez Sánchez (Santa Clara, 1977). Graduada de Letras por la Universidad Central «Marta Abreu» de Las Villas (UCLV) en 2000. Máster en Lingüística Hispánica por la Universidad de La Habana (2006). Doctora en Ciencias Lingüísticas y Profesora Titular de la Universidad Central «Marta Abreu» de Las Villas. Coordinadora del programa doctoral en Ciencias del Lenguaje, la Comunicación y la Literatura. Ha investigado en las áreas de prosodia del español, linguopragmática y análisis del discurso.

Raquel María García Riverón (La Habana, 1960). Licenciada con honores por la Universidad de Lomonosov (Moscú, 1975). Máster en Filología y Doctora en Ciencias Filológicas por la Universidad de Lomonosov (Moscú, 1980). Doctora en Filología Hispánica por la UNED (España, 1995) con la calificación de Apto cum laude por unanimidad y Premio Extraordinario de Doctorado. Investigadora auxiliar por la Academia de Ciencias de Cuba, ejerció como profesora en la Universidad de la Habana, profesora por la Universidad Central «Marta Abreu» de Las Villas y profesora asociada de la Universidad de Alcalá de Henares.

Cómo citar este artículo: Pedrosa, A.; Bermúdez, M; García, R. M. (2025). El análisis multimodal como base para el estudio de la entonación con valor expresivo. Acercamiento a la relación prosodia-gesto en datos de hablantes cultos de Santa Clara. Islas, 67(210): e1559.

Estas dificultades han sido mencionadas en trabajos como Navarro Tomás (1968); Prieto (2002); Cantero Serena (2002; 2014); Hidalgo Navarro (1998; 2020); Garrido Almiñana (2011); Rebollo Couto (2014).↩︎
Para profundizar en esta tipología puede consultarse Ekman (2004).↩︎
Existen gestos producidos por una sola extremidad, pero lo usual es poner en funcionamiento la combinación o coestructuración de varias a la vez.↩︎
Previo a cada grabación se informó a los participantes en las conversaciones el propósito de la investigación y se solicitó el consentimiento para el empleo de la voz y la gestualidad en la conformación de los datos de este estudio (Ver anexo 1 del modelo de consentimiento del informante).↩︎
Para una profundización de las categorías semánticas modales debe consultarse Caballero, 2002; Galbán, 2014.↩︎