La arquitectura de la comprensión narrativa visual: la interacción

de la estructura narrativa y el diseño de página en cómics de

comprensión
Neil Cohn *

La información del autor ► notas Artículo ► licencia y derechos de información ► exención de responsabilidad

Este artículo ha sido citado por otros artículos en PMC.

Abstracto
Ir:

Introducción
Los cómics han transmitido narrativas visuales dibujadas estáticas durante más de un
siglo, y la creciente investigación sugiere que las imágenes secuenciales combinadas
con texto son una herramienta efectiva de comunicación y educación (por ejemplo,
Nakazawa, 2005 ; Nalu y Bliss, 2011 ; Short et al., 2013 ) , más allá de ser solo
entretenimiento. Si bien las teorías sobre los cómics se han dispersado en las
humanidades durante varias décadas (para una revisión, ver Nöth, 1990 ; Cohn, 2012 ),
solo recientemente la atención científica se ha centrado en investigar cómolos lectores
comprenden pantallas gráficas complejas de imágenes secuenciales. Esta creciente
literatura de investigación tanto teórica como empírica ha establecido que extraer
significado de una página de cómic implica múltiples sistemas interactivos, análogos a
la organización de un sistema lingüístico (Cohn, 2013b ): una estructura
gráfica codifica las líneas y formas físicas que componen las imágenes , que construyen
expresiones significativas usando un léxico de esquemas gráficos
almacenados. Una estructura narrativa organiza estas imágenes secuenciales en un
mensaje coherente, mientras que una estructura de composición externa organiza estos
paneles a través del diseño físico de una página.
En total, estas estructuras comprenden el "lenguaje visual" que subyace a los cómics,
manga, novelas gráficas y otras narrativas visuales, que también pueden interactuar con
el texto en interacciones multimodales más grandes. Aquí, nos enfocamos en los
sistemas más involucrados con la comprensión secuencial de una página: la estructura
narrativa y la estructura compositiva externa , que puede estar mediada por
una estructura de estructura atencional .
CONCEPTO CLAVE 1

Estructura narrativa
El sistema que combina significado a nivel de discurso. Esta "gramática narrativa
visual" asigna roles categóricos a las imágenes basadas en correspondencias prototípicas
con una estructura conceptual de significado. Estas unidades narrativas están
organizadas en componentes jerárquicos que permiten varios tipos de incrustación.
CONCEPTO CLAVE 2

Estructura compositiva externa

La estructura que rige la organización del diseño físico de las páginas comicas. Estas
estructuras a menudo dividen las páginas en componentes horizontales y verticales,
aunque también permiten que los paneles insertados se encerren dentro de un panel
dominante más grande, y las relaciones gestálticas como paneles escalonados,
superpuestos y separados.
CONCEPTO CLAVE 3

Estructura de encuadre atencional

Las restricciones sobre cómo la información conceptual se enmarca en unidades de
panel, determinando cuánto contenido contienen. Esto tiene ramificaciones sobre cómo
actúan esas imágenes en una narrativa y cómo se organizan en un diseño de página
(ECS).
Ir:

Gramática narrativa visual

La pregunta que ha recibido la mayor atención con respecto al lenguaje visual utilizado
en los cómics ha sido: ¿Cómo se transmite el significado mediante una secuencia de
imágenes? Las primeras teorías se han centrado en los cambios semánticos lineales
entre imágenes (McCloud, 1993 , Saraceni, 2003 ), consistentes con las teorías
predominantes de la estructura del discurso (Halliday y Hasan, 1976 ). A medida que un
individuo progresa a través de un discurso, constantemente monitorean las dimensiones
del tiempo, los personajes, la ubicación espacial y la causalidad. El cambio en estas
dimensiones requiere una actualización del modelo mental que se construye a partir de
la comprensión completa del discurso (van Dijk y Kintsch, 1983 ; Zwaan y
Radvansky, 1998).), y la inferencia de significado no se ve (McCloud, 1993 ,
Saraceni, 2003 ). Los experimentos todavía tienen que examinar estas teorías en la
comprensión en línea de narrativas visuales estáticas como los cómics, pero la
investigación con películas ha confirmado que los espectadores pueden identificar
conscientemente estos cambios semánticos entre tomas de películas individuales
(Magliano et al., 2001 ; Zacks et al., 2009 Magliano y Zacks, 2011 ).
Si bien la evidencia empírica apoya que los lectores rastrean los cambios semánticos
entre las relaciones de imágenes lineales, este enfoque por sí solo no puede explicar la
comprensión de las narrativas visuales. Primero surgieron problemas con las relaciones
lineales debido a las observaciones de que los paneles no adyacentes a veces requieren
conexiones a larga distancia en una secuencia y los paneles a menudo forman
agrupaciones significativas más allá de las relaciones lineales. Tales intuiciones se
alinearon con el trabajo empírico que muestra que los participantes están muy de
acuerdo sobre dónde dividir las imágenes secuenciales en constituyentes episódicos
(Gernsbacher, 1985 ). El primer enfoque alternativo propuso un modelo jerárquico que
creaba constituyentes basados en cambios de punto de vista espacial en una escena,
cambios entre caracteres o cambios en el tiempo (Cohn, 2003 , 2010).) Este enfoque
reveló que las relaciones lineales entre paneles pueden ser estructuralmente ambiguas en
formas explicables por estructuras jerárquicas subyacentes (Cohn, 2003 , 2013c ). Estas
agrupaciones básicas finalmente dieron paso a las observaciones de que los paneles
desempeñan roles funcionales en una secuencia, similar a las categorías narrativas
tradicionales, aunque algo diferente de (por ejemplo, Freytag, 1894 , Mandler y
Johnson, 1977 ). La teoría resultante se ha denominado "Gramática narrativa visual"
(Cohn, 2013c).
Visual Narrative Grammar (VNG) postula que, análogamente a la forma en que las
palabras secuenciales asumen roles gramaticales que se integran dentro de una
estructura constituyente en oraciones, las imágenes secuenciales adquieren roles
narrativos que se integran dentro de una estructura constituyente en narrativas visuales
(Cohn, 2013c ). Esto es similar a los enfoques "gramaticales" previos a la narrativa y el
discurso, como las gramáticas de la historia de la década de 1970 (por ejemplo, Mandler
y Johnson, 1977 ), sin embargo, estos modelos difieren de manera importante (ver
Cohn, 2013c, para más detalles). Es importante enfatizar que la comparación entre la
gramática narrativa y la sintaxis es una analogía en el nivel arquitectónico: las imágenes
no sirven como sustantivos o verbos, y transmiten información a un nivel más alto que
las palabras (de hecho, a nivel del discurso). Sin embargo, la gramática narrativa utiliza
una arquitectura estructural similar a la sintaxis, y se cree que estos constructos operan
en una comprensión similar al procesamiento de las representaciones sintácticas. Si
estas similitudes propuestas se relacionan con los mecanismos cognitivos comunes es
una línea de investigación activa.
VNG usa categorías narrativas básicas para organizar secuencias: los Establecedores
introducen pasivamente las relaciones entre las entidades; Las iniciales representan el
inicio de un evento o interacción; Los picos muestran un clímax; y Releases representan
una resolución o coda de eventos. Si bien estas categorías forman el núcleo de un arco
narrativo canónico, otras categorías elaboran una secuencia, ya sea a través de
categorías narrativas adicionales (prolongaciones, orientadores), modificación de las
categorías principales (refinadores, cambios de perspectiva) o modificación de las
estructuras constituyentes ( Conjunción) (Cohn, 2013b , c ). Aquí, nos enfocaremos en
las propiedades básicas de VNG a través de una secuencia de ejemplo.
Considere la figura Figura 1a,1A , desde el cómic Sinfest ( www.sinfest.net) por
Tatsuya Ishida. Un Establador inicia la secuencia, introduciendo pasivamente la relación
entre el gato y el árbol. El gato comienza su movimiento en el segundo panel, un Inicial,
culminando cuando alcanza la rama del árbol en triunfo, un Pico. Otro Establisher luego
introduce la relación entre el gato y el perro, nuevamente con un estado pasivo. El perro
intenta trepar al árbol (Inicial), pero cae al suelo (Pico), lo que provoca que el gato se
burle de él (Liberación), una resolución para las acciones del perro. El siguiente panel
establece una relación entre el perro y el muñón, en el que luego salta (Inicial) y asume
un papel protector en un clímax final (Pico).
 Abrir en una ventana separada
Figura 1
(A) Estructura narrativa de una secuencia del cómic Sinfest (Ishida, 2008 ). La demostración de
estructuras constituyentes en esta secuencia proviene de pruebas de eliminación y
movimiento: (B) Deleción feliz de un constituyente completo (i) y una eliminación infielictiva
de paneles que cruzan el límite entre los constituyentes (ii). (C)Reordenación feliz moviendo las
dos subestructuras (i) y una reorganización infielictiva de paneles dentro de esas estructuras,
cruzando el límite constituyente. Sinfest y todos los personajes © Tatsuya Ishida.
Es importante destacar que estas categorías no solo progresan linealmente, sino que
también forman agrupaciones. Los primeros tres paneles representan la escalada del
gato, que forma una inicial para configurar la segunda agrupación de paneles, que
forman un pico, sobre la relación entre el gato y el perro. Un Establecedor comienza
este segundo constituyente estableciendo la nueva relación, progresando a dos
subestructuras donde el perro intenta trepar al árbol (Inicial), y luego se conforma con
sentarse en un tocón (Pico). Cada componente está motivado por su Peak interno, y los
otros paneles son compatibles con este panel principal. Esta primacía se puede probar
omitiendo todos los paneles, excepto los Picos, lo que debería dar como resultado una
paráfrasis de la secuencia. La incrustación jerárquica permite que las secuencias tengan
estructuras superficiales que se extienden más allá del arco narrativo canónico
(Establisher-Initial-Peak-Release ), aunque este orden todavía se mantiene dentro de los
constituyentes. Por lo tanto, las categorías narrativas se aplican recursivamente tanto a
paneles individuales como a agrupaciones de paneles.
Aunque VNG mantiene las estructuras narrativas separadas del significado, mantienen
correspondencias canónicas entre sí. Por ejemplo, las iniciales representan
prototípicamente las acciones preparatorias (como el perro que intenta escalar), mientras
que Peaks representa prototípicamente las acciones completadas (como el gato que llega
a la cima). Sin embargo, los roles narrativos no dependen de tales correspondencias
semánticas y pueden tener otras asignaciones, como la falla del perro para escalar como
Pico. Las categorías narrativas están influenciadas tanto por el contenido semántico de
un panel como por su contextodentro de una secuencia Esto es análogo a cómo las
categorías gramaticales en el lenguaje, como sustantivos y verbos, se mapean
prototípicamente al significado, como objetos y eventos, mientras que finalmente se
determinan a través de su distribución en una oración (Jackendoff, 1990 ).
La evidencia de VNG proviene de manipular secuencias de la misma manera que la
investigación lingüística manipula oraciones, como el uso de eliminación o movimiento
de paneles o constituyentes (Cohn, 2013c ). Considere Figura Figure1B,1B , que
representa secuencias en las que los paneles han sido omitidas en el segundo
constituyente de la figura Figura 1a.1A . La figura 1Bi elimina tres paneles que
comprenden el constituyente inicial completo, lo que da como resultado una secuencia
totalmente coherente (obsérvese que la omisión del primer constituyente completo es en
sí misma una prueba de eliminación exitosa). Figura 1Biitambién omite tres paneles,
pero esta eliminación cruza el límite constituyente, por lo tanto, resulta en una secuencia
más abrupta e incómoda. A continuación, la Figura 1Ci reorganiza las dos
subestructuras, lo que da como resultado una secuencia feliz (aunque con un final
menos inspirador). Sin embargo, la reorganización de paneles que cruzan el límite
constituyente, como en la Figura 1Cii , da como resultado una secuencia menos
afortunada. Aunque ambos reordenamientos aparentemente extraen la secuencia de su
orden temporal original y, por lo tanto, ambos deben dañar una secuencia (Stein y
Nezworski, 1978 ), solo (Figura 1Cii).) da como resultado una secuencia temporalmente
incómoda. Por lo tanto, estos diagnósticos ofrecen soporte para la presencia de
estructuras constituyentes, y pruebas como estas proporcionan la base para las
manipulaciones en la investigación experimental, a lo que nos referiremos ahora.
Primero, consideremos la evidencia experimental de que tanto el contenido como el
contexto influyen en las categorías narrativas, que han utilizado tareas que resaltan las
tendencias distributivas de los paneles (Cohn, 2014 ). Una de estas tareas pedía a los
participantes que organizaran cuatro paneles desordenados en una secuencia coherente,
una técnica utilizada previamente como una medida de "razonamiento lógico /
secuencial" en la prueba WAIS de IQ no verbal (Kaufman y
Lichtenberger, 2006 ). Aunque los participantes son muy precisos en estas tareas, las
reconstrucciones dañadas se producen para personas sordas que no aprenden el lenguaje
hasta más tarde en la infancia (Mayberry, 1992 ), así como los afásicos de Wernicke y
Broca (Huber y Gleber, 1982 ; Fazio et al., 2009), mientras que la precisión en esta tarea
se correlaciona con la edad y la experiencia de lectura de cómics (Nakazawa, 2005 ).
Esta "tarea de reconstrucción" se utilizó para examinar dónde se movían las categorías
narrativas cuando se extraviaban en una secuencia (Cohn, 2014).) Iniciales y Picos se
movieron menos que Establishers and Releases, y estas últimas categorías parecían estar
en distribución complementaria: paneles que originalmente se codificaron como
Releases a menudo se movían al frente de una secuencia para actuar como un
Establisher, mientras que los paneles originalmente se codificaban como Los
establecieron se movieron al final de secuencias. Estas órdenes de secuencia se
encontraban entre las órdenes de secuencia más comunes con paneles fuera de lugar. Un
apoyo adicional para estos roles complementarios provino de una tarea adicional que
examinaba los tiempos de observación de los participantes en forma autodidacta a
paneles en secuencias en las que dos paneles invertían posiciones dentro de la
secuencia. No surgieron diferencias en los tiempos de visualización entre Establishers y
Releases cuando sus posiciones se invirtieron, ya sea en la primera o la última posición
de la secuencia. Sin embargo, mover Picos hacia el frente o Iniciales hacia el final dio
como resultado un aumento de los tiempos de visualización que muestra un costo de
procesamiento debido a las secuencias "no gramaticales". Estos resultados sugieren que
los paneles que actúan como Establecedores y Liberaciones son más flexibles en su
posicionamiento que aquellos que actúan como Iniciales o Picos.
Tareas adicionales en este estudio mostraron la diferencia en importancia entre Iniciales
/ Picos y Estabiladores / Liberaciones. Cuando a los participantes se les pidió que
organizaran tres de cuatro paneles y elijeran uno para eliminar, omitieron
Establecimientos y Versiones mucho más a menudo que Iniciales o Picos. Los
resultados inversos ocurrieron cuando los participantes adivinaron qué panel se había
omitido de una secuencia: Iniciales y Picos elided se reconocieron con mayor precisión
como faltantes que Establishers and Releases. Tales resultados amplían los hallazgos
previos de que los participantes tienen poca memoria por omitir el establecimiento de
tomas de películas (Kraft et al., 1991 ) o comienzos de historias verbales (Mandler y
Johnson, 1977).) En conjunto, estas tareas complementarias muestran evidencia
convergente de que las categorías narrativas tienen diferentes tendencias de distribución
en una secuencia, un hallazgo que no debería ser factible si la comprensión solo utiliza
relaciones semánticas lineales donde los paneles no desempeñan ningún papel
particular.
Cuando investigaciones previas manipularon explícitamente imágenes secuenciales, el
foco se mantuvo en las grandes alteraciones de la congruencia semántica, como los
hallazgos que "codificaban" secuencias de imágenes aleatorias -las secuencias
"ungramáticas" máximas posibles- son más difíciles de entender que las narrativas
visuales ordenadas normalmente ( Gernsbacher et al., 1990 ; Nagai et
al., 2007 ). Investigaciones adicionales han examinado imágenes secuenciales utilizando
potenciales relacionados con eventos (ERP), una medida de la actividad eléctrica del
cerebro humano que permite una excelente resolución funcional y temporal. En este
trabajo, se encontró que las imágenes finales anómalas de la secuencia evocaban
"efectos N400" más grandes que las terminaciones congruentes (West y
Holcomb, 2002 ; Amoruso et al., 2013).) -el N400 es una forma de onda asociada con el
acceso a la memoria semántica en todos los dominios, incluido el lenguaje y las
imágenes visuales (Kutas y Hillyard, 1980 ; Kutas y Federmeier, 2011 ). Debido a que
los espectadores tratan estas incongruencias como incomprensibles, contrasta con las
nociones populares de que los lectores pueden incorporar cualquier imagen "no
sequiturial" en su comprensión de imágenes secuenciales (por ejemplo,
McCloud, 1993 , Saraceni, 2003 ).
Estos trabajos previos han estudiado amplias violaciones del significado, pero no han
examinado el equilibrio de la narrativa y el significado. Estos objetivos se llevaron a
cabo en un estudio que reprodujo los métodos de investigación de la psicolingüística
(Cohn et al., 2012a ). Se diseñaron secuencias que tenían una gramática narrativa feliz,
pero carecían de relaciones semánticas entre los paneles, análogas a la famosa frase
de Chomsky ( 1965 ). Las ideas verdes incoloras duermen furiosamente , lo cual es
gramatical pero carece de significado. Como se representa en la Figura Figure2A,2A,
estas secuencias "solo estructurales" fueron contrastadas con secuencias "normales" que
tenían secuencias narrativas y de significado, "codificadas" que no tenían secuencias
"semánticas" que carecían de una estructura narrativa pero mantenían asociaciones
semánticas a través de paneles (tales como un tema general). Cuando los participantes
monitorizados para paneles diana en estas secuencias, los participantes fueron más
rápida para responder a los paneles en las secuencias normales y más lento a los de
secuencias revueltos (Figura (Figure2B).2B) Sin embargo, los tiempos de reacción
intermedios aparecieron en paneles en secuencias solo estructurales y semánticas, lo que
sugiere que la presencia de una gramática narrativa o asociaciones semánticas da una
ventaja al procesamiento, aunque no tanto como la presencia de ambos. Tales resultados
son paralelos a los hallazgos de los estudios clásicos de la psicolingüística que usan el
monitoreo objetivo de las palabras en oraciones manipuladas análogamente (Marslen-
Wilson y Tyler, 1980 ).
 Abrir en una ventana separada
Figura 2
(A) Secuencias que manipulan la gramática narrativa, las asociaciones semánticas o ambas, que
son similares a los estímulos en Cohn et al. ( 2012a ). Se muestra la estructura narrativa para
esta secuencia Normal, y se corresponde con la secuencia Structural Only. (B) Tiempos de
reacción para paneles de destino en estos tipos de secuencia, y (C)potenciales relacionados con
eventos que muestran un efecto N400 para paneles en estas secuencias.
Un segundo experimento en este estudio presentó estos mismos estímulos al registrar
ERP. Efectos N400 eran más grandes a los paneles de estructural de sólo y revueltos
secuencias, intermedio a los paneles a partir de secuencias semánticas-solamente, y el
más pequeño a los de las secuencias normales (Figura (Figure2C).2C ). Estos resultados
sugieren que la presencia de una estructura narrativa en secuencias solo estructurales no
fue suficiente para atenuar la amplitud del efecto N400, una forma de onda asociada con
el procesamiento semántico . Por lo tanto, aunque la información semántica (incluidos
los cambios lineales en la coherencia) claramente desempeña un papel en el
procesamiento de imágenes secuenciales, lo hace en combinación con una gramática
narrativa.
Además, la amplitud del efecto N400 se atenuó a través de la posición ordinal de las
secuencias normales: las amplitudes más grandes aparecieron al comienzo de la
secuencia y se hicieron más pequeñas a medida que la secuencia progresaba. Debido a
que no se encontró dicha atenuación en otros tipos de secuencia, esto indicó tanto la
estructura como el significado permitidos para una acumulación de significado en una
secuencia. Estos hallazgos son paralelos a los resultados de ERP en investigaciones
análogas de procesamiento de oraciones (Van Petten y Kutas, 1991 ) y también se
alinean con investigaciones conductuales que muestran que los participantes ven
imágenes al comienzo de una secuencia más lenta que las posteriores en la secuencia
(Gernsbacher, 1983). ; Cohn y Paczynski, 2013 ; Cohn, 2014) Al comienzo de la
secuencia, los lectores pueden necesitar más tiempo para "establecer una base"
(Gernsbacher, 1985 ) de conocimiento para el resto de la secuencia (como en la función
de un Establecedor), lo que permite una visualización más rápida (o atenuada). Efectos
N400) a medida que se acumula información significativa a lo largo de la narración.
Finalmente, aunque Cohn et al. ( 2012a ) no encontraron diferencias en el efecto N400
entre paneles en secuencias solo estructurales y codificadas, una negatividad entre estas
formas de onda apareció en una región localizada anterior izquierda del cuero
cabelludo. Esta distribución a través del cuero cabelludo difería claramente de la
negatividad más extendida mostrada al efecto N400, y se hipotetizó que era similar al
efecto de negatividad anterior izquierda (LAN) evocado por violaciones de la estructura
sintáctica en oraciones (Neville et al., 1991 ; Friederici et al., 1993) Este efecto anterior
izquierdo también se correlacionó con una medida de la experiencia de lectura cómica
de los participantes: cuanto mayor era la experiencia de los participantes, mayor era la
diferencia entre estas respuestas cerebrales. Los efectos de experiencia como estos no
tienen precedentes: la capacidad de organizar imágenes de forma precisa en una
secuencia e inferir paneles faltantes se correlaciona con la edad y la experiencia de
lectura de cómics (Nakazawa, 2005 ; Nakazawa y Shwalb, 2012 ). Por lo tanto, los
entendidos no solo utilizan una gramática narrativa para comprender las imágenes
secuenciales, sino que dicha comprensión se ve modulada por su "fluidez" en este
lenguaje visual.
Ir:

Estructura compositiva externa

Separados del contenido de una narración visual, los comics reales organizan los
paneles físicamente en una página. Navegando esta “estructura externa de composición”
(ECS) de diseño de la página no se puede confiar en el contenido significativo de los
paneles ya que una sola secuencia puede estar dispuesto en numerosos diseños, sin
efecto sobre su significado, como en la figura Figura 3.3. Este tipo de reorganización
suele ocurrir con las historietas cuando se formatean para periódicos: pueden aparecer
como una franja horizontal, una pila vertical o una cuadrícula de cuatro paneles. A
menos que estos cambios alteren el orden real en el que se leen los paneles, estas
alteraciones solo afectan al ECS, sin cambios en la estructura conceptual /
narrativa. Además, los datos de los experimentos de seguimiento ocular han demostrado
que los lectores no exploran varias vías potenciales antes de progresar panel por panel
(Nakazawa, 2002 ; Omori et al., 2004; Chiba et al., 2007), lo que indica que el
contenido del panel no proporciona la motivación principal para su orden de lectura
(aunque se puede elegir un orden alternativo si el contenido confunde ese orden
previsto). Debido a estas razones, ECS usa principios separados que aquellos de las
estructuras narrativas / conceptuales.

figura 3
(A) Diseño de página original con su Estructura de Composición Externa (ECS)
diagramada. (B) Alteración del diseño de la página con el cambio resultante a ECS. Sinfesty
todos los personajes © Tatsuya Ishida.
Por lo general, se cree que los diseños de página siguen la "Z-path" de izquierda a
derecha heredada por el sistema de escritura alfabética (o lo contrario, de derecha a
izquierda, "Z-path inverso" del manga japonés). Sin embargo, las páginas a menudo se
alejan de esta organización. Los paneles se pueden separar entre
sí, superponiéndoseentre sí o escalonados uno al lado del otro para no crear una
canaleta continua entre los paneles. Además, el bloqueo puede producirse cuando un
panel vertical largo aparece a la derecha de los paneles apilados verticalmente,
“bloqueo” de un recorrido horizontal de la lectura (como en la interacción entre los
paneles 2, 3 y 4,1 en la Figura Figure3B3B ).
Estas variaciones en el diseño se probaron en un estudio en el que los participantes
vieron páginas de comics desprovistas de contenido y se les pidió que enumeraran el
orden en que leerían estos paneles vacíos (Cohn, 2013a ). En comparación con el uso de
la Z-path en una grilla canónica (0,95), los espectadores se alejaron de utilizar la ruta Z
solo un poco para el escalonamiento (0,89) o la separación (0,71), pero se desviaron en
gran medida del bloqueo (0,31). Este efecto de bloqueo fue modulado por la experiencia
en lectura cómica: los participantes con poca o ninguna experiencia en lectura de
cómics eran mucho más propensos a usar el Z-path que aquellos con alguna experiencia
en absoluto. Sin embargo, los datos de seguimiento de ojos sugieren que algunos
lectores omiten el panel apilado verticalmente en diseños de bloqueo a favor del orden
horizontal de la ruta Z (Omori et al., 2004 ; Chiba et al.2007 ). Por lo tanto, pueden
existir asimetrías entre las preferencias para el diseño de una página (ECS) y cómo las
personas navegan por esa página, tal vez condicionadas por su "fluidez" en este lenguaje
visual.
Estos resultados experimentales sugieren que varias limitaciones influyen en la forma
en que los lectores navegan en los diseños de página. Una estrategia general
de Assemblageguía a los lectores a buscar construir unidades de estructura que creen
formas coherentes en un camino de lectura lo más suave posible (Cohn, 2013a ). Estas
preferencias son: (1) las áreas agrupadas son preferibles a las áreas no agrupadas, (2) las
rutas suaves son preferibles a las rutas interrumpidas, (3) no se deben saltar las
unidades, y (4) no se deben dejar "huecos" en leyendo. Por lo tanto, los lectores
prefieren moverse verticalmente en rutas de bloqueo en lugar de horizontalmente
porque buscan crear una agrupación completa de paneles contiguos sin dejar un espacio.
CONCEPTO CLAVE 4

Montaje
Los principios generales que guían a los lectores a través de páginas de comics, donde
buscan construir unidades de estructura en un camino de lectura lo más sencillo
posible. Estas preferencias especifican que: (1) las áreas agrupadas son preferibles a las
áreas no agrupadas, (2) las rutas suaves son preferibles a las rutas interrumpidas, (3) no
se deben saltar las unidades, y (4) no se deben dejar "huecos" en lectura.
Al seguir estas limitaciones, los lectores en última instancia forman relaciones
jerárquicas entre los paneles y sus agrupaciones, organizados en constituyentes
horizontales y verticales (Tanaka et al., 2007 ; Bares, 2008 ; Cohn, 2013a ). Estos
constituyentes representan la estructura subyacente que un creador y lector aplican a la
organización y navegación de un diseño de página. Figura Figure3A3A representa la
ECS para el original Sinfest tira descrito anteriormente. Es bastante simple, tres niveles
horizontales, con una subestructura vertical en el primer nivel. Figura Figure3B3Bluego
altera este diseño reorganizando los paneles, dividiendo el panel 4 en dos partes (4.1,
4.2) y agregando un panel "inserto" (7.2) dentro del panel envolvente más dominante
7.2 (Cohn, 2013a ). Estos cambios alteran el ECS, pero no tienen ningún impacto en el
significado de la secuencia (sin embargo, la narrativa sí cambia, como se explica a
continuación).
Ir:

Estructura de encuadre atencional

Vimos más arriba cómo la alteración del encuadre de los paneles podría cambiar el
diseño de una secuencia, pero el encuadre también podría afectar la narración. Por
ejemplo, el encuadre podría determinar cuántos caracteres aparecen en un panel, como
en la Figura Figure3B3B en paneles 4.1 / 4.2 o 7.1 / 7.2: debe ser muestran juntos dos
caracteres en un solo estado narrativa en un solo panel, o dichas caracteres ser dividido,
cada uno en su propio panel? Estas alteraciones aún no cambian necesariamente el
significado (semántica) de la secuencia, aunque alteran el ritmo (narrativa) y el diseño
(ECS), y por lo tanto los aspectos del encuadre parecen operar entre estas otras
estructuras.
Primero, los paneles individuales enmarcan cuánta información se representa en una
escena. En cierto sentido, las fronteras del panel simulan una "ventana de atención" que
enmarca solo el contenido que un autor desea que el lector asimile. La información que
no está representada directamente en los paneles no es importante o está destinada a ser
inferida. Por lo tanto los paneles actúan como “unidades de atención” que pueden
clasificarse según la cantidad de información que contienen, como se representa en la
“matriz framing atencional” en la Figura Figure44 (Cohn, 2007 , 2013b ). Además, el
encuadre se cruza con ECS. Una sola imagen podría dividirse en
múltiples divisionespaneles, donde la imagen más grande se reconoce debido a la
constancia de la imagen, pero las partes componentes individualizan ciertos
caracteres. Además, los paneles insertadospueden enmarcar información dentro de un
panel dominante más grande, nuevamente para enfocar la atención en ese elemento.
 Abrir en una ventana separada
Figura 4
Una "matriz de enmarcado atencional" que muestra cómo se puede enmarcar el
contenido en paneles a través de categorías de marcos base y modificación adicional de
aspectos del diseño . Una macro contiene múltiples entidades activas involucradas en la
interacción o situación en la escena. Un mono contiene solo una entidad de la escena, mientras
que un micro representa menos de una sola entidad, a menudo a través de un primer
plano. Finalmente, los paneles amorfos no representan entidades activas de las partes "inactivas"
de la escena del entorno o escena más grande. Los paneles divisionalesdividen las imágenes
individuales en subpaneles, mientras que los paneles insertados se colocan dentro de otros
paneles dominantes. Sinfest y todos los personajes © Tatsuya Ishida.
Figura Figure5A5A extrae una secuencia de la Figura Figura 1a.1A . Una
representación espacial de esta escena completa (gato, perro, árbol, tocón) ilustra cómo
los paneles "ventana" diferentes partes de este entorno general (paneles indicados por
líneas de puntos, indexados por números de panel). Figura Figure5B5B altera la
secuencia original mediante el fraccionamiento aparte panel 4 (ahora una divisional), y
la adición de una inserción en el panel 7. Estas alteraciones cambian el diseño de página
(Figura (Figure3B),3B), pero también cambian la estructura narrativa. El panel divisor 4
crea dos Establishers unidos dentro de un constituyente de Establisher más grande, ya
que ambos paneles ahora cumplen esta función. El entorno más amplio que crean (es
decir, un entorno que consiste en perros y gatos juntos) ahora se infiere, y así se
representa en la estructura espacial sin un borde punteado. Esta "Conjunción ambiental"
está anotada con un subíndice "e". Además, la Versión ahora usa un recuadro para atraer
el foco narrativamente a un elemento en una escena: un "refinador" (Cohn, 2013b ). Por
lo tanto, el encuadre puede alterar tanto la narración como el diseño, aunque el
significado permanece básicamente sin cambios.

Abrir en una ventana separada

Figura 5
Secuencias visuales donde la alteración del encuadre del panel cambia la estructura
narrativa, junto con el mapeo de una estructura espacial . Nota: La extracción de esta
cláusula de su contexto en una secuencia más grande hace que el Establecedor tener una
relación local para el resto del componente en lugar de en un nivel superior, como en la
figura Figura 1.1 . (A) representa el encuadre original, mientras que (B) individualiza los
caracteres, lo que lleva a la Conjunción Ambiental (anotada con el subíndice "e"). Se agregaron
bordes del panel para aclaración y énfasis. Sinfest y todos los personajes © Tatsuya Ishida.
Vale la pena señalar que la forma en que se enmarca una escena parece diferir según las
culturas. Los análisis de corpus sugieren que el manga japonés muestra
proporcionalmente menos de una escena completa (monos, micros) más a menudo de lo
que muestran una escena completa (macros), que es diferente a los cómics
estadounidenses que tienden a mostrar escenas completas más que individualizar sus
componentes (Cohn , 2011 ; Cohn et al., 2012b ). Esto implica que los lectores de
manga deben inferir estos entornos más grandes más que los lectores de cómics
estadounidenses, donde las escenas completas se proporcionan directamente. Tales
diferencias también sugieren una variación en la forma en que se usan las estructuras
narrativas entre culturas.
Ir:

Interfaces entre narrativa y diseño

Como se demostró, las imágenes secuenciales implican varias estructuras que operan
independientemente una de otra, pero todas interactúan juntas. Para el cómic Sinfest
deejemplo , estas conexiones se pueden rastrear entre los números de panel a través de
las figuras. Estas estructuras arbóreas no son isomórficas: los constituyentes de la
estructura narrativa no se alinean limpiamente con los del ECS. Por ejemplo, en el
diseño original, el lanzamiento del segundo componente narrativo (panel 7) comienza el
tercer nivel horizontal en lugar de terminar un nivel anterior. Por lo tanto, los límites de
los constituyentes narrativos no siempre se alinean con los límites del diseño físico.
Esta "arquitectura paralela" de estructura narrativa y ECS es análoga a la organización
del lenguaje, donde cada subestructura lingüística (fonología, sintaxis, semántica) opera
con sus propios principios, pero interactúa con los demás para formar el conocimiento
lingüístico completo (Jackendoff, 2002 ). Debido a que estos componentes están
separados, una estructura puede cambiar mientras que las otras permanecen iguales. Por
ejemplo, diferentes diseños pueden transmitir el mismo contenido significativo (como
en la Figura Figure3B),3B ), o a la inversa, la misma disposición se podría utilizar para
diferentes contenidos.
Future research can better explore the interactions between these structures, such as the
mappings that may exist between narrative and layout. Locative information often
coincides with the first panel of a page, and suspenseful panels (Initials) often occur at
the final panel on a page, thereby inducing a thrilling page turn and subsequent reveal of
primary information (Peaks) on the next page (McCloud, 2000). Narrative arcs may
alternatively conclude at page borders, thereby using the page layout as a break between
constituents. Also, panels that occupy whole “splash pages” are likely to be Peaks—
since the large size should echo a climactic moment of the narrative. Inset panels often
zoom in on information in a larger panel (“Refiners”), or depict additional characters in
the broader scene from the dominant panel (“Environmental-Conjunction”) (see
Cohn, 2013b,c). These mappings between narrative and layout could be explored
through corpus analyses of comic pages and experimental manipulation.
Más allá de estas interfaces estructurales , también podemos explorar cómo estas
estructuras interactúan en la comprensión. ¿Pueden los cambios en el contenido obligar
a los lectores a navegar por una página de formas que van en contra de sus reglas
preferidas? ¿Los lectores prefieren los límites entre los componentes narrativos para
alinearse con los límites en ECS? ¿Qué cambios en el diseño pueden confundir a los
lectores sobre el significado de la estructura narrativa? Estas y otras preguntas pueden
enmarcar la experimentación futura sobre la relación entre estas estructuras.
Ir:

Conclusión
Mientras que la investigación científica concertada sobre narrativas visuales ha
comenzado a emerger, estas incursiones iniciales han demostrado la ventaja de un
enfoque de varias capas que equilibra el modelado teórico, el análisis de corpus y la
experimentación empírica usando medidas conductuales y neurocognitivas. En general,
este trabajo ha proporcionado evidencia de las interacciones de la narrativa, el
significado, el diseño de la página y el encuadre, y esa familiaridad en estas estructuras
contribuye a una mayor fluidez en el lenguaje visual utilizado en los cómics.

Declaracion de conflicto de interes

El autor declara que la investigación se realizó en ausencia de cualquier relación
comercial o financiera que pudiera interpretarse como un potencial conflicto de
intereses.
Ir:

Biografía

Neil Cohn , es un científico cognitivo

estadounidense reconocido internacionalmente por su investigación sobre la
superposición de la estructura y la cognición de las imágenes secuenciales y el
lenguaje. Recibió su doctorado en Psicología de la Universidad de Tufts, y su libro más
reciente, El lenguaje visual de los cómics (Bloomsbury, 2013), presenta un amplio
marco para el estudio de las narrativas visuales en las ciencias cognitivas. Su trabajo
está en línea en www.visuallanguagelab.com .
 Ir:

Referencias

1. Amoruso L., Gelormini C., Aboitiz F., Alvarez González M., Manes F., Cardona
J., y col. (2013). N400 ERP para acciones: construir significado en
contexto . Frente. Tararear. Neurosci . 7 : 57 10.3389 /
fnhum.2013.00057 [ Artículo libre de PMC ] [ PubMed ] [ Referencia cruzada ]
2. Bares W. (2008). Golpe de panel: diseño y sincronización de los paneles de
comics , en el documento presentado en las actas del 9º Simposio internacional
sobre gráficos inteligentes (Rennes).
3. Chiba S., Tanaka T., Shoji K., Toyama F. (2007). Movimiento de los ojos en la
lectura de cómics , en Actas de los XIV Talleres Anuales de Exhibición
Internacional , Hrsg. v. Society for Information Display (Red Hook, NY:
Curran;), 1255-1258
4. Chomsky N. (1965). Los aspectos de la teoría de la sintaxis . Cambridge, MA:
MIT Press
5. Cohn N. (2003). Primeros escritos sobre lenguaje visual . Carlsbad, CA: Emaki
Productions
6. Cohn N. (2007). Un léxico visual . Public J. Semiotics 1 , 53-84
7. Cohn N. (2010). Los límites del tiempo y las transiciones: desafíos a las teorías
de la comprensión secuencial de imágenes . Semental. Cómics 1 , 127-147
10.1386 / stic.1.1.127 / 1 [ Referencia cruzada ]
8. Cohn N. (2011). Un tipo diferente de marco cultural: un análisis de paneles en
cómics estadounidenses y manga japonesa . Imagen narrativa 12 , 120-134
9. Cohn N. (2012). Cómics, lingüística y lenguaje visual: el pasado y el futuro de
un campo , en Lingüística y el estudio de los cómics , ed Bramlett F.,
editor. (Nueva York, NY: Palgrave MacMillan;), 92-118
10. Cohn N. (2013a). Navigating comics: un enfoque empírico y teórico de las
estrategias de lectura de diseños de página de
cómic . Frente. Psychol . 4 : 18610.3389 / fpsyg.2013.00186 [ Artículo libre de
PMC ] [ PubMed ] [ Referencia cruzada ]
11. Cohn N. (2013b). El lenguaje visual de los cómics: Introducción a la estructura y
la cognición de las imágenes secuenciales . Londres, Reino Unido: Bloomsbury
12. Cohn N. (2013c). Estructura visual narrativa . Cogn. Sci . 37 , 413-452 10.1111 /
cogs.12016 [ PubMed ] [ Referencia cruzada ]
13. Cohn N. (2014). Eres una buena estructura, Charlie Brown: la distribución de
categorías narrativas en historietas . Cogn. Sci . [Epub antes de
imprimir]. 10.1111 / cogs.12116 [ Artículo gratuito de
PMC ] [ PubMed ] [ Referencia cruzada ]
14. Cohn N., Paczynski M. (2013). Predicción, eventos y la ventaja de los agentes:
el procesamiento de los roles semánticos en la narrativa
visual . Cogn. Psychol . 67 , 73-97 10.1016 / j.cogpsych.2013.07.002 [ Artículo
libre de PMC ] [ PubMed ] [ Referencia cruzada ]
15. Cohn N., Paczynski M., Jackendoff R., Holcomb PJ, Kuperberg GR
(2012a). (Pea) tuercas y tornillos de la narrativa visual: estructura y significado
en la comprensión secuencial de imágenes . Cogn. Psychol . 65 , 1-38 10.1016 /
j.cogpsych.2012.01.003 [ Artículo libre de PMC ] [ PubMed ] [ Referencia
cruzada ]
16. Cohn N., Taylor-Weiner A., Grossman S. (2012b). Enmarcando la atención en
los comics japoneses y estadounidenses: las diferencias transculturales en la
estructura atencional . Frente. Psychol . 3 : 349 10.3389 /
fpsyg.2012.00349 [ Artículo libre de PMC ] [ PubMed ] [ Referencia cruzada ]
17. Fazio P., Cantagallo A., Craighero L., D'Ausilio A., Roy AC, Pozzo T., et
al. (2009). Codificación de la acción humana en el área de Broca . Brain 132 ,
1980-1988 10.1093 / brain / awp118 [ PubMed ] [ Referencia cruzada ]
18. Freytag G. (1894). Técnica del drama . Chicago, IL: SC Griggs & Company
19. Friederici AD, Pfeifer E., Hahne A. (1993). Potenciales cerebrales relacionados
con eventos durante el procesamiento del habla natural: efectos de violaciones
semánticas, morfológicas y sintácticas . Cogn. Brain Res . 1 , 183-192 10.1016 /
0926-6410 (93) 90026-2 [ PubMed ] [ Referencia cruzada ]
20. Gernsbacher MA (1983). Memoria para información de superficie en historias
no verbales: paralelismos e información sobre los procesos de lenguaje . Tesis
Doctoral, Universidad de Texas en Austin, Austin, TX.
21. Gernsbacher MA (1985). Pérdida de información superficial en
comprensión . Cogn. Psychol . 17 , 324-363 [ Artículo libre de
PMC ] [ PubMed ]
22. Gernsbacher MA, Varner KR, Faust M. (1990). Investigar las diferencias en la
habilidad general de comprensión . J. Exp. Psychol. Aprender. Mem. Cogn . 16 ,
430-445 [ artículo libre de PMC ] [ PubMed ]
23. Halliday MAK, Hasan R. (1976). Cohesión en Inglés . Londres: Longman
24. Huber W., Gleber J. (1982). Procesamiento lingüístico y no lingüístico de
narraciones en afasia . Brain Lang . 16 , 1-18 [ PubMed ]
25. Ishida T. (2008). Árbol. Sinfest . Disponible en línea
en: http://sinfest.net/view.php?date=2008-03-23 (Consultado el 15 de enero de
2014).
26. Jackendoff R. (1990). Estructuras semánticas . Cambridge, MA: MIT Press
27. Jackendoff R. (2002). Fundamentos del lenguaje: Cerebro, Significado,
Gramática, Evolución . Oxford: Oxford University Press
28. Kaufman AS, Lichtenberger EO (2006). Evaluando la Inteligencia de
Adolescentes y Adultos, 3rd Edn . Hoboken, Nueva Jersey: Wiley
29. Kraft RN, Cantor P., Gottdiener C. (1991). La coherencia de las narrativas
visuales. Comunic. Res . 18 , 601-616
30. Kutas M., Federmeier KD (2011). Treinta años y contando: encontrando
significado en el componente N400 del potencial cerebral relacionado con el
evento (ERP) . Annu. Rev. Psychol . 62 , 621-647 10.1146 /
annurev.psych.093008.131123 [ Artículo libre de
PMC ] [ PubMed ] [ Referencia cruzada ]
31. Kutas M., Hillyard SA (1980). Lectura de oraciones sin sentido: el potencial
cerebral refleja incongruencia semántica . Science 207 , 203-205 [ PubMed ]
32. Magliano JP, Miller J., Zwaan RA (2001). Indización de espacio y tiempo en la
comprensión cinematográfica . Appl. Cogn. Psychol . 15 , 533-545 10.1002 /
acp.724 [ Referencia cruzada ]
33. Magliano JP, Zacks JM (2011). El impacto de la edición de continuidad en la
película narrativa sobre la segmentación de eventos . Cogn. Sci . 35 , 1489-1517
10.1111 / j.1551-6709.2011.01202.x [ Artículo libre de
PMC ] [ PubMed ] [ Referencia cruzada ]
34. Mandler JM, Johnson NS (1977). Recordación de las cosas analizadas:
estructura de la historia y recuerdo . Cogn. Psychol . 9 , 111-151
35. Marslen-Wilson WD, Tyler LK (1980). La estructura temporal de la
comprensión del lenguaje hablado . Cognition 8 , 1-71 [ PubMed ]
36. Mayberry RI (1992). El desarrollo cognitivo de los niños sordos: ideas
recientes , en Child Neuropsychology, vol. 7 de Handbook of Neuropsychology ,
eds Rapin I., Segalowitz S., editores. (Amsterdam: Elsevier;), 51-68
37. McCloud S. (1993). Comprensión de los cómics: el arte invisible . Nueva York,
Nueva York: Harper Collins
38. McCloud S. (2000). Reinventando Comics . Nueva York, NY: Paradox Press
39. Nagai M., Endo N., Takatsune K. (2007). La medición de las actividades
cerebrales relacionadas con la comprensión mediante espectroscopía de
infrarrojo cercano (NIRS) , en la interfaz humana y la gestión de la información:
métodos, técnicas y herramientas en el diseño de la información , vol. 4557, eds
Smith MJ, Salvendy G., editores. (Heidelberg: Springer Berlin;), 884-893
40. Nakazawa J. (2002). Análisis de los procesos de lectura de manga (cómic):
alfabetización de manga y movimiento de los ojos durante la lectura de
manga . Manga Stud . 5 , 39-49
41. Nakazawa J. (2005). Desarrollo de alfabetización de manga (cómic) en niños ,
en Psicología Aplicada al Desarrollo: Teoría, Práctica e Investigación de Japón ,
editores Shwalb DW, Nakazawa J., Shwalb BJ, editores. (Greenwich, CT:
publicación de la edad de la información;), 23-42
42. Nakazawa J., Shwalb DW (2012). La comparación de la alfabetización de
manga 983 entre estudiantes universitarios japoneses y estadounidenses , en
el documento presentado en la reunión 984 sobre la psicología del
manga (Chiba: Universidad de Chiba;).
43. Nalu A., Bliss JP (2011). Los cómics como un medio de entrenamiento
cognitivo para la toma de decisiones
experta . Proc. Tararear. Hecho. Ergon. Soc. Annu. Meet . 55 , 2123-2127
10.1177 / 1071181311551443 [ Referencia cruzada ]
44. Neville HJ, Nicol JL, Barss A., Forster KI, Garrett MF (1991). Clases de
procesamiento de oraciones basadas sintácticamente: evidencia de potenciales
cerebrales relacionados con eventos . J. Cogn. Neurosci . 3 , 151-165 [ PubMed ]
45. Nöth W. (1990). Comics Handbook of Semiotics. Indianappolis, IN: Prensa de la
Universidad de Indiana; 472-475
46. Omori T., Ishii T., Kurata K. (2004). Atrapasueños en los comics: controlando
los movimientos oculares en la lectura de medios pictóricos y textuales , en
un documento presentado en el 28º Congreso Internacional de
Psicología (Beijing:).
47. Saraceni M. (2003). El lenguaje de los cómics . Nueva York, NY: Routeledge
48. Short JC, Randolph-Seng B., McKenny AF (2013). Presentación gráfica: un
examen empírico del enfoque de novela gráfica para comunicar conceptos de
negocios . Autobús. Commun. Q . 76 , 273-303 10.1177 /
1080569913482574 [ Referencia cruzada ]
49. Stein NL, Nezworski T. (1978). Los efectos de la organización y el conjunto de
instrucciones en la memoria de la historia . Proceso del discurso . 1 , 177-193
50. Tanaka T., Shoji K., Toyama F., Miyamichi J. (2007). Análisis del diseño de
marcos de escenas estructuradas en forma de árbol en imágenes cómicas , en
un documento presentado en la Conferencia Internacional Conjunta sobre
Inteligencia Artificial (Hyderabad:).
51. van Dijk T., Kintsch W. (1983). Estrategias de comprensión del
discurso . Nueva York, NY: Academic Press
52. Van Petten C., Kutas M. (1991). Influencias del contexto semántico y sintáctico
en palabras abiertas y de clase cerrada . Mem. Cogn . 19 , 95-112 [ PubMed ]
53. West WC, Holcomb P. (2002). Potenciales relacionados con eventos durante la
integración semántica a nivel discursivo de imágenes complejas . Cogn. Brain
Res. 13 , 363-375 10.1016 / S0926-6410 (01) 00129-X [ PubMed ] [ Referencia
cruzada ]
54. Zacks JM, Speer NK, Reynolds JR (2009). Segmentación en lectura y
comprensión de películas . J. Exp. Psychol. Gen . 138 , 307-327 10.1037 /
a0015305 [ PubMed ] [ Referencia cruzada ]
55. Zwaan RA, Radvansky GA (1998). Modelos de situación en la comprensión del
lenguaje y la memoria . Psychol. Bull . 123 , 162-185 10.1037 // 0033-
2909.123.2.162 [ PubMed ] [ Referencia cruzada ]