Multimodal socialsemiotik

Meningen med det heleMeningen med det hele

Multimodal socialsemiotik – meningen med det hele

Multimodal socialsemiotik

Meningen med det heleMeningen med det hele

Multimodal socialsemiotik – meningen med det hele

Repræsentant for 3

multimodal forskning:

Multimodal socialsemiotik – meningen med det hele

Personligt forskningsfelt4

Personligt forskningsfeltArbejdstitel:bejdst te :

Multimodal socialsemiotik og levende billeder

Undersøgelsesspørgsmål:Undersøgelsesspørgsmål:

Kan MMSS benyttes til at teoretisering, d k i i l f l d bill d ?deskription og analyse af levende billeder?

Empirisk felt:

Multimodal socialsemiotik – meningen med det hele

TV (reklamer, film og nyheder) Teorien

Socialsemiotik5

Socialsemiotik

Systemisk Funktionel Lingvistik (SFL)

Ideologikritisk socialsemiotik (Hodge og Kress), feministisk g g gdiskursanalyse (Lazar), Interaktionsanalyse (Scollon, Norris), ContentAnalysis (Bell), Computer Analysis (Burford, Briggs og Eakins, Baldry og Thibault), socialsemiotisk etnografi (Vannini), visuel kommunikation Thibault), socialsemiotisk etnografi (Vannini), visuel kommunikation (O’Toole, Kress og van Leeuwen), Auditiv teori (van Leeuwen), multimodal litteracy og læringsteori (Jewit og Kress), multimodal stilistik (Toolan Nørgaard) multimodal filmteori (O’Halloran Ego) stilistik (Toolan, Nørgaard), multimodal filmteori (O Halloran, Ego), multimodal teori (Kress og van Leeuwen, Lemke, Baldry og Thibault, O’Halloran) m.m.m.

Multimodal socialsemiotik – meningen med det hele

6

Socialsemiotisk kommunikationssyn

jf. Kress & Van Leeuwen

Kommunikation er en proces, hvor et semiotisk

j

produkt er både artikuleret/produceret og fortolket/konsumeret

Afsender ModtagerSemiotisk produkt

Semiosis (betydningsdannelse)

Multimodal socialsemiotik – meningen med det hele

(betydningsdannelse)

7

Socialsemiotisk kommunikationssyn

jf. Kress & Van Leeuwen

Al social adfærd er semiotisk

j

og

al semiotisk handling er socialal semiotisk handling er social

Social SemiosisSoc aadfærd

Semiosis

Multimodal socialsemiotik – meningen med det hele

8

Socialsemiotisk kommunikationssyn

Sprog ses i forhold til kontekstenSprog ses i forhold til konteksten– betydningen af enhver ytring er betinget af

den situationelle kontekst den udspilles i og af den situationelle kontekst den udspilles i og af den generelle kulturelle kontekst

Multimodal socialsemiotik – meningen med det hele

Konteksttanken9

KonteksttankenKontekstKontekst

Semantik

Leksikogrammatik

Kultur

Fonologi

FonetikSituation

Multimodal socialsemiotik – meningen med det hele

10

Socialsemiotisk kommunikationssyn

Sprog ses som ressourceSprog ses som ressource– et potentiale af mulige betydninger og former

hvorfra vi vælger hvad vi vil anvende til at hvorfra vi vælger, hvad vi vil anvende til at skabe den ønskede betydning (instantiering)

Multimodal socialsemiotik – meningen med det hele

Ressourcetanken11

Ressourcetanken

d l Betydningspotentiale vs. Instantieret ytring

Ressourcer

Ytring

Multimodal socialsemiotik – meningen med det hele

Halliday 12

Halliday

k kk b k l f Kommunikation er ikke en beskrivelse af virkeligheden, men ny virkelighed, ykonstrueret ud af sproget

Sprog er multifunktionelt

– ikke blot refererende

Der er flere forskellige meninger realiseret

Multimodal socialsemiotik – meningen med det hele

samtidig i kommunikationen

MetafunktionerneMetafunktionerne

f f b dTre former for betydning

• Ideationel betydning – betydning som repræsentation

• Interpersonel betydningp y g– betydning som interaktion

T k t l b t d i• Tekstuel betydning– betydning som strukturering

Multimodal socialsemiotik – meningen med det hele

Socialsemiotisk udvikling14

Socialsemiotisk udviklingSystemisk Funktionel Lingvistik (SFL)Syste s u t o e g st (S )

Visuel Socialsemiotik

Auditiv Socialsemiotik

Div SocialsemiotikDiv. Socialsemiotik

Multimodal socialsemiotik – meningen med det hele

Multimodal Socialsemiotik

Visuel socialsemiotik15

Visuel socialsemiotik

Billeder er semiotiske konstruktioner, Billeder er semiotiske konstruktioner, konstrueret ud fra semiotiske paradigmer = betydningspotentiale ( = grammatik)betydningspotentiale ( = grammatik)

Multimodal socialsemiotik – meningen med det hele

Multimodal16

Socialsemiotikl k k k Al kommunikation er semiotiske

konstruktioner, konstrueret ud fra semiotiske paradigmer = betydningspotentiale ( = grammatik)betydningspotentiale ( grammatik)

Betydningspotentialet består af alle mulige former for instantiering fra alle mulige g gmodes OG deres kombinationer

Multimodal socialsemiotik – meningen med det hele

Multi-sensory integration /17

Multi-sensory integration /Mode-integration g

Multimodal socialsemiotik – meningen med det hele17

18

Multimodal socialsemiotik – meningen med det hele

Multi-sensory integration19

Multi-sensory integration

M G k ffMcGurk effect

Most adults (98%) think they are hearing "DA" - a so called "fused respons" - where the "D" is a resultof an audio-visual illusion. In reality you arehearing the sound "BA", while you are seing the lipmovements "GA".

The "McGurk effect" was first described by Harry McGurk and John MacDonald in "Hearing lips and seeing voices", Nature 264, 746-748 (1976).

Multimodal socialsemiotik – meningen med det hele

Multimodal20

Socialsemiotik

Al kommunikation er multimodal – flere samtidige kommunikationssystemer

(modes) er i spil i enhver kommunikation

– betydningen opstår i syntesen af disse

– intet mode er a priori væsentligere end et intet mode er a priori væsentligere end et andet

– betydningen er bestemt af den situationelle og – betydningen er bestemt af den situationelle og den kulturelle kontekst

Multimodal socialsemiotik – meningen med det hele

Ressourcetanken21

Ressourcetanken

d l Betydningspotentiale vs. Instantieret ytring

Ressourcer

Ytring

Multimodal socialsemiotik – meningen med det hele

Ligheder22

Ligheder

å f d f • Noget står for noget andet for nogen

• Undersøger betydningsdannelseg y g

• Fokus på paradigmatiske valg

K t ti• Kommutation

• Teksten (texten) i fokus

Multimodal socialsemiotik – meningen med det hele

Forskelle23

Forskelle

T ti å t d t lj t i • Teoretiserer på et mere detaljeret niveau (tættere på isomorft)

b k b d l • Forsøger at beskrive betydningspotentialet systematisk (systemisk)

• Næranalytisk / tekstnært (systematisk)• Teksten (texten) er ikke et tegn, den består af ( ) g ,

tegn (segmentering)• Alle kommunikationsformer (modes) lader sig Alle kommunikationsformer (modes) lader sig

beskrive systematisk, og har en grammatik. • Det har deres kombinationer også

Multimodal socialsemiotik – meningen med det hele

Det har deres kombinationer også

Eksempel på et mode:24

Musik (til levende billeder)

ll f lSpillefilm:– Interpersonel funktion p

• Stemningsskabende

• Kommenterende

– Strukturerende funktion• Intro + overgangssignal (markerende)• Intro + overgangssignal (markerende)

• Leitmotiv

Ideationel funktion– Ideationel funktion• Diegetisk (radio, band osv.)

Tid d i dik d

Multimodal socialsemiotik – meningen med det hele

• Tids- og stedsindikerende

Eksempel på et mode:25

Musik (til levende billeder)

h dNyhedsprogram:– Strukturerende funktion

• Intro

• Indholdsfortegnelseg

• Overgangssignal

– Interpersonel funktion Interpersonel funktion • Stemningsskabende (upassende i indslag)

Ideationel funktion– Ideationel funktion• Indslag om/med musik

Multimodal socialsemiotik – meningen med det hele

Eksempel på et mode:26

Musik (til levende billeder)

klTV-reklame (all of the above +):– Ideationel funktion

• Repræsentere

– Interpersonel funktion Interpersonel funktion • Genkendelighed

• Tilføre værdi• Tilføre værdi

– Strukturerende funktionO k h d i f h ld til fl t• Opmærksomhed i forhold til flowet

• Strukturere editering (klipperytme)

Multimodal socialsemiotik – meningen med det hele

Andre eksempler27

Andre eksempler

• Farve (stemning, organisering, repræsentation, link)

• Gaze (proces, udpegning, kontakt, link)Gaze (proces, udpegning, kontakt, link)

• Gestik (proces, udpegning, kontakt, link)

• Osv.

Multimodal socialsemiotik – meningen med det hele

Multimodal teori28

Multimodal teori

d k b k k• Hvert mode kan beskrives grammatisk

• Samlingen af flere modes kan beskrives Samlingen af flere modes kan beskrives grammatisk

P i l di kt d i • Præcise analyser, som peger direkte ned i teksten

Multimodal socialsemiotik – meningen med det hele

Undervisning ved IVK29

Undervisning ved IVK

l l • Visuel Analyse og Design (BA)

• Kultur og Kommunikation (BA)Kultur og Kommunikation (BA)

• Visuelt Design (BA)

• Mediating 9/11 (BA)

• Visuel Analyse og Design (Tilvalg)Visuel Analyse og Design (Tilvalg)

• Multimodal Kommunikation (Master)

+ Visuel specialisering

Multimodal socialsemiotik – meningen med det hele

+ Visuel specialisering

Multimodalitetskredsen30

Multimodalitetskredsen

Multimodal socialsemiotik – meningen med det hele

Multimodalitetskredsen31

Multimodalitetskredsen

www.sdu.dk/multimodality

Multimodal socialsemiotik – meningen med det hele

Multimodal socialsemiotik

Meningen med det helei det heleMeningen med det helei det hele

Multimodal socialsemiotik – meningen med det hele

Multimodal socialsemiotik

Meningen med det helei det heleMeningen med det helei det hele

Multimodal socialsemiotik – meningen med det hele