Als ob die Sinne erweitert würden … Augmented Reality als neue semiotische Ressource in der multimodalen Kommunikation? Sascha Demarmels This paper asks about the status of Augmented Reality in the multimodal communication. In Augmented Reality applications images of the reality are augmented with virtual objects or archive pictures. For general audiences Augmented Reality is most likely shown on digital billboards out of home or on a computer at home or at work. Augmented Reality is not a medium but uses semiotic resources of other media, for example the resources of film. In fact, the meaning of certain Augmented Reality applications often lies not in the surface of what can be seen on a billboard but between the modes. It comes to mind only when realised that the shown version of reality does not actually fit the reality. 1 Einleitung Seit einigen Jahren befinden wir uns in der “multimodalen Wende” (vgl. z.B. Bucher 2010). Natürlich spielt der Medienwandel dabei eine Rolle, denn durch die neuen Medien der letzten paar Jahrzehnte wurde die Multimodalisierung in großem Ausmaß voran getrieben (vgl. ebd.: 41). Dabei dient der Text nach wie vor als Basismodus der durch weitere Modalitäten ergänzt werden kann, beispielsweise durch Bild, Grafik, Design, Ton, Musik oder gesprochene Sprache (ebd.). Die Multimodalität gehört schon seit längerem zu unserer kommunikativen Praxis: Wir verbinden unterschiedliche semiotische Ressourcen zu einem Ganzen. Die Digitalisierung ermöglicht solche Verbindungen auf einfache Weise und treibt damit die alltägliche Multimodalisierung an (ebd.: 43). Kress und van Leeuwen setzen sich zum Ziel, nicht der Technik, sondern der Semiotik dieser Multimodalität nachzugehen: “[…] the semiotic rather than the technical element, the question, of how this technical posslibility can be made to work semiotically” (Kress und van Leeuwen 2001: 2). Ein Phänomen, dass erst durch die Digitalisierung ermöglicht wurde, ist die Augmented Reality (AR). Dabei handelt es sich um eine Zusammenführung von Bildmaterialien auf unterschiedlichen Ebenen, beispielsweise die Kombination von verschiedenen Archivbildern oder die Verschmelzung von Archiv- und Live-Bildern in Filmmedien. Bei AR handelt es sich aber weder um eine Kommunikationsform noch um ein Medium. AR-Anwendungen können dazu genutzt werden, die Betrachtenden zu täuschen und ihnen im vermeintlichen Live-Bild etwas vorzugaukeln, was in der Realität nicht vorhanden ist. Beispielsweise kann sich ein Mechaniker einen Helm aufsetzen, der ihm neben dem Blick auf die Realität eine weitere Bildebene einblendet, auf der die Teile eines Motors genauer bezeichnet und An- K O D I K A S / C O D E Ars Semeiotica Volume 34 (2011) No. 3 - 4 Gunter Narr Verlag Tübingen Sascha Demarmels 330 leitungen für das korrekte Zusammenschließen von Elementen gegeben werden. Oder auf einem Public Screen - einem großen Bildschirm in der Öffentlichkeit - wird ein Live-Bild des umliegenden Platzes ausgestrahlt, das mit virtuellen Objekten angereichert ist. Beispielsweise können Sprech- und Gedankenblasen zu einzelnen Personen eingeblendet werden. Dort erscheinen natürlich nicht reale Gedanken und Äußerungen, sondern eine weitere Person gibt völlig fiktionale Texte ein, wie beispielsweise in die Sprechblase eines etwas müde wirkenden Mannes “Buhh, ist mir langweilig.” oder in die Gedankenblase eines Kindes mit großen Augen “Mhmmm, ich hätte gerne die Zuckerwatte dieses Mädchens dort.” Im vorliegenden Aufsatz möchte ich zeigen, dass Augmented Reality mehr ist als die Darstellung der Welt oder einer möglichen Welt (einer Fiktion), das heißt, dass AR mehr ist als ein Film. Zwar materialisiert sich AR über die gängigen modes, die wir bereits von der Kommunikationsform Film kennen (allerdings meist ohne Ton). Aber: Sie löst darüber hinaus mehr aus in den Rezipierenden, sie zieht eine weitergehende Sinnkonstruktion nach sich. Teilweise ist diese sogar mit codes verbunden, die im Original gar nicht vorkommen (können). Zunächst werde ich auf die Definition und die Systematisierung von AR eingehen, danach werde ich mich der Terminologie der Multimodalität zuwenden und versuchen, diese auf die AR anzuwenden, bevor ich zur multimodalen Analyse einiger AR-Anwendungen übergehe. 2 Augmented Reality 2.1 Definition Bei Augmented Reality handelt es sich um Anwendungen, in denen verschiedene Ebenen von Realität kombiniert werden. Zum Teil wird AR auch in Verwandtschaft gesetzt mit Virtual Reality (Azuma 1997: 2). Der Unterschied besteht darin, dass bei AR-Anwendungen die Benutzerinnen und Benutzer die wirkliche Welt sehen und wahrnehmen können und diese lediglich durch weitere Elemente angereichert wird (ebd.). Milgram et al. (1994: 283) haben ein Modell entworfen, welches das Kontinuum zwischen Realität und Virtualität darstellt: Am einen Pol steht die reale Umgebung, am anderen die virtuelle. Dazwischen bewegen sich Augmented Reality (näher bei der realen Umgebung) und Augmented Virtuality (AV) (näher bei der virtuellen Umgebung) (ebd.). Die Unterscheidung läuft dabei beispielsweise über die physikalischen Gesetzte, welche für AR immer gelten müssen, für AV jedoch nicht unbedingt (ebd.: 284). Dieser Aufsatz befasst sich mit AR-Anwendungen, also mit Erweiterungen der Realität. Die Realität verändert sich dabei nicht, wohl aber ihre Wahrnehmung. Die größte Verbreitung haben visuelle AR-Formen im at-home-/ at-work-Bereich mit Computern oder out-of-home auf Public Screens. Dabei können entweder verschiedene Archiv-Bilder mit Live-Bildern kombiniert werden, oder es können auch virtuelle Objekte in eine reale Umgebung eingesetzt werden (Azuma et al. 2001: 34). Viele Augmented Reality- Anwendungen sind interaktiv und laufen in Echtzeit ab, das heißt, die Menschen können live mit den Anwendungen interagieren. Während heute AR für ein breites Publikum vor allem zu unterhaltenden und werberischen Zwecken eingesetzt werden, gibt es schon seit längerem auch praktische Anwendungen im Wartungsbereich (z.B. 3-D-Anzeigen von Geräten, vgl. Mehler et al. 2011: 17), in der Medizin (z.B. Darstellung von nicht-sichtbaren Organen bei einer Operation, vgl. ebd.: 18) oder in der Navigation (z.B. Navigationshinweise unter Berücksichtigung des aktuellen Verkehrs, vgl. ebd.: 19, vgl. auch Demarmels 2012). Als ob die Sinne erweitert würden … 331 2.2 Systematik Mehler et al. (2011: 23.; vgl. auch Demarmels 2012) bemängeln an den bisherigen Systematisierungsversuchen fehlende Disjunktivität mit gleichzeitigen Überschneidungen und liefern mit ihrem “Living”-Konzept einen neuen Raster zur Systematisierung von AR-Anwendungsszenarien. “Living” symbolisiert die Verschmelzung von Realität und Virtualität und spielt weiter auf die Interaktivität zwischen den Inhalten und den Benutzerinnen und Benutzern an (ebd.). Die Erweiterung der Realität vermittelt dabei das Gefühl, dass Gegenstände oder Medien “zum Leben erweckt werden” (ebd.: 24). Mehler et al. (ebd.) listen acht verschiedene Kategorien zur Einteilung von AR-Anwendungen auf. Beim “Living Mirror” wird über eine Kamera das Gesicht einer Person erkannt. Dadurch können dann Objekte aus einer anderen Realitätsebene (oder auch virtuelle Objekte) auf dem Gesicht beziehungsweise auf dem Kopf der Person platziert werden. Über einen Beamer oder einen Bildschirm wird das kombinierte Bild in Echtzeit zurückgegeben und vom Publikum als (erweitertes) Spiegelbild wahrgenommen (ebd.). “Living Print” setzt sich zusammen aus den Unterkategorien “Living Card”, “Living Brochure”, “Living Books”, “Living Objects” (z.B. Verpackungsmaterialien) und printbasierten “living Games” (ebd.). Hier erkennt eine Kamera, vorwiegend von einem Computer, ein Printprodukt und gibt eine erweiterte Ausgabe auf dem Bildschirm aus. Beispielsweise können mit einem Bild Zusatzinformationen oder Serviceangebote verknüpft sein (z.B. direktes Bestellen in einem Online-Handel) oder das Bild wird mit Archiv-Bildern verknüpft (ebd., Beispiele folgen im Abschnitt 5). Ähnlich funktioniert auch das “Living Poster”, außer, dass das Poster nicht vor eine Computer-Kamera gehalten, sondern mit einem speziellen Programm auf einem Smartphone fotografiert wird. Auch so können Benutzerinnen und Benutzer zu weiteren, exklusiven Informationen gelangen oder beispielsweise von besonderen Gutscheinen profitieren (ebd.). Noch vertieftere Interaktionen lassen sich mit “Living Architecture” (z.B. Erfahrung eines Raumes durch Kopfbewegungen) oder sogar “Living Games mobile” (erweiterte Spiele, z.B. über Smartphones) erzielen. Eher im geschäftlichen Alltag bewegen sich “Living Presentations” (Darstellung von Objekten oder Messeständen durch AR) und “Living Meeting” (z.B. Erweiterung von Telefon- und Videokonferenzen) (ebd.). Höhepunkt von AR-Anwendungen auf Public-Screens ist wohl das “Living Environment”: Die Erweiterung der realen Umgebung durch Text, Objekte und Videosequenzen in Echtzeit (ebd.: 25). Zum einen ist es für Menschen instinktiv interessant, sich selber zu sehen, zum anderen kommt es bei solchen Anwendungen zu gedanklichen Konflikten, weil die Realität nicht der selber wahrgenommen Umgebung entspricht. Oft spielen Living-Environment- Anwendungen denn auch genau mit diesem Konflikt in der Wahrnehmung. 3 Multimodalität Stöckl (2004: 6) zeigt auf, dass die verschiedenen Zeichensysteme heute typischerweise miteinander verschränkt vorkommen. Dieses Phänomen wird als Multimodalität bezeichnet. Textanalysen sollten darum immer multimodal angelegt sein, weil sich der Sinn des Ganzen nur erschließen lässt, wenn man alle Teilebenen in die Betrachtungen einschließt (ebd.: 18). Bucher (2010) spricht sich ebenfalls für die multimodale Kommunikationsanalyse aus. Diese soll zeigen, “wie sich Sinn und Bedeutung eines Kommunikationsbeitrags aus den unter- Sascha Demarmels 332 schiedlichen Modi ergibt.” (ebd.: 44). Dabei wirft der Sinn aus der multimodalen Kommunikation sowohl zeichenwie auch rezeptionstheoretische Fragen auf (ebd.: 45). Insgesamt wird die Terminologie der Multimodalität sehr uneinheitlich verwendet und es besteht keine Einigkeit über Definitionen und Abgrenzungen von Begriffen wie code, mode oder ‘semiotische Ressource’. Eine vollständige Klärung dieser Begriffe geht über das hinaus, was dieser Aufsatz leisten kann. Verwiesen sei aber auf drei Aufsätze, welche sich dem Problem der Terminologie gezielt widmen: Ernest W.B. Hess-Lüttich und Dagmar Schmauks (2004) listen in ihrem Aufsatz im HSK-Band zur Semiotik die wichtigsten Begriffe und Ansätze zur multimedialen Kommunikation auf. Carey Jewitt (2009) stellt ihrem Sammelband die Frage voran, was es denn eigentlich bedeutet, wenn wir Texte und Praktiken als multimodal bezeichnen (Jewitt 2009: 1). Die enthaltenden Aufsätze liefern danach nicht nur den Beweis für das stetig wachsende Interesse an multimodaler Analyse, sondern zeigen auch auf, dass sich das Forschungsfeld weiter entwickeln muss (ebd.: 4). Jan Georg Schneider und Hartmut Stöckl (2011) haben sich zum Ziel gesetzt, in ihrem Sammelband Theorie und Analysemethodik für multimodale Kommunikate Vorschub zu leisten und lassen verschiedene Autorinnen und Autoren ein und denselben Werbespot mit verschiedenen Ansatzpunkten untersuchen (Schneider und Stöckl 2011: 7). Vorab liefern sie in ihrem eigenen Aufsatz eine erste Auslegeordnung verschiedener Begriffe und Definitionen. 3.1 Medialität und code Schneider und Stöckl (2011: 22) setzen das Medium vom Zeichensystem ab und bestimmen den Begriff “Medium” nach Holly (1997: 69) als technisches Medium, das heißt, als konkretes materielles Hilfsmittel zur Herstellung und Übertragung von Zeichen. In der modernen Medientheorie, so die beiden Autoren weiter, ist das Medium nicht Transportmittel sondern Medien hinterlassen mediale Spuren (Schneider und Stöckl 2011, nach Krämer 1998). Technische Apparate (Medien) liefern die materielle Grundlage für die Herausbildung spezifischer Kommunikationsformen (Schneider und Stöckl 2011: 22). Dürscheid (2003, 2005, vgl. Schneider und Stöckl 2011: 23) differenziert den Medienbegriff weiter und spricht von “Medialität” bei gesprochener, geschriebener und gebärdeter Sprache, wobei es sich hierbei um Repräsentationsformen handelt. Auch Holly (1997) geht davon aus, dass die Sprache nicht ein Medium ist, sondern ein Zeichensystem, das medial operiert (Schneider und Stöckl 2011: 23). Andere Ansätze gehen davon aus, dass gesprochene, geschriebene und gebärdete Sprache Modalitäten der Sprache sind, wobei eine Modalität ein Wahrnehmungskanal ist (ebd.: 26). Dies steht in Abgrenzung zum Begriff code, welcher oft im Zusammenhang mit den technischen Möglichkeiten oder der Medialität verwendet wird. 3.2 Modalität und mode Während codes also oft den technischen Eigenschaften einer Kommunikationsform zugeschrieben werden, werden modes mehr mit den Wahrnehmungskanälen in Verbindung gebracht. Schneider und Stöckl (2011: 25) betonen aber, dass die Abgrenzung von mode und code schwierig ist. Mode wird als sozial geteilte, kulturell gegebene Ressource zur Sinnerzeugung gefasst (ebd.: 26, vgl. auch Kress 2009: 54). Die Arbeit mit diesen modes in einer Gemeinschaft führt zu bedingten Zeichenvorräten und einem praktischen Umgang mit diesen Zeichen im Zeichengebrauch (Kress 2009: 55). Mode kann so auch als Synthese verstanden Als ob die Sinne erweitert würden … 333 werden aus dem Zeichensystem (code, Konvention), dem Medium (Materialität, Technologie) und dem Zeichentyp (Wahrnehmungskanal) (Schneider und Stöckl 2011: 26). Multimodal ist ein Kommunikat, wenn es aus verschiedenen modes zusammengesetzt ist. Bucher (2010: 45) wirft als grundlegende Frage des Problems der Kompositionalität die spezifischen kommunikativen Leistungen auf, welche die einzelnen modes liefern können. Aus rezeptionstheoretischer Sicht ergibt sich daraus die Frage nach dem Prozess der Sinnerzeugung: Sie kann angebots- oder aber rezeptionsgesteuert verlaufen, also deduktiv oder induktiv. Dabei können für die Bedeutungszuweisung verschiedene Strategien und Prinzipien angewendet werden und unter Umständen können auch die Selektion und die Aufmerksamkeitsverteilung Einfluss auf das Rezeptionsergebnis nehmen (ebd.: 46). Im systemfunktionalen Ansatz von Halliday erfüllen alle sprachlichen Einheiten drei Grundfunktionen: Sie drücken Erfahrung aus und repräsentieren etwas, sie etablieren eine soziale Beziehung zwischen dem Kommunikator und den Adressatinnen und Adressaten und sie strukturieren den Kommunikationszusammenhang (Halliday 2004: 29ff., vgl. auch Bucher 2010: 47). In der multimodalen Diskurstheorie dagegen erfüllen alle Zeichen aus allen Kommunikationsmodi diese drei Grundfunktionen (vgl. z.B. Kress und van Leeuwen 1996: 40, vgl. auch Bucher 2010: 47). Aus einem stärker auf die Rezeption fokussierten Blickwinkel könnte man aber auch vom mode selber ausgehen: “Modes offer different potentials for making meaning; these have a fundamental effect on choices of mode in specific instances of communication.” (Kress 2009: 54). Bedeutung existiert dabei nur in materialisierter Form in einem mode oder einer multimodalen Ganzheit (ebd.: 64). 3.3 Semiotische Ressourcen Semiotische Ressourcen können Handlungen, Materialien und Artefakte umfassen, welche für einen kommunikativen Zweck verwendet werden (Jewitt 2009: 16, vgl. auch van Leeuwen 2005: 3f.). Das semiotische Potential ergibt sich dabei aus der Beschreibung von verschiedenen Bedeutungen und daraus, wie semiotische Ressourcen genutzt werden um ganz bestimmte kommunikative Zwecke zu erfüllen (ebd.). Schneider und Stöckl (2011: 26) gehen davon aus, dass Zeichenbenützerinnen und -benützer Ressourcen je nach kommunikativen Bedürfnissen herstellen und formen. 4 Augmented Reality zwischen code und mode AR-Anwendungen sind bereits in sich multimodal angelegt, sei es auf statischen Plakaten (vgl. z.B. Demarmels 2006, 2009) oder in bewegten (Live-)Bildern auf einem Screen at-home/ at-work oder out-of-home. Für Plakate sind die konstituierenden modes vor allem Schrift und Bild und natürlich das Design der einzelnen Elemente. Auf den Screens geht es vor allem um das bewegte Bild. Aus Kontextgründen fehlt in den meisten Fällen eine Ton- Ebene: Auf öffentlichen Screens (z.B. an Bahnhöfen oder auf Plätzen) ist einerseits keine Ton-Infrastruktur vorhanden, andererseits müsste der Ton laut sein, was mit dem übrigen Kontext (Anwohner, Verkehrslärm usw.) unverträglich wäre. Für at-home/ at-work-Anwendungen sowie bei Anwendungen auf kleineren Screens in Läden wäre Ton grundsätzlich denkbar. Sascha Demarmels 334 Für die mediale Ebene lässt sich feststellen, dass der Output von AR-Anwendungen aus nicht viel mehr besteht als aus dem Aufnehmen, Kombinieren und Abspielen von Bildmaterial. So gesehen handelt es sich nicht um ein neues Medium, obwohl auch festgehalten werden muss, dass sich AR-Anwendungen meist komplexer Computersysteme bedienen, damit dieses Bildmaterial auch effektvoll miteinander kombiniert werden kann. Speziell ist darum vielmehr die Zusammenführung von verschiedenen Bildern, entweder in Form von Archiv- Bildern, oder auch und insbesondere, wenn sich Archiv-Bilder mit einem Live-Bild überlagern. Das wirklich Neue ergibt sich aber eigentlich erst aus dem Sinn, wenn man diese Inhalte interpretiert: Etwas erscheint als Abbild der Realität, entspricht dieser aber eigentlich nicht. Der Realität wird etwas hinzugefügt. Handelt es sich dabei um “reale” Bilder (also nicht gezeichnete oder computergenerierte “künstliche” Objekte), wird diese Erweiterung nur dann ersichtlich, wenn man die Realität (also die Live-Situation) kennt und weiß, dass bestimmte Objekte dort nicht vorhanden sind. Obwohl AR-Anwendungen also an bestimmte Techniken gebunden sind und sich durch ihre mediale Gebundenheit nicht in völlig beliebigen codes ausdrücken können, besteht ein gewisser Spielraum in der multimodalen Gestaltung. Dieser Spielraum bewegt sich in der Kombination oder Überlagerung von Realitäten. Es handelt sich um Sinn, der gezielt zur Beeinflussung der Botschaft eingesetzt werden kann. Ich habe an einem anderen Ort (vgl. Demarmels 2010) bereits zu zeigen versucht, dass sich Multimodalität nicht auf physisch Wahrnehmbares beschränken muss, sondern dass Sinn auch durch Interpretation entsteht, die zwischen verschiedenen modes liegen kann. Es müsste sich hier um eine Art “gedankliche” Ebene handeln, die aktiviert wird durch visuelle und auditive Eindrücke in Verbindung mit Hintergrundwissen aber auch mit bestimmten kulturellen Schemata. Diese Gestaltungsmöglichkeit werde ich auch in den folgenden Beispielen herauszuarbeiten versuchen. Lässt man die Technik außer Acht und geht von den zugrundeliegenden Computersystemen als Blackbox aus, lässt sich nicht klar feststellen, ob es sich bei bestimmten Phänomenen um einen code oder einen mode handelt. Ich werde dieses Problem im Folgenden umgehen, indem ich von semiotischen Ressourcen sprechen werde, deren sich eine AR- Anwendung bedienen kann. 5 Augmented Reality als multimodale Kommunikation Bei den nachfolgenden Analysen von AR-Anwendungen wird Schicht um Schicht freigelegt. Die AR-Anwendungen bestehen, wie bereits festgestellt, aus verschiedenen Bild-Ebenen: Live-Bilder werden dabei mit Archiv-Bildern gemischt. Erlebt man die AR-Anwendungen nicht live, kommt eine weitere Ebene hinzu, in der die AR-Anwendung zur Veranschaulichung abgefilmt wird. Diese Schicht wird in den Analysen ignoriert: Es wird davon ausgegangen, dass die Anwendungen live beobachtet wird. 5.1 Living Poster: Als ob man die Rückseite eines Plakates betrachten würde Eine noch relativ unspektakuläre Form von Augmented Reality findet sich im statischen Living Poster: Ein Plakat enthält einen Bildmarker (in Form eines Bildes oder als QR-Code), der durch Abfotografieren mit einem bestimmten Programm auf dem Smartphone Zusatzinformationen ausgibt. Beispielsweise konnte man über eine Smartphone-Anwendung zu Als ob die Sinne erweitert würden … 335 einem Werbeposter von Armani einen Gutschein für das beworbene Produkt beim Promotionspartner herunterladen und direkt über das Smartphone an der Kasse einlösen. Das Programm lieferte auf Wunsche auch eine Liste der Verkaufslokale in der Nähe. 1 Die Betrachtung der semiotischen Ressourcen führt hier nicht über jene eines “normalen” Plakates hinaus: Das Plakat besteht aus Bild und geschriebenem Text. Für nicht eingeweihte Passantinnen und Passanten bleiben die Zusatzinformationen völlig im Dunkeln, das heißt, sie erwarten gar nicht, dass sich hier noch weitere Welten (z.B. in Form eines Gutscheins) auftun könnten. Von der Sinnkonstruktion her könnte man sagen: Es ist (metaphorisch gesprochen), als ob man einen Blick auf die Rückseite des Plakates werfen würde und dort besagte Zusatzinformationen finden würde. Die Zusatzinformationen (in diesem Fall der Gutschein) bedienen sich dabei den gleichen codes wie das Plakat selber, allerdings in einem anderen, digitalen Medium (dem Smartphone). Die semiotischen Ressourcen des Plakates werden aber nicht erweitert. Nicht einmal durch den Medienwechsel zum Smartphone. Theoretisch wäre hier immerhin denkbar, die codes zu verändern, beispielsweise den Gutschein in Form eines Filmes oder einer Gesangsdarbietung bereitzustellen. Dies ist im aufgeführten Beispiel aber nicht der Fall und wäre für einen Gutschein auch denkbar unpraktisch, da dieser an der Kasse wieder gezeigt und allenfalls gescannt werden muss. 5.2 Living Card: Als ob ein Foto zum Film wird Spannender wird es bei der folgenden Living-Card-Anwendung: Das Cover eines Magazins enthält einen Bildmarker. Das Bild wird in diesem Fall nicht mit dem Smartphone abfotografiert sondern vor die Webcam des eigenen Computers gehalten. Der Computer zeigt nun einerseits die abgefilmte Situation (d.h. Person, die Cover in die Kamera hält, entsprechender Hintergrund usw., sowie natürlich das Cover selber) und zusätzlich - als Erweiterung der Realität - einen Film, der passgenau über das Cover gelegt wird und das Bild in Bewegung bringt. Im konkreten Beispiel ist auf dem Cover ein Sportler auf einem Laufband zu sehen. In der AR-Anwendung beginnt dieser tatsächlich zu laufen und zwar wahlweise langsam, wenn das Cover so gehalten wird, dass es für den Mann aufwärts zu gehen scheint und schnell, wenn es abwärts geht. 2 Analysiert man nun die einzelnen Bild-Schichten, kommt man zu folgendem Ergebnis: Auf der ersten Schicht lässt sich das Cover eines Magazins ausmachen. Es besteht im Wesentlichen aus einer Fotografie, angereichert mit Schrift in Form des Zeitschriftentitels und im unteren Teil durch Inhaltsangaben. Das Farbfoto zeigt einen Mann in Sportbekleidung auf einem Laufband. Als das Foto geschossen wurde, war er offenbar in Bewegung, denn seine Haltung deutet eine Laufbewegung an. Dies kann aber in einer Fotografie nicht direkt abgebildet werden, da sie nur statisch ist. In einer zweiten Schicht erkennt man das Live-Bild der Webcam am Computer. Es beinhaltet die Frau, welche die Zeitschrift in die Kamera hält und die abgefilmte Zeitschrift sowie deren Bewegungen, währen die Frau die Zeitschrift zur einen und anderen Seite neigt. Die dritte Schicht beinhaltet ein Archiv-Bild, welches vom Computersystem über das Foto des Läufers gelegt wird. Hierbei handelt es sich nicht um eine Fotografie sondern um einen Film, der denselben Mann zeigt, der sich nun aber tatsächlich auf dem Laufband bewegt, das heißt: Seine Beine laufen, seine Arme schwingen dazu mit. Er ist aus genau der selben Perspektive aufgenommen wie in der Fotografie. Sascha Demarmels 336 Beim Blick auf das Bild im Computer verschmelzen die zweite und die dritte Schicht. Es ergibt sich eine Art optische Täuschung, bei welcher sich eine Fotografie auf einmal in Bewegung setzt und zu einem Film wird. Würde man nur dieses Bild betrachten und die Schichten außer Acht lassen, könnte man es mittels der semiotischen Ressourcen eines Filmes analysieren. Zieht man aber alle beschriebenen Schichten mit in die Analyse ein, muss auch dieser “optischen Täuschung”, der “Als-ob”-Ebene Beachtung geschenkt werden. Dass diese Ebene eine wesentliche Rolle spielt, zeigt folgende Überlegung: Man könnte statt der AR-Anwendung auch einfacher den Film des rennenden Sportlers in einer Datenbank ablegen und über Bildmarker abrufbar machen. Dies würde in etwa dem Beispiel aus 5.1 entsprechen: Man nimmt das Cover des Magazins, hält es in die Webcam und ein Programm auf dem Computer sucht nach dem hinterlegten Film. Der Computer spielt den Film ab und die Benutzerin oder der Benutzer sieht den laufenden Mann am Bildschirm. Das Ganze wäre vergleichsweise wenig spektakulär. Die Attraktivität der beschriebenen Anwendung ergibt sich daraus, dass sich einerseits ein Unterschied zwischen Realität und vermeintlichem Live- Bild ergibt, andererseits, dass die Benutzerinnen und Benutzer das Bild am Computer (inter)aktiv und live verändern können, nämlich indem sie den Sportler langsamer oder schneller werden lassen, wenn sie die Zeitschrift entsprechend so drehen, dass er aufwärts oder abwärts rennen muss. Für die Sinnkonstruktion ergibt sich das Problem, Realität und Erweiterung unter einen Hut zu bringen und zu Erkennen, was Realität und was Erweiterung ist. Im beschriebenen Fall dient die AR vor allem dazu, Aufmerksamkeit und Staunen zu wecken. Unter Umständen ist damit auch die Wahrnehmung des Images der Zeitschrift beeinflusst, indem dieses Image auf “technisch innovativ” getrimmt werden soll. 5.3 Living Environment: Als ob etwas in der Realität stattfinden würde In Living-Environment-Anwendungen wird nicht in erster Linie ein Gegenstand mit Zusatzfunktionen ausgestattet sondern die Welt, in der sich die Zusehenden bewegen, wird gleichsam verändert und erweitert. Dies wird aber nur klar, wenn sich die einzelnen Zuschauerinnen und Zuschauer über das (vermeintliche) Live-Bild orientieren und einen Abgleich mit der Realität um sich herum vornehmen. Ein erstes Beispiel, welches eine solche AR-Anwendung veranschaulicht, stammt aus einer Kampagne gegen Gewalt an Hilfspersonal in der Öffentlichkeit. Ausgangspunkt war die Tatsache, dass in den Niederlanden Sanitäter bei Einsätzen vermehrt angegriffen wurden und dass Passantinnen und Passanten ihnen nicht zu Hilfe kamen. Die Überlegung war nun, einerseits auf diesen Missstand aufmerksam zu machen, andererseits den Menschen aber auch Tipps an die Hand zu geben, wie sie sich in solchen Situationen verhalten könnten. Da es sich bei einer solchen Kampagne um ein Low-Interest-Thema mit einer nur geringen Ich-Beteiligung handelt (vgl. z.B. Kreutzer 2010: 20), bestand die erste Herausforderung darin, überhaupt Aufmerksamkeit zu erregen. Dies gelang mit einer Living-Environment-Anwendung auf einem Public-Screen in Amsterdam und Rotterdam. 3 Die Menschen auf einem belebten Platz wurden abgefilmt und das Bild in Echtzeit auf dem Public Screen gezeigt. Dies allein weckte bereits Aufmerksamkeit: Man sieht sich selber auf dem Screen und viele Menschen reagieren darauf, indem sie auf den Screen zeigen, winken oder zumindest ein überraschtes Gesicht machen. Die Aufmerksamkeit in diesem Falle wurde durch eine Erweiterung der Realität noch gesteigert und der Fokus auf die besagte Kampagne, beziehungsweise auf das Kampagnenziel gelenkt: Während die Menschen Als ob die Sinne erweitert würden … 337 sich selber und einsowie abfahrende Straßenbahnen sehen konnten - sich also gewiss waren, dass es sich bei den gezeigten Bildern um live-Aufnahmen handelte - sahen sie in der linken unteren Bildecke einen Krankenwagen einfahren. Die Sanitäter stiegen aus und wurden angepöbelt, ein Mann stieg in den Krankenwagen und warf Sachen auf die Straße. Das verblüffende: Diese Krankenwagen-Szene war nur auf dem Screen sichtbar, in der Realität waren die Sanitäter nicht vorhanden. Abgerundet wurde die Anwendung mit konkreten Tipps, wie man sich in solchen Situationen verhalten soll. Die Menschen, welche die Szene beobachteten, waren einerseits verblüfft, vergewisserten sich, dass kein Krankenwagen am Straßenrand stand, wussten nicht, ob sie lachen oder weinen sollten und waren völlig in Bann gezogen. Andererseits waren sie in diesem Fall wirklich zum Zusehen verdammt: Sie konnten nicht eingreifen, weil die Situation sich nicht da, an ihrem Ort, in ihrer Realität, abspielte. Analysiert man diese AR-Anwendung wieder nach Schichten, wird es nun um einiges komplexer: Als erste Schicht bietet sich das Archiv-Material an: In einem Studio wurde die Krankenwagen-Szene gedreht. Es handelt sich dabei um klassisches Filmmaterial mit bewegten Farbbildern, aber ohne Ton. Gearbeitet wurde mit der Blue-Screen-Technik, wobei im Moment der Aufnahme die Gesamtkomposition des Bildes auf dem Public Screen bereits bekannt war. Hinzu kommt die Schicht des Live-Bildes, auch hier mit bewegtem Farbfilm ohne Ton, ergänzt mit geschriebener Sprache (die Tipps). Im Gegensatz zu einem Archiv-Film entsteht mit dem Live-Bild ein kleiner Spiegeleffekt: Man sieht sich selber und kann den Inhalt des Bildes insofern beeinflussen, als dass sich Bewegungen der eigenen Person direkt auf dem Screen niederschlagen. Das Bild wird damit leicht interaktiv. Bei der Sinnkonstruktion wird damit der Effekt der “optischen Täuschung” verstärkt: Weil man nicht erwartet (auch im Gegensatz zur Webcam am eigenen Computer, die man hauptsächlich zu diesem Zweck benutzt), sich selber auf einem Public Screen in der Öffentlichkeit zu sehen, ist man überrascht und deutet das Bild vielleicht anders oder intensiver. Es erhält unter Umständen eine höhere Authentizität oder einen größeren Wahrheitswert: Ich kann mich davon überzeugen, dass es sich nicht um ein Archivbild handelt, indem ich mich entsprechend bewege und die Bewegungen auf dem Bild überprüfe. Auch hier werden verschiedene Bildschichten übereinander gelegt und auch hier kommt es zur optischen Täuschung, weil die Betrachtenden von einem Live-Bild ausgehen und technisch unsichtbar dieses Live-Bild mit einem Archivbild passgenau überlagert wird. Für diese Kampagne kann der Sinnkonstruktion ein inhaltlicher Zusatznutzen abgewonnen werden: Ziel der Kampagne war wie gesagt, dass die Leute künftig nicht mehr nur gaffen, wenn Sanitäter in der Öffentlichkeit angegriffen werden, sondern dass sie eingreifen. Genau das können sie in der AR- Anwendung nicht, weil die Szene des Übergriffs in der Realität nicht vorhanden ist. Die Leute werden dadurch genau in die Situation versetzt, in die sie sich eindenken sollen. In einem anderen Beispiel passiert genau das Gegenteil: Für eine Werbeaktion wurde eine AR-Anwendung so eingerichtet, dass die Leute vor einem Public Screen im Live-Bild sahen, wie ein Engel neben ihnen landete. 4 Auch beim Engel handelte es sich um ein Archiv-Bild. Hier versuchten die Leute aber mit dem Engel in Beziehung zu treten, das heißt, sie positionierten sich entsprechend, wandten sich dem Geschöpf zu und machten Gesten. Dabei mussten sie ihre Bewegungen ständig auf dem Screen überprüfen, denn in der Realität konnten sie den Engel ja nicht sehen. Sascha Demarmels 338 5.4 Living Environment intensified: Als ob man selber erschossen würde Eine weitere Steigerung in der Interaktion (und damit wahrscheinlich auch in der Sinnkonstruktion) bringt das folgende Beispiel: Während im Engel-Beispiel die Interaktionen auf freiwilliger Basis statt fanden, das heißt, die Leute sich aus freiem Willen und bei vollem Bewusstsein dafür entschieden, sich dem Engel zuzuwenden, beschreibt das nächste Beispiel eine AR-Anwendung, welche zunächst nicht bewusst als solche aufgenommen wurde und mit den Gefühlen der Nutzerinnen und Nutzer spielte. Auch bei dieser Kampagne vom WWF Russland ging es in erster Linie um das Generieren von Aufmerksamkeit für ein Thema, das im Alltag der Zielgruppe spontan wenig Platz hat (wie bereits bei der Kampagne der Niederlande): Der Sibirische Tiger steht vor seiner Ausrottung durch Wilderer. Die Idee, die der Kampagne zu Grunde liegt: Wenn sich die Menschen einmal so fühlen, wie ein Tiger, der unvermittelt von einem Wilderer angeschossen wird, dann kann man sie auf das Thema sensibilisieren. 5 WWF Russia hat dazu T-Shirts mit speziellen Bildmarkern verkauft. In Kleiderläden wurden außerdem die Spiegel so manipuliert, dass darauf eine AR-Anwendung laufen konnte. Zum einen wurden die Spiegel abgefilmt und automatisch nach den entsprechenden Bildmarkern auf den T-Shirts gesucht, zum anderen wurde auf die Spiegeloberfläche ein Archivbild in Form von Blutspritzern projiziert. Stellte sich jemand mit dem T-Shirt vor den Spiegel, breitete sich auf seinem Spiegelbild Blut aus wie von einer Schusswunde. Zusätzlich ergab sich der Anschein, dass auch Blut auf den Spiegel selber zurück spritzte. Die AR-Anwendung bestand hier einerseits aus einem Live-Spiegelbild, andererseits aus einem bewegten, farbigen Archivbild. Die semiotischen Ressourcen entsprachen damit ungefähr jenen, der bisher beschriebenen Anwendungen. Auch die Sinnkonstruktion verlief ähnlich wie bei den anderen Beispielen. Jedoch ergab sich ein weiterer Effekt: Wenn die Menschen im Spiegel sahen, wie sie selber erschossen wurden, übertrug sich die Reaktion auf sie selber. Sie zuckten zusammen und wichen zurück. Von außen betrachtet sieht es ähnlich aus, wie wenn jemand in einem Film erschossen wird. Vom Einschlag der Kugel zucken die Menschen zurück. Durch die altbekannten codes wurde damit ein tatsächliches, physisches Gefühl simuliert. Dies wird dadurch um so deutlicher, dass die Menschen im ersten Augenblick nicht zu realisieren schienen, dass sie nicht wirklich angeschossen worden waren: Sie blickten zwar ungläubig aber auch entsetzt in ihr Spiegelbild und erst nach einem kurzen Schreck an sich hinunter, wo sie erkennen mussten, dass das Blut nur auf dem Spiegel zu sehen ist und sie selber makellos dastehen. Der gedankliche Konflikt ist dabei also nicht nur darauf beschränkt, dass die Realität etwas anderes zeigt als das vermeintliche Live-Bild, sondern zielt vor allem darauf ab, dass man die AR-Anwendung erst gar nicht entdeckt und das AR-Bild für die Realität hält. Es wurde bereits erwähnt, dass ein Spiegelbild besondere Beachtung erhält und hier Täuschungen wahrscheinlich besonders effizient eingesetzt werden können, mehr als dies wohl bei Live-Bildern auf Public Screens der Fall ist. Dadurch könnte man in Betracht ziehen, dass so erzeugte Gefühle auch als semiotische Ressource gedeutet werden können. Kroeber-Riel teilt die Kommunikation in verschiedene Wirklichkeitsebenen ein: Die Objektebene, welche visuell ist, die Darstellungsebene, welche aus Bildern und Sprache besteht und die psychische Ebene, welche ein inneres Bild oder eine sprachliche Vorstellung liefert (Kroeber-Riel 1996: 37). “Die Beeinflussungskraft von Bildern beruht vor allem darauf, dass Bilder wie Wirklichkeit wahrgenommen werden. Die Sprache ist dagegen ein verschlüsseltes und ‘wirklichkeitsfernes’ Zeichensystem” (ebd.: 36). Das passt sehr gut zu Als ob die Sinne erweitert würden … 339 den Überlegungen über Augmented Reality, denn auch sie beeinflusst vor allem über den Effekt, dass sie als Wirklichkeit wahrgenommen wird. Dies kann in einem verspielten Setting sein (z.B. Engel) oder eben aber auch in einem unerwarteten wie der WWF-Kampagne. Kroeber-Riel kommt weiter zum Schluss, dass in der Werbung haptische Bilder selten sind. Sie kommen beispielsweise vor, wenn seltene oder auffällige Materialoberflächen gezeigt werden (ebd.: 47). Er stellt aber auch die Forderung nach einer “systematische[n] multisensuale[n] Gestaltung” (Kroeber-Riel und Esch 2011: 166) auf: Dadurch könne das Erleben insbesondere von Marken vertieft und verstärkt werden (ebd.). Die WWF-Kampagne löst diesen Anspruch nach einer verstärkten Wahrnehmung sicherlich ein. Mehler et al. (2011: 70) bezeichnen die Kombination aus haptischen und digitalen Elementen als “Hap.dig”. Eine solche Verschmelzung diene der Steigerung der Kommunikationswirkung. Die WWF-Kampagne scheint dafür ein anschauliches Beispiel zu sein: Neben den visuell wahrnehmbaren codes kam die Haptik ins Spiel, wobei die Leute dazu nichts anfassen mussten, sondern durch den visuellen Stimulus eine körperliche Reaktion ausgelöst wurde, die auch in ähnlicher Form ausgelöst worden wäre bei entsprechender tatsächlicher haptischer Stimulanz (vgl. dazu auch Demarmels 2012). Da die wenigsten Menschen schon einmal angeschossen worden sind, wissen sie wohl auch nicht, wie sich eine Schusswunde anfühlt. Zumindest zeigten die Personen bei der AR-Anwendung aber die körperlichen Reaktionen, die sich aus diesen Gefühlen erwartbar ergeben. Da die Reaktionen sehr spontan waren, ist allerdings nicht davon auszugehen, dass sich die Menschen überlegt haben, was eine erwartbare körperliche Reaktion wäre. Während Nothhelfer (2002: 4) davon ausgeht, dass nicht die Informationen einer gesamten Landschaft in eine virtuelle Ebene geschoben werden können, umgeht diese Anwendung mit dem manipulierten Spiegel das Problem, indem sie stattdessen die Virtualität in die Realität holt. Dies scheint einfacher als gedacht, zumal virtuelle Elemente offensichtlich physische Gefühle auslösen können. 6 Fazit: Augmented Reality als semiotische Ressource? Kann nach diesen Betrachtungen Augmented Reality als semiotische Ressource definiert werden? Ich möchte dazu noch kein abschließendes Urteil fällen. Ich glaube, dass ich mit der Analyse von verschiedenen AR-Anwendungen die Beschaffenheit etwas deutlicher herausarbeiten konnte. Es bleiben aber auch viele Fragen offen. Zunächst zu den drei Funktionen von Halliday: Erfahrung und Repräsentation, soziale Beziehung und Strukturierung des Kommunikationszusammenhangs. Für die beschriebenen AR-Anwendungen lässt sich festhalten, dass sie im Punkt Erfahrung und Repräsentation über die gängigen Werte hinausgehen. Sie spielen mit der Erfahrung und zeigen den Nutzerinnen und Nutzern eine Erweiterung, die im Alltag sonst genau nicht erfahrbar ist. Dies ist aber nur dann erkennbar, wenn die AR einerseits als Anwendung erkannt und wenn andererseits die Realität überprüft werden kann. Geschieht dies aus irgendwelchen Gründen nicht, werden Rezipierende die AR einfach als normalen Film deuten. Direkt an Erfahrung und Repräsentation lässt sich auch die Strukturierung des Kommunikationszusammenhangs anschließen: Auch hier ist der springende Punkt wieder, dass der Kommunikationszusammenhang außerordentlich und damit nicht vorstrukturiert ist. Jedoch ergibt sich diese Außerordentlichkeit aus dem Umstand, dass gängige Strukturen (nämlich die Sascha Demarmels 340 Realität) mit fiktionalen Elementen überblendet wird und ohne die Kenntnis des “normalen” Kommunikationszusammenhangs ließe sich darum auch nicht auf das Außerordentliche schließen. Die soziale Beziehung zwischen Kommunikator und Adressatinnen und Adressaten ist relativ komplex: Der Kommunikator ist meist nicht auf den ersten Blick erkennbar, auf den zweiten Blick handelt es sich um eine bestimmte Marke, die für Produkte wirbt. Das heißt, es handelt sich nicht um eine Person sondern um ein Unternehmen. Es stellt sich darum die Frage - und sie stellt sich natürlich nicht nur für AR-Anwendungen - ob hier überhaupt noch von einem “sozialen” Kontakt gesprochen werden kann. Weiter scheinen sich die Menschen aber auch nach einem Kontakt zur einer künstlichen Intelligenz zu sehnen. Immer wieder versuchen sie darum, mit Computersystemen zu interagieren. Dies bietet sich teilweise auch bei AR-Anwendungen an. Sozialer Kontakt oder nicht: Das Spiel mit den Täuschungen scheint im Endeffekt etwas sehr Menschliches und Soziales zu sein. Man versucht, jemand anderen hinters Licht zu führen und dies zu unterhaltenden Zwecken, teilweise verbunden mit einem angestrebten Lerneffekt. Ich würde darum AR zumindest eine Interaktion zwischen Sender und Empfänger in irgendeiner Form zusprechen. Wie sieht es aus mit der spezifischen Leistung von AR-Anwendungen? Sie bedienen sich selber verschiedener semiotischer Ressourcen. Die Leistung liegt darum nicht in der bloßen Darstellung eines visuellen oder auditiven, beziehungsweise multimodalen Textes sondern die spezifische Leistung liegt zwischen den Ebenen, vielleicht sogar zwischen den modes. Erst wenn die Repräsentation mit der Realität abgeglichen wird, erscheint, was eigentlich Sinn vermittelt: Die Diskrepanz zwischen der Realität und ihrer Erweiterung. Dazu ist es nötig, dass die Rezipierenden die Realität kennen und diese Unterschiede überhaupt feststellen können. Erst dann können sie auch mit der Deutung beginnen. Die Diskrepanz schafft es auch, bestimmte kommunikative Bedürfnisse zu stillen, nämlich hauptsächlich, Aufmerksamkeit zu erregen. Dabei werden aber auch Gefühle ausgelöst. Auch hierbei handelt es sich um ein kommunikatives Bedürfnis, wie die Kampagnen zur Gewalt gegen öffentliches Personal und zum Sibirischen Tiger gezeigt haben. Hier sind wir auch schon beim Sinn angelangt: Was heißt Sinn und was gehört zum Sinn des Ganzen? Gehört dazu auch, dass bestimmte, unmittelbare Gefühle ausgelöst werden? Beispielsweise das Gefühl der Hilflosigkeit oder das Gefühl, angeschossen worden zu sein? Auch ein schlichtes, analoges Werbebild von einem feinen Essen löst möglicherweise Gefühle aus, beispielsweise das Gefühl von Hunger. Handelt es sich aber hierbei um die gleiche Art und Intensität von Gefühl? Oder sind die Gefühle bei AR-Anwendungen unter Umständen unmittelbarer, authentischer, körperlicher (haptischer)? Können solche haptischen Erfahrungen als Sinn angesehen werden? Oder generieren sie Sinn durch die kognitive Verarbeitung der Gefühle, die einem bei der Rezeption widerfahren? Kress (2009: 64) geht davon aus, dass Bedeutung nur in modes oder in multimodalen Konglomeraten existiert. Was zieht diese Überlegung nach sich, wenn man davon ausgeht, dass auch Gefühle einerseits und Sinn zwischen den Zeilen andererseits wesentliches zur Bedeutung einer Botschaft beitragen? Kress und van Leeuwen (2001: 21f.) haben außerdem bestimmt, dass ein mode nicht an ein Medium geknüpft ist und immer in mehr als einem Medium realisiert werden kann. Dies trifft interessanterweise auch auf AR-Anwendungen zu. So gibt es eine Smartphone-Applikation zum Film Inception (Christopher Nolan 2010), welche den auditiven Raum erweitert: Augmented Sound. 6 Im Film geht es um Traumwelten. Diese werden von der Realität beeinflusst, das heißt, was in der Realität vorkommt, dringt auch irgendwie in die Traumwelt Als ob die Sinne erweitert würden … 341 ein und wird dort ins Geschehen adaptiert. Man könnte sagen, die Traumwelt wird erweitert. Die App enthält nun verschiedene Traumwelten mit einer Grundmusik, welche je nach Situation erweitert wird durch Geräusche, Musik oder Bewegung in der realen Welt. Interaktiv können die Benutzerinnen und Benutzer also Geräusche hinzufügen oder Rhythmen und die Musik beeinflussen. Die Technik wird uns ins nächster Zeit sicherlich noch mit einigen neuen Täuschungen im Bereich der Augmented Reality überraschen. Es bleibt die Frage, ob sich AR jemals so etablieren wird, dass wir uns gar nicht mehr täuschen und überraschen lassen und ob sie diesen Umstand dann doch weiter überleben wird oder ob sie wieder verschwindet, wenn sie nicht mehr aufrütteln kann. Literatur Azuma, Ronald 1997: “A Survey of Augmented Reality”, in: Presence: Teleoperators and Virtual Environments 6.4 (1997): 355-385 Azuma, Ronald et al. 2001: “Recent Advanced in Augmented Reality”, in: IEEE Computer Graphics and Applications, November/ December (2001): 34-47 Bucher, Hans-Jürgen 2010: “Multimodalität - eine Universalie des Medienwandels: Problemstellungen und Theorien der Multimodalitätsforschung”, in: Hans-Jürgen Bucher, Thomas Gloning & Katrin Lehnen (eds.): Neue Medien - neue Formate. Ausdifferenzierung und Konvergenz in der Medienkommunikation, Frankfurt/ New York: Campus: 41-79 Demarmels, Sascha 2006: “Code- und Medienwandel. Eine exemplarische Betrachtung am Beispiel von politischen Plakaten”, in: Ernest W.B. Hess-Lüttich (ed.) 2006: Media systems - their evolution and innovation, Tübingen: Gunter Narr (= Kodikas/ Code. Ars Semiotica. An International Journal of Semiotics 29.4): 397-410 Demarmels, Sascha 2009: Ja. Nein. Schweiz. Schweizer Abstimmungsplakate im 20. Jahrhundert, Konstanz: UVK [Universitätsverlag Konstanz] Demarmels, Sascha 2010: “FanVids auf YouTube - Metamorphosen als kulturelles Praktik”, in: Hartmut Stöckl (ed.) 2010: Mediale Transkodierungen. Metamorphosen zwischen Sprache, Bild und Ton, Heidelberg: Winter: 253-266 Demarmels, Sascha 2012: “Als ob die Sinne erweitert würden … Augmented Reality als Emotionalisierungsstrategie”, in: Image 16: 29-40 Dürscheid, Christa 2003: “Medienkommunikation im Kontinuum von Mündlichkeit und Schriftlichkeit. Theoretische und empirische Probleme”, in: Zeitschrift für Angewandte Linguistik 38 (2003): 37-56 Dürscheid, Christa 2005: “Medien, Kommunikationsformen, kommunikative Gattungen”, in: Linguistik online 22.1 (2005): 3-16 Halliday, Michael A.K. 3 2004: An Introduction to Functional Grammar, London: Arnold Hess-Lüttich, Ernest W.B. & Dagmar Schmauks 2004: “Multimediale Kommunikation”, in: Roland Posner et al. (eds.) 2004: Semiotik. Ein Handbuch zu den zeichentheoretischen Grundlagen von Natur und Kultur (= HSK 13.4), Berlin/ New York: de Gruyter, 3487-3503 Holly, Werner 1997: “Zur Rolle von Sprache in Medien”, in: Muttersprache 107.1 (1997): 64-75 Jewitt, Carey 2009: “An introduction to multimodality”, in: Jewitt (ed.) 2009: 14-27 Jewitt, Carey (ed.) 2009: The Routledge Handbook of Multimodal Analysis, New York: Routledge Krämer, Sybille 1998: “Das Medium als Spur und als Apparat”, in: id. (ed.): Medien, Computer, Realität. Wirklichkeitsvorstellungen und Neue Medien; Frankfurt/ Main: Suhrkamp, 73-94 Kress, Gunther 2009: “What is mode? ”, in: Jewitt (ed.) 2009: 54-67 Kress, Gunther & Theo van Leeuwen 1996: Reading Images. The Grammar of Visual Design, London: Routledge Kress, Gunther & Theo van Leeuwen 2001: Multimodal Discourse. The Modes and Media of Contemporary Communication, London: Arnold Kreutzer, Ralf T. 3 2010: Praxisorientiertes Marketing. Grundlagen - Instrumente - Fallbeispiele, Wiesbaden: Gabler Kroeber-Riel, Werner 1996: Bildkommunikation. Imagerystrategien für Werbung, München: Vahlen Kroeber-Riel, Werner & Franz-Rudolf Esch 7 2011: Strategie und Technik der Werbung. Verhaltens- und neurowissenschaftliche Erkenntnisse, Stuttgart: Kohlhammer Sascha Demarmels 342 Mehler, Anett, Michael Reiss & Lothar Steiger 2011: Augmented Reality. Theorie und Praxis, München: Oldenbourg Milgram Paul et al. 1994: “Augmented Reality: A class of displays on the reality-virtuality continuum”, in: Hari Das (ed.) 1994: Telemanipulator and Teleprecence Technologies (= SPIE Proceedings 2351), 282-292 Nothhelfer, Ursula 2002: “Landscape Architecture in the Reality-Virtuality”, in: Erich Buhmann, Ursula Nothhelfer & Matthias Pietsch (eds.) 2002: Trends in GIS and Virtualization in Environmental Planning and Design, Offenbach: Wichmann, 1-5 Schneider, Jan Georg & Hartmut Stöckl 2011: “Medientheorie und Multimodalität. Zur Einführung”, in: Schneider & Stöckl (eds.) 2011: 10-44 Schneider, Jan Georg & Hartmut Stöckl (eds.) 2011: Medientheorien und Multimodalität. Ein TV-Werbespot - Sieben methodische Beschreibungsansätze, Köln: Halem Stöckl, Hartmut 2004: Die Sprache im Bild - Das Bild in der Sprache. Zur Verknüpfung von Sprache und Bild im massenmedialen Text, Berlin/ New York: de Gruyter van Leeuwen, Theo 2005: Introducing Social Semiotics, New York: Routledge Anmerkungen 1 Das Beispiel kann unter folgendem Link als Video angeschaut werden: http: / / www.vanija.ch/ web-mobile/ apgposterplus/ [27.12.2011] 2 Das Beispiel kann unter folgendem Link als Video angeschaut werden: http: / / www.vanija.ch/ web-mobile/ webmit-ar/ [27.11.2011] 3 Das Beispiel kann unter folgendem Link als Video angeschaut werden: http: / / www.youtube.com/ watch? v= mg1SYmS9olM [27.11.2011] 4 Das Beispiel kann unter folgendem Link als Video angeschaut werden: http: / / www.youtube.com/ watch? v= rFuUFeQIdpk [27.11.2011] 5 Das Beispiel kann unter folgendem Link als Video angeschaut werden: http: / / www.youtube.com/ watch? v= 0ZO4mkTbaj0 [27.11.2011] 6 http: / / inceptiontheapp.com/ [27.12.2011]