Hier veröffentliche ich meine Literaturliste zu den Themen Interaktive Systeme, Interaktive Medien, Generative Gestaltung, Medienkunst, Digitale Installationen, Tangible User Interfaces und User Experience Design.

Bitte dazu die externe Seite öffnen.

Für den Spätsommer/Herbst 2011 finden folgende Workshops statt:

• 4. Tagung AG Neue Medien der Fachhochschule Nordwestschweiz (FHNW)
• Am 29.09.2011 um 14.30 Uhr findet an der Pädagogischen Hochschule (PH), Liestal, CH unter meiner Leitung der Workshop “Tangible Interfaces – Daten anfassbar machen” statt.
• Laufendes Insekt selbst bauen – für Jugendliche ab der 5. Klasse und Erwachsene
  Am  14.10.2011 von 16:00 Uhr bis 18:00 Uhr im Kulturladen Zeltnerschloss, Nürnberg
  Bitte zuvor beim KUF anmelden
  

• Die Lange Nacht der Wissenschaften
• Am 22.20.2011 um 19:30-21:00 Uhr wird gezeigt, wie ein selbstgebauter Multitouch-Tisch funktioniert, wie er erstellt wurde und was damit gemacht werden kann. Veranstaltung
  

• Touchpad zum Selbstbauen – für Jugendliche ab der 7. Klasse und Erwachsene
  Am  19.11.2011 von 14:00 Uhr bis 17:00 Uhr im Kulturladen Zeltnerschloss, Nürnberg
  Bitte zuvor beim KUF anmelden

MIDI – musical instrument digital interface

Midi =  „Digitale Schnittstelle für Musikinstrumente“ ist ein Datenübertragungs-Protokoll zum Zwecke der Übermittlung musikalischer Steuerinformationen zwischen elektronischen Instrumenten wie Keyboards, Synthesizern, Drumcomputern oder Computern. Siehe auch Wikipedia

OSC – Open Sound Control

Open Sound Control (OSC) ist ein nachrichtenbasiertes Kommunikationsprotokoll, welches hauptsächlich für die Echtzeitverarbeitung von Sound über Netze und Multimedia-Installationen verwendet wird.Steuersignale können von Hardware (z. B. MIDI-Keyboard) oder Software (z. B. Max/MSP, Pure Data, SuperCollider, ChucK, EyesWeb, vvvv) erzeugt und dann via OSC in Form von sog. Nachrichten (OSC-Messages), welche wiederum in Bündel (OSC-Bundles) verpackt werden, an eine Schnittstelle weitergegeben werden und so eine Ausgabe steuern. Dieses können z. B. weitere Soundausgaben sein, etwa eine Soundanwendung auf einem anderen Computer.OSC ist unabhängig vom Transportprotokoll, wobei in der Regel jedoch UDP verwendet wird. Je nach Anforderung ist es aber auch möglich, OSC etwa über TCP oder eine serielle Schnittstelle zu transportieren.Open Sound Control wurde an der University of California in Berkeley entwickelt.Open Sound Control (OSC) ist ein nachrichtenbasiertes Kommunikationsprotokoll, welches hauptsächlich für die Echtzeitverarbeitung von Sound über Netze und Multimedia-Installationen verwendet wird.Steuersignale können von Hardware (z. B. MIDI-Keyboard) oder Software (z. B. Max/MSP, Pure Data, SuperCollider, ChucK, EyesWeb, vvvv) erzeugt und dann via OSC in Form von sog. Nachrichten (OSC-Messages), welche wiederum in Bündel (OSC-Bundles) verpackt werden, an eine Schnittstelle weitergegeben werden und so eine Ausgabe steuern. Dieses können z. B. weitere Soundausgaben sein, etwa eine Soundanwendung auf einem anderen Computer.OSC ist unabhängig vom Transportprotokoll, wobei in der Regel jedoch UDP verwendet wird. Je nach Anforderung ist es aber auch möglich, OSC etwa über TCP oder eine serielle Schnittstelle zu transportieren.Open Sound Control wurde an der University of California in Berkeley entwickelt.

TUIO

TUIO is an open framework that defines a common protocol and API for tangible multitouch surfaces. The TUIO protocol allows the transmission of an abstract description of interactive surfaces, including touch events and tangible object states. This protocol encodes control data from a tracker application (e.g. based on computer vision) and sends it to any client application that is capable of decoding the protocol. There exists a growing number of TUIO enabled tracker applications and TUIO client libraries for various programming environments, as well as applications that support the protocol. This combination of TUIO trackers, protocol and client implementations allows the rapid development of table based tangible multitouch interfaces. TUIO has been mainly designed as an abstraction for interactive surfaces, but also has been used in many other related application areas. Technically TUIO is based on Open Sound Control – an emerging standard for interactive environments not only limited to musical instrument control – and can be therefore easily implemented on any platform that supports OSC. Hompage of TUIO

Hier habe ich 3 tolle Werkzeuge gefunden um Daten zu visualisieren, auch dynamisch.

• Tableau (WIN only)
• Many Eyes (Online, Open Source)
• Gephi (Open Source)

Tableau ist zum ausprobieren am PC gut tauglich. Die Software ist jedoch recht teuer.

Besonders an Many Eyes lässt sich gut ausprobieren, was alles mit intensiven Beschäftigung der Datenvisualisierung herausholen lässt. Das Werkzeug lässt sich gerade für Einsteiger einfach nutzen, da hier Datenkonvertierungen nicht mehr nötig sind. Es können bereits vorhandene Datenquellen genutzt werden.

Hier ein kleines Beispiel von mir Lorem Ipsum

Wer generierte Daten für Print benötigt, kann es mal mit Gephi probieren. Diese Applikation ist jedoch ein wenig komplexer.

Seit Mai 2011 bin ich nun Regionalsprecher in Nürnberg. Ich freue mich auf die neue Herausforderung und versuche Kooperationen der Designwirtschaft zu knüpfen. Für aktuelle Informationen siehe auch die Regionalseite vom AGD.

Hier ist meine Anleitung für ein Multitouch-Eingabegerät zum Selberbasteln, welche Gegenstand meines Vortrages am UX Stammtisch Franken am 18.01.2011 bei der DATEV war.

Folgende Komponenten werden gebraucht

• großer Karton (Pampers: 41 x 38 x 35 cm)
• Glasplatte (Tipp: Plexigals ist für Kinder geeignet)
• Butterbrotpapier (Mattscheibe) und Tesafilm
• Kleine Webcam (USB)
• Euren Rechner (MAC/WIN/LINUX)
• Opensource Software

Anleitung (0,2 MB)

Siehe auch meine Präsentation am UX Stammtisch Franken, eine lockere Verbindung der G|UPA vom 18.01.2011 bei der DATEV.

(will be updated continuously…)

Meine Quellen habe ich so strukturiert, dass Sie in Techniken/Inhalten geklustert sind und dann -falls vorhanden – nach Name, Informationen, Sprache, Art (Binary, Sourcecode oder IDE) sowie URL strukturiert sind. Viele Informationen sind gerade für Designer und Künstler gedacht, mache sind nur für Entwickler geeignet. Da die meisten Quellen aus der Opensource Gemeinde stammen und etwas speziell sind, steckt hier bei der Konfiguration oft der Teufel im Detail.

Theorie (IX, Multitouch)

Multitouch

• Informationen von Bill Buxton, http://www.billbuxton.com/multitouchOverview.html

Protokolle zur Datenübertragung

MIDI – musical instrument digital interface

• Midi =  „Digitale Schnittstelle für Musikinstrumente“ ist ein Datenübertragungs-Protokoll zum Zwecke der Übermittlung musikalischer Steuerinformationen zwischen elektronischen Instrumenten wie Keyboards, Synthesizern, Drumcomputern oder Computern. Siehe auch Wikipedia

OSC – Open Sound Control

• Open Sound Control (OSC) ist ein nachrichtenbasiertes Kommunikationsprotokoll, welches hauptsächlich für die Echtzeitverarbeitung von Sound über Netze und Multimedia-Installationen verwendet wird.Steuersignale können von Hardware (z. B. MIDI-Keyboard) oder Software (z. B. Max/MSP, Pure Data, SuperCollider, ChucK, EyesWeb, vvvv) erzeugt und dann via OSC in Form von sog. Nachrichten (OSC-Messages), welche wiederum in Bündel (OSC-Bundles) verpackt werden, an eine Schnittstelle weitergegeben werden und so eine Ausgabe steuern. Dieses können z. B. weitere Soundausgaben sein, etwa eine Soundanwendung auf einem anderen Computer.OSC ist unabhängig vom Transportprotokoll, wobei in der Regel jedoch UDP verwendet wird. Je nach Anforderung ist es aber auch möglich, OSC etwa über TCP oder eine serielle Schnittstelle zu transportieren.Open Sound Control wurde an der University of California in Berkeley entwickelt.Open Sound Control (OSC) ist ein nachrichtenbasiertes Kommunikationsprotokoll, welches hauptsächlich für die Echtzeitverarbeitung von Sound über Netze und Multimedia-Installationen verwendet wird.Steuersignale können von Hardware (z. B. MIDI-Keyboard) oder Software (z. B. Max/MSP, Pure Data, SuperCollider, ChucK, EyesWeb, vvvv) erzeugt und dann via OSC in Form von sog. Nachrichten (OSC-Messages), welche wiederum in Bündel (OSC-Bundles) verpackt werden, an eine Schnittstelle weitergegeben werden und so eine Ausgabe steuern. Dieses können z. B. weitere Soundausgaben sein, etwa eine Soundanwendung auf einem anderen Computer.OSC ist unabhängig vom Transportprotokoll, wobei in der Regel jedoch UDP verwendet wird. Je nach Anforderung ist es aber auch möglich, OSC etwa über TCP oder eine serielle Schnittstelle zu transportieren.Open Sound Control wurde an der University of California in Berkeley entwickelt.

TUIO

• TUIO is an open framework that defines a common protocol and API for tangible multitouch surfaces. The TUIO protocol allows the transmission of an abstract description of interactive surfaces, including touch events and tangible object states. This protocol encodes control data from a tracker application (e.g. based on computer vision) and sends it to any client application that is capable of decoding the protocol. There exists a growing number of TUIO enabled tracker applications and TUIO client libraries for various programming environments, as well as applications that support the protocol. This combination of TUIO trackers, protocol and client implementations allows the rapid development of table based tangible multitouch interfaces. TUIO has been mainly designed as an abstraction for interactive surfaces, but also has been used in many other related application areas. Technically TUIO is based on Open Sound Control – an emerging standard for interactive environments not only limited to musical instrument control – and can be therefore easily implemented on any platform that supports OSC. Hompage of TUIO

Framworks/IDE/Binaries

PureData

Pure Data (Abkürzung: Pd) ist eine datenstromorientierte Programmiersprache und Entwicklungsumgebung, die visuelle Programmierung benutzt. Sie wird vor allem zur Erstellung von interaktiver Multimedia-Software eingesetzt, etwa für Software-Synthesizer in der elektronischen Musik.

• Homepage of PureData
• another interesting PD-Webpage

Processing

Processing ist eine auf die Einsatzbereiche Grafik, Simulation und Animation spezialisierte objektorientierte, stark typisierte Programmiersprache mit zugehöriger integrierter Entwicklungsumgebung. Sie wird in einem quelloffenen Projekt entwickelt, das am Massachusetts Institute of Technology in Boston von Ben Fry (Broad Institute) und Casey Reas (UCLA Design|Media Arts) initiiert wurde. Processing hat den Charakter einer stark vereinfachten Version der Programmiersprache Java, erlaubt es Interaktionen und visuelle Elemente zu programmieren, und richtet sich vorwiegend an Gestalter, Künstler und Programmieranfänger.

• Homepage of Processing

Arduino

ie Arduino-Plattform ist eine aus Soft- und Hardware bestehende Physical-Computing-Plattform. Beide Komponenten sind im Sinne von Open Source quelloffen. Die Hardware besteht aus einem einfachen I/O-Board mit einem Mikrocontroller und analogen und digitalen Ein- und Ausgängen. Die Entwicklungsumgebung beruht auf Processing (einem Java-Dialekt) und Wiring (einem C-Dialekt), die insbesondere Künstlern, Designern, Hobbyisten und anderen Interessierten den Zugang zur Programmierung und zu Mikrocontrollern erleichtern soll. Arduino kann benutzt werden, um eigenständige interaktive Objekte zu steuern oder um mit Softwareanwendungen auf Computern zu interagieren (z. B. Adobe Flash, Processing, Max/MSP, Pure Data, SuperCollider, diversen Skriptsprachen, Terminal, vvvv etc.). Arduino wird intensiv an Kunsthochschulen genutzt, um interaktive Installationen aufzubauen.

• Homepage of Ardunio

Quartz (Quartz Composer)

Quartz ist das grafische Framework von Mac OS X. Hier gibt es eine Nodebased Programming Enviroment namens Quarzt Composer.

Xcode

Xcode ist die Entwicklungsumgebung von Apple.

• XTUOI, The xTUIO project is a Multi Touch focused development and research initiative. Currently the website is spotting some Open Source and commercial software projects and also some informations about our Multi Touch hardware solutions like the FishTish series. xAPPS is a collection of TUIO enabled multi-touch apps that are built on MacOSX. uniTUIO is a collection of c# scripts developed for the Unity game engine. If you have not heard of this before, the basic idea behind uniTUIO is to have a nice set of scripts to allow you to easily implement TUIO based multi touch input into any Unity application. UniTUIO is free and opensource (GPL). http://www.xtuio.com

Am 18. Januar habe ich einen Vortrag beim UX Stammtisch Franken gehalten. Gastgeber war diesmal dankenswerter weise die DATEV. Der Vortrag war mit 30 Interessenten gut besucht. In dem Vortrag ging es darum wie Multitouch-Tische aufgebaut sind und wie einfach und billig (>15 EUR) sich Multitouch-Geräte selbst bauen lassen.

Für alle, die leider nicht teilnehmen konnten oder Bereiche nachlesen mögen, habe ich die Unterlagen hinterlegt auf der Webseite des UX Stammtisch Franken, bei Slideshare und eine Anleitung zum Bau eines Low-Budget-Multitouch-Eingabegerätes auf meiner Webseite.

Benötigt wird ein aktueller Rechner, eine USB-Kamera, ausgedruckte Fiducials sowie etwas OpenSource-Software (siehe unten).

1. Gehe zu http://puredata.info/downloads und lade das Programm “PureData” für Deinen Rechner herunter.
2. Entpacke und installiere das Programm. Wenn nötig liegt eine englische Anleitung bei.
3. Gehe zu http://reactivision.sourceforge.net/#files und lade das Programm “reacTIVision” für Deinen Rechner herunter, sowie “TUIO_PureData.zip”
4. Entpacke und installiere das Programm sowie die Datein für “TUIO_PureData”. Wer mag kann sich fortbilden und je das “README.txt” lesen.
5. Wichtig PureData Dokumente, die TUIO nutzen müssen im Ordner mit den Erweiterungen “TuioClient” (z.B. “TuioClient.dll” für WINDOWS) liegen.
6. Starte das Programm “reacTIVision”. Drücke “h” für “Help”. Das Programm funktioniert ohne weitere Konfiguration.
7. Das Dokument “TuioDemo.pd” über das Programm “PureData” öffnen.
8. Nun die Fiducials, die sich im Ordner “reacTIVision-1.4/symbols/default.pdf” befinden ausdrucken.
9. Es sollte nun in der Konsole “addObject” bzw. “removeObject” je mit ID (Nummer des Fiducials) zu sehen sein. Dann hat Dein Experiment funktioniert.

Eine genaue Anleitung folgt…