Mrmr: Multi-Touch & Multi-User trifft auf Flash
Bei dem Thema schlägt mein Herz höher.
Nachdem ich zum wiederholten Male über Mrmr gestolpert bin, hat mich das Thema absolut in seinen Bann gezogen. Mrmr ist konzipiert als offenes Protokoll, um drahtlos mit Mobiltelefonen und PDAs Multimedia-Performances und Live-Installationen zu steuern.
Richtig spannend ist, das Mrmr auch das Open Sound Control-Protokoll unterstützt. Hauptsächlich wird das OSC-Protokoll eigentlich für die Kommunikation zwischen elektronischen Musikinstrumenten eingesetzt. Aber OSC begegnet einem auch bei reacTIVision und bei Multi-Touch Trackern, die in der Regel die Daten per TUIO-Protokoll senden, dass aber ebenfalls auf OSC basiert.
Von den Multi-Touch Experimenten war mir noch bekannt, das man OSC Nachrichten auch mit Flash verarbeiten kann. Dazu benötigt man als Vermittler den Java-Server Flosc, der OSC aus der UDP-Welt für die TCP-Welt mit Flash aufbereitet.
An dieser Stelle eine Frage in die Runde, hat jemand Informationen zum UDP-Support des neuesten Flash Players?
Zurück zu Mrmr, man kann mit dieser iPhone-Applikation also auch Flash-Anwendungen steuern.
Zum verdeutlichen habe ich einmal ein kleines Video gedreht, dass eine sinnfreie Anwendung zeigt, bei der die Eingaben auf dem iPhone per Wi-Fi an einen Host-Rechner übertragen werden. Auf dem Rechner läuft im rechten Teil des Bildschirmes eine Flashanwendung, die simpel die Werte visualisiert. Die Anwendung besteht aus einem Touchpad und einem Slider, um zwischen verschiedenen Farben zu wechseln.
Ansich schon eine spannende Sache, aber es geht noch weiter. Das iPhone kann bekanntlich Multi-Touch, dazu kommt, dass Mrmr mehrere Clients miteinander verbinden und verwalten kann, sprich Multi-User Support.
An diesem Punkt wird es konzeptionell schon sehr spannend und ich musste gleich an Konzepte wie Public Playing von Extrajetzt denken.
Der Vater von Mrmr ist übrigens Eric Redlinger, Forscher am Institut Integrated Digital Media der Polytechnic University in Brooklyn, New York.
Das kostenlose Mrmr bietet aber noch ein weiteres Highlight. Mit dem Interface Builder, kann man eigene Oberflächen mit Slidern, Buttons und Touchflächen anlegen, um diese im Anschluss auf das iPhone zu übertragen. Die Interfaces können auch per HTTP geladen werden und der Host kann z.B. je nach Anzahl der Clients verschiedene Interfaces ausliefern.
Also Multi-Touch, Multi-User und eigene Interfaces bilden einen wirklich genialen Mix, um spannende Konzepte zu entwickeln.
Neben Mrmr gibt es mit TouchOSC und OSCemote zwei weitere Programme im App-Store, die per OSC-Protokoll kommunizieren können. Mrmr hat aus meiner Sicht in den meisten Bereichen aber die Nase vorn und ist zudem kostenlos.
Der erste Test hat richtig viel Spaß gemacht und das Thema werde ich auf jeden Fall weiter verfolgen.Â
Â
25. October 2008
Abgelegt unter: Multi-Touch, iPhone
10 Comments Add your own
1. Alan | October 25th, 2008 at 10:40 pm
Danke für das Beispiel. Tolles Spielzeug mit viel Potenzial!
Viele Grüße
Alan
2. Martin | October 26th, 2008 at 12:31 pm
hört sich interessant an. würde ich am liebsten gleich mit rumspielen, wenn ich nur ein iTelefon hätte
3. David | October 27th, 2008 at 10:40 am
sehr schön. bitte mehr davon. viele grüße aus hamburg.
4. Christophe Stoll | October 27th, 2008 at 1:45 pm
Juchu, und wenn man seine Experimente dann noch mit Processing kombinieren will, gibt es dafür eine tolle OSC implementierung. Und wer dabei auch was hören will, kann den circle Synthesizer nutzen – der empfängt und sendet (ab version 1.0.5) nämlich auch OSC. Und im OSC-Repertoire sollte zudem OSCulator nicht fehlen.
Mir scheint, als könnte das OSC-Protokoll mit dem iPhone und Co. endlich die Popularität erlangen, die ihm zusteht – auch und vor allem jenseits der Musikproduktion/-Performance. Das ist sehr motivierend. Letzendlich ist OSC ja auch so eine Art Techno-Esperanto, die Universal Language (aka Love) vernetzter Mikroprozessoren – sie sorgt dafür, daß sich Flash und Processing verständigen können (sic!), die damit wiederum Kontakt zur Außenwelt aufnehmen können – sei es zu z.B. Softwaresynthesizern, zu iPhone-Apps oder zu Hardware mit OSC-kompatibler “Firmware” (siehe z.B. monome oder Lemur)
Da kann man noch auf sehr schöne und spannende Ansätze gefasst sein! Wenn jemand Interesse hat, sich circle diesbezüglich mal genauer anzuschauen, rein aus Interesse oder um Audio-Ideen zu realisieren – meldet euch; wir sind total scharf drauf, circle auf Mission jenseits von Musikstudios zu begleiten.
5. Mrmr: Multi-Touch zwische&hellip | October 28th, 2008 at 11:29 am
[…] steuern kann. Und das schöne daran: Es geht auch mit Flash! Weitere Infos gibt es bei Jens im Blog und in diesen YouTube Clip. Tags: Flash/ Installation/ iPhone/ Mobile/ Mrmr/ Technologie - […]
6. Bastian | November 3rd, 2008 at 12:31 pm
Was UDP und Flash betrifft, gibt es mit dem neuen FlashPlayer anscheinend das so genannte RTMFP (= Real Time Media Flow Protocol)… hab mich nicht komplett durchgelesen, UDP soll aber anscheinend gerade z.B.b für VoIP verwendet werden können. In der PDF ist die Rede davon, dass man einen aktuellen Flash Media Server dazu benötigt… ob sich das jetzt lohnt oder nicht, ist wieder eine andere Frage…
am besten selbst mal einen Blick drüber werfen, da ich mich mit NetConnections über UDP noch nie beschäftigt habe
hier der Link zur PDF:
http://download.macromedia.com/pub/labs/flashplayer10/flashplayer10_rtmfp_faq_071708.pdf
7. Thorben | November 3rd, 2008 at 10:06 pm
hätte ja nicht gedacht das man mit dem ding solche sachen machen kann, sieht ziemlich interessant aus, mal abwarten was sich da noch so auftut.
greetz thorben
8. kris | November 13th, 2008 at 9:01 pm
hui, schoen! fuer installationen kann das echt noch was geben.. andererseits mal wieder richtig schade, dass man java-applets nicht ein bisschen aus der sandkiste befreien kann, so koennte man eine solche anwendung auch direkt fuers web anbieten. serverseitig gaebs da moeglichkeiten, macht das ja nur begrenzt sinn.
das tolle neue udp-protokoll bleibt erst mal uninteressant, zumindest bis die neue version vom flash media server das tageslicht erblickt, der (und nur der) kann naemlich die kommunikation zwischen zwei clients erst herstellen.
abzuwarten bleibt, ob rtmfp proprietaer bleibt oder von zb red5 implementiert werden kann. die hoffnung stirbt zuletzt!
9. Ulrich | December 23rd, 2008 at 11:13 am
nicht schlecht, sieht schon beeindruckend aus
10. SynFin | December 24th, 2008 at 5:10 pm
Sehr schön
bin grade dran ein Interface zu bilden, was auch ganz gut klappt. Jedoch kann ich das Interface jetzt nicht uploaden, sprich fürs iPhone verfügbar machen. Hast du eine Idee an was es liegen könnte. Verbunden bin ich via Adhoc mitem Mac Book Pro. MRMR Server läuft und ist auf listen.
Das iPhone löst folgende Message beim Server aus:
/mrmrNotPresent: 394388239492948238a3384
“192.168.100.2″
Gruss aus Basel
Leave a Comment
Some HTML allowed:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>
Trackback this post | Subscribe to the comments via RSS Feed