Mrmr: Multi-Touch & Multi-User trifft auf Flash

Bei dem Thema schlägt mein Herz höher.

Nachdem ich zum wiederholten Male über Mrmr gestolpert bin, hat mich das Thema absolut in seinen Bann gezogen. Mrmr ist konzipiert als offenes Protokoll, um drahtlos mit Mobiltelefonen und PDAs Multimedia-Performances und Live-Installationen zu steuern.

Richtig spannend ist, das Mrmr auch das Open Sound Control-Protokoll unterstützt. Hauptsächlich wird das OSC-Protokoll eigentlich für die Kommunikation zwischen elektronischen Musikinstrumenten eingesetzt. Aber OSC begegnet einem auch bei reacTIVision und bei Multi-Touch Trackern, die in der Regel die Daten per TUIO-Protokoll senden, dass aber ebenfalls auf OSC basiert.

Von den Multi-Touch Experimenten war mir noch bekannt, das man OSC Nachrichten auch mit Flash verarbeiten kann. Dazu benötigt man als Vermittler den Java-Server Flosc, der OSC aus der UDP-Welt für die TCP-Welt mit Flash aufbereitet.

An dieser Stelle eine Frage in die Runde, hat jemand Informationen zum UDP-Support des neuesten Flash Players?

Zurück zu Mrmr, man kann mit dieser iPhone-Applikation also auch Flash-Anwendungen steuern.

Zum verdeutlichen habe ich einmal ein kleines Video gedreht, dass eine sinnfreie Anwendung zeigt, bei der die Eingaben auf dem iPhone per Wi-Fi an einen Host-Rechner übertragen werden. Auf dem Rechner läuft im rechten Teil des Bildschirmes eine Flashanwendung, die simpel die Werte visualisiert. Die Anwendung besteht aus einem Touchpad und einem Slider, um zwischen verschiedenen Farben zu wechseln.

Ansich schon eine spannende Sache, aber es geht noch weiter. Das iPhone kann bekanntlich Multi-Touch, dazu kommt, dass Mrmr mehrere Clients miteinander verbinden und verwalten kann, sprich Multi-User Support.

An diesem Punkt wird es konzeptionell schon sehr spannend und ich musste gleich an Konzepte wie Public Playing von Extrajetzt denken.

Der Vater von Mrmr ist übrigens Eric Redlinger, Forscher am Institut Integrated Digital Media der Polytechnic University in Brooklyn, New York.

Das kostenlose Mrmr bietet aber noch ein weiteres Highlight. Mit dem Interface Builder, kann man eigene Oberflächen mit Slidern, Buttons und Touchflächen anlegen, um diese im Anschluss auf das iPhone zu übertragen. Die Interfaces können auch per HTTP geladen werden und der Host kann z.B. je nach Anzahl der Clients verschiedene Interfaces ausliefern.

Also Multi-Touch, Multi-User und eigene Interfaces bilden einen wirklich genialen Mix, um spannende Konzepte zu entwickeln.

Neben Mrmr gibt es mit TouchOSC und OSCemote zwei weitere Programme im App-Store, die per OSC-Protokoll kommunizieren können. Mrmr hat aus meiner Sicht in den meisten Bereichen aber die Nase vorn und ist zudem kostenlos.

Der erste Test hat richtig viel Spaß gemacht und das Thema werde ich auf jeden Fall weiter verfolgen. 

8 Kommentare 25. October 2008

Das Arbeiten in einer Welt voller APIs

Eigentlich wollte ich mir einen Beitrag zum Flash Player 10 sparen, aber die sehr geschätzten Kollegen André Michelle und Joa Ebert haben mich dann doch dazu bewegt zumindest indirekt darüber zu schreiben.

Initial hätte ich nicht gedacht, dass dieser Beitrag so lang wird. Ich hoffe ihr habt ein wenig Zeit mitgebracht und findet das Thema ebenfalls so diskussionswürdig wie ich. Ich freu mich auf Eure Meinungen.

Seit dieser Woche steht nun der finale Player zum Download bereit. Im Vorfeld hatte die Hobnox-Crew reichlich Lärm gemacht, um mit dem neusten Player Sound dynamisch manipulieren zu können. Wenn man so viel Herz und Leidenschaft in ein Projekt steckt und es an dieser einen Stelle klemmt, kann man so einen Wunsch natürlich nachvollziehen. Aber ich war mehr als erstaunt als Adobe ihren Wunsch erhört hat.

Neutral betrachtet ist dieses Feature natürlich nichts für die breite Masse, sondern eher für 0,0001 % der Entwickler, also André, Joa und einer Handvoll anderer Entwickler. Aber egal, man freut sich über den Erfolg der Jungs.

Wieso Adobe aber so nett war, bleibt mir schleierhaft. Aus meiner Sicht verfolgt Adobe die Marschroute in jeder Release viele schöne neue WoW-Effekte zu implementieren, die sich gut verkaufen lassen - sowohl bei ihren Kunden als auch bei den Kunden der Kunden. Klar, ein, zwei Features gehören eher zu der nüchteren Feature-Kategorie, aber es ist einfach unverständlich, dass jahrelang bekannte Bugs nicht behoben werden.

In der neuesten Version gibt es für die Effekt-Etage ein bisschen 3D, Inverse Kinetics, Bones und natürlich das neue Tool Pixel Blender. Auch wenn PV3D bei mir die Freude an 3D getrübt hat, bin ich froh über den 3D-Support der Flash API. In Zukunft wird bei 90% der Aufgaben die API von Flash ausreichen und somit muss man sich nicht mehr mit der Jenga-Turmähnlichen-API von PV3D rumschlagen, was wirklich schmerzhaft sein kann. Fraglich bleibt natürlich, ob und wo man 3D wirklich braucht bzw. wie ein sinnvoller Einsatz aussieht, aber das Thema hatte ich bereits auf der Flashforum Konferenz angesprochen.

Bei Inverse Kinetics und Bones bin ich einmal gespannt, was die Animationsspezis schönes zaubern und wie qualvoll dann die Einbindung der IDE-Erzeugnisse im wirklichen Projekt ist. Beim Thema Pixel Bender habe ich noch keine wirkliche Meinung, weil ich es noch nicht getestet habe. Derzeit wirkt es auf mich noch wie ein Tool von Nerds für Nerds. Beispiel gefällig?

Audio-Mixing mit Pixel Bender - mir fehlt noch gänzlich ein realer Einsatzzweck.

Aber wo wir wieder beim Thema Audio sind, will ich auf meinen initialen Grund für diesen Beitrag zurück kommen.

Die Hobnox-Gang kündigte groß an, dass sie sobald der Flash Player 10 verfügbar ist, eine neue Version ihres Audio-Tool veröffentlichen werden. Ich habe diese Nachricht mit erstaunen wahr genommen. Man musste annehmen, dass sie schon längere Zeit produktiv für den Flash Player 10 entwickeln haben. Aus meiner Sicht mutig, war doch der Player bis dato nur als Beta-Version verfügbar, aber ich führte es auf gute und sichere Kontakt bei Adobe zurück.

Tja, da lag ich wohl falsch. Nach der Relase des Flash Players 10 ist die Stimmung im Audio-Lager schlecht. Auf der Zielgeraden hat Adobe einfach die API geändert und den Jungs beinahe das Genick gebrochen.

Traurige Sache, wo ich auf der einen Seite den Frust der Jungs verstehen kann, aber auf der anderen Seite auch ein allgemeines Problem sehe, welches mehr und mehr Einfluss auf die Projekte nimmt und der Grund für diesen Beitrag ist.

Das Problem sind frühzeitig frei zugängliche APIs und ihr sofortiger Einsatz in kommerziellen Projekten. Auch wenn es komisch klingt, heute gehört es zum guten Ton seine Software bereits im Alpha- oder Beta-Stadium auf den Markt zu werfen. Verpackt mit effektvollen Demos kann man schnell für viel Aufsehen in der Flash-Community sorgen. Und es dauert nicht lange bis diese technischen Demos im kreativen Zaubertopf landen und in ein Konzept gepresst werden.

APIs sind aber doch eine super Sache? Auf den ersten Blick sicherlich, aber beim Einsatz in kommerziellen Projekt können sie schnell zum unkalkulierbaren Risiko werden.

Bestes Beispiel dafür ist PV3D. Das Entwickler-Team präsentiert regelmäßig neue Demos, um das Rennen der 3D-Engines weiter anzuführen. Ich frage mich schon seit langem, wie wichtig es dem Core-Team eigentlich ist, dass andere deren eigene API nutzen?

Mein Verständnis war immer, wenn ich etwas anderen zur Verfügung stelle, dann so, dass sie damit vernünftig arbeiten können. Ohne saubere Dokumentation und mit ständigen Änderungen an den Kernschnittstellen würde ich mir vom heutigen Standpunkt aus manchmal wünschen, dass sie die API nicht öffentlich zugänglich gemacht hätten. Dann hätten wir uns viele ideenfreie Projekte sparen können und ich mir einige Überstunden und graue Haare. In meinen letzten Projekt, wo der Einsatz von 3D sogar gut zum Thema passte, hofften wir bei jedem SVN-Update, dass die vielen vorhanden Fehler behoben werden. Die Praxis sah in der Regel leider anders aus. Updates gab es zwar genug, aber wenn sie eine Verbesserung mit sich brachten, dann folgte auf den Schritt auch meist ein neues Problem.

Diese Problematik trifft nicht nur auf Community-Projekte wie PV3D zu, sondern auch auf die großen der Branche. Aktuell habe ich die Ehre mit der Flash API von Google Maps zu arbeiten. Vom API-Design ist das natürlich ein Unterschied wie Tag und Nacht zu PV3D, aber auch hier komme ich mir langsam vor wie der persönliche Bugreporter vom Hofe Google.

Ich will nicht sagen, dass ich auf Kriegsfuß mit APIs stehe. Sie bieten mir ohne Frage viele tolle Möglichkeiten, aber beim Einsatz in kommerziellen Projekten, die in einer definierten Zeit zu realisieren sind, bin ich mit der Zeit vorsichtiger geworden. Auch wenn Demos zeigen, dass man diese oder jene Sache machen kann, steht für mich die Überprüfung dieser Features im Kontext der gesamten Anwendung an oberster Stelle. Und manchmal muss man somit auch auf ein neues Feature verzichten, aber oft ist weniger auch mehr, z.B. Performance.

Ich will niemandem den Spaß am Spielen mit den APIs nehmen, aber schreitet als Entwickler ein, wenn Dritte API-Demos zu einem Konzept zaubern. Verwendet ihr APIs von Dritten, dann solltet ihr immer ausreichend Buffer einkalkulieren.

Nicht selten kommt man in Grenzbereiche der API, wo man sich entweder tief in die API einarbeiten muss, um sein Ziel zu erreichen oder einfach in der Abhängigkeit gefangen ist und warten muss bis die API-Entwickler einen erhören und dann auch noch das Richtige veröffentlichen.

Eine Gradwanderung, die viel Feingefühl und einen kühlen Kopf benötigt.

Das war mein persönliches Wort zum Sonntag bereits am Freitag. Habt ein schönes Wochenende, geht raus und genießt die Farben des Herbstes.

Wer es nicht in die Natur schafft, der kann sich auch schöne Farben über die API von Kuler besorgen.

16 Kommentare 17. October 2008

Tonmitschnitt: Jonathan Harris bei Flash on the Beach

Andy Polaine, Autor für IdN, Computer Arts, Creative Review und Desktop Magazine, war so gut und hat auf seiner Seite einen Tonmitschnitt von dem Vortrag von Jonathan Harris bei Flash on the Beach online gestellt. 

Ein Dank an Andy und den Anderen viel Spaß beim Zuhören. Der Part, der für so viel Aufruhr gesorgt hat, beginnt bei 1 Stunde und 4 Minuten, was nicht heißen soll, dass der Rest nicht weniger interessant ist. 

Der Kommentar von Andy bringt ebenfalls noch einmal schön die aktuelle Situation auf den Punkt. 

1 Kommentar 6. October 2008

Nachhaltig: Jonathan Harris bei Flash on the Beach

Ich bin zurück von Flash on the Beach und zusammenfassend war es wieder eine inspirierende Konferenz. Einen großen Rückblick zu den einzelnen Sessions möchte ich hier gar nicht geben, weil es diesen in der nächsten PAGE geben wird.

Aber ein Thema passt besser in meinen Blog und somit möchte ich auch ein paar Worte zu dem Vortrag von Jonathan Harris schreiben.

Für üblich herrscht auf Flashkonferenzen immer Friede, Freude, Eierkuchen - sprich man freut sich gemeinsam über jede Neuheit vom Mutterschiff aus San Jose und feierte gegenseitig seine neuesten Arbeiten. Überspitzt formuliert, wirkt es manchmal wie ein großer Wanderzirkus, der eine wirkliche unterhaltsame, aber auch kurzweilige Show bietet, weil neue Ideen und Konzepte oft fehlen.

Man kopiert und adaptiert von bekannten und alten Quellen auf die Flash-Plattform. Hat man einige Veranstaltungen besucht, dann wird schnell deutlich, welche Sprecher die Konferenzen wirklich ernst nehmen, sich ausreichend vorbereiten, strukturiert präsentieren und Ideen und Vision mit den Zuhörern teilen wollen. Es gibt aber auch immer wieder schwarze Schafe, die Jahr für Jahr das Gleiche erzählen und wenn überhaupt nur ein paar Folien erneuern. Dass das respektlos gegenüber den zahlenden Besuchern ist, wird leider den Wenigsten bewusst sein.

Für den letzten Vortrag konnte man in diesem Jahr Jonathan Harris gewinnen. Ich hatte durch zwei PAGE Artikel schon mehrfach beruflichen und anschließen auch privaten Kontakt mit Jonathan und freute mich somit sehr auf eine erste persönliche Begegnung.

Nachdem Jonathan seine Arbeiten präsentiert hatte, hatte er noch ein Anliegen und wendete sich damit an das Publikum. Die entscheidenden Folien findet man hier, unter seinem Kommentar auf einige in der Folge entstanden Blog-Beiträge von bekannten Community-Flashern (Peter Elst, Keith Peters).

Die Folien und Anmerkungen sind sicherlich nichts für einen Montag Morgen, aber Jeder der sich in den Neuen Medien bewegt, sollte sich einmal die Zeit für diese Aussagen und Fragen nehmen.

Nachdem ich im Mai bei der Flashforum Konferenz auch einige aus meiner Sicht kritischen Entwicklung in der Flashszene angesprochen habe, war der Vortrag von Jonathan für mich der beste und nachhaltigste, den ich seit langem gesehen habe.

Sicherlich gibt es zu dem Thema verschiedene Blickwinkel, aber ich finde meine Denke und meine Visionen in vielen Aussagen von Jonathan wieder.

Auch wenn viele sich kritisch geäußert haben, hoffe ich, dass es im nächsten Jahr bei FOTB nicht wieder nur die üblichen Happy-Community-Voträge gibt.

Manchmal muss man die Wahrheit sagen, auch wenn Sie unbequem ist.

5 Kommentare 5. October 2008