Innovationsbericht Nr. 001 – Get the hands up!

Prolog

Es war ein Mittwoch vor einem knappen Monat, im Kalender steht ein mysteriöses Meeting. Der Betreff sagt nichts aus: Teambesprechung. Die gesamte Belegschaft ist geladen. Das kommt nicht so häufig vor. Es sprießen sofort die wildesten Spekulationen: Bekommt der Chef nochmal Nachwuchs? Wurden zusätzliche Räume angemietet, in denen wir uns ausbreiten dürfen?

Dann ist es endlich so weit, die Aufklärung: Nein, es gibt kein Baby, auch (erstmal) keine Expansion. Individuell gesehen viel besser: Jeder Mitarbeiter bekommt ein Budget zur Verfügung gestellt, für dass er sich Technik zulegen darf und zum privaten Gebrauch überlassen bekommt.
Eine „kleine“ Bedingung ist daran geknĂĽpft: lasst eure Fantasie spielen. Es soll etwas sein, das vielleicht noch nicht etabliert ist, ein neues Gadget, das vielleicht mal Trend wird. Wir sollen uns mit Dingen beschäftigen, nach denen uns vielleicht mal Kunden Fragen könnten. Lernen und Erfahrungen sammeln. Darum nennen wir es Innovationsbudget.

Die Messlatte wurde für uns Designer etwas höher gelegt – man könnte von uns etwas mehr Kreativität erwarten. Dem gerecht zu werden, schien erstmal nicht so einfach. Wie kommt man auf etwas, was noch nicht Trend ist? Also direkt mal die Tech-Homies anhauen. Die sind doch immer up to date. Von einem ehemaligen Kollegen aus München kam der Tipp: Schau dir mal MYO an.

Gesagt. Getan. Aber – nicht das Richtige. Zu wenig alltagstauglich für mich. Vielleicht als Hingucker bei Präsentationen ein nettes Gimmick. Aber das Thema war gut. Von da aus war es nicht mehr weit zu meinem ersten Innovations-Gadget …

 

Entschieden. Bestellt. Am übernächsten Tag da:

Packaging-front_3_4-web_large

Was ist das?

Technisch relativ simpel: 2 Kameras + 3 infarot LEDs.

 

Was macht es?

Es nimmt Bilder auf. (Ach nee …)

 

Es erkennt Hände, wenn sie im Bild sind:
imageapi-hero
(Hmmmm …)

 

Es gleicht diese mit einem internen Hand-Modell im dreidimensionalen Raum ab!
leap-motion-3d-motion-gesture-controller-10-large
(Oooohooo …)

 

Genauer bitte …

Jede Hand wird einzeln inkl. aller Finger erkannt. Theoretisch erkennt es differenziert nach Anzahl der ausgestreckten Finger die Gesten:

  1. tap (wie ein Tastendruck)
  2. screen tap (tippen in z-Achse)
  3. rotation (Hand in einer Kreisbewegung != Hand drehen)
  4. swipe (Wischen)
  5. move (in eine Richtung bewegen)
  6. point (in eine Richtung zeigen)

Weiterhin wird differenziert, ob die Geste vorn, hinten, links oder rechts ausgefĂĽhrt wird.

Diese Gesten und Koordinaten aller Hand-Bestandteile können über eine API, z.B. via JavaScript, Java, C++, C#, Unity, … relativ einfach abgegriffen werden.

 

Wie fĂĽhlt es sich an?

Die Erkennung der Hände oder von Tools (z.B. ein Stift), ist in einem Bereich von ca. 20 bis 60 cm über LEAP relativ zuverlässig. Dieser Bereich reicht aus, um den Bereich vor meinem nicht gerade kleinen Monitor fast vollständig abzudecken. Relativ bedeutet, wenn ich meine Finger quer zu leap halte, sodass sie sich gegenseitig verdecken, oder mit den Fingern direkt auf Leap zeige, können sie einfach nicht mehr erkannt werden. Das an sich ist erstmal nicht so schlimm. Man lernt schnell damit umzugehen: Hand kurz wieder flach öffen, LEAP erkennt die Hand, weiter geht’s.

Es macht schon ein bischen süchtig. Es regt den Spieltrieb an. Bis sich irgendwann die mausverwöhnten Arme melden: LEAP ist auf Dauer etwas anstrengender, als die kleinen kreisenden Bewegungen auf dem Schreibtisch.

 

Schwächen bisher

Eine meiner Ideen war, die Gestenerkennung zum Steuern von verschiedenen Programmen zu nutzen, ähnlich MouseGestures für Browser. Z. B. vor dem Bildschirm swipen und damit durch die Bilder in der Windows-Fotoansicht blättern. Dafür gibt es eine App, die das zu konfigurieren ermöglicht.

Obwohl die Gesten sehr differenziert wahrgenommen werden könnten – und man auch die Empfindlichkeit anpassen kann, kommt das im Alltag nicht rum. Sehr zuverlässig ist die rotation, beim tap wird eigentlich nur das Tippen mit einem Finger wahr genommen, egal mit wievielen man tippt. Swipe und screen tap führen oft zu tendenziell frustrierendem Rumgefuchtel vor dem Bildschirm. Damit ist meine Anwendungsidee nicht wirklich alltagstauglich, maximal für einen kleinen Showeffekt gut.

Man versucht, irgendwie die Geste hin zu bekommen, die LEAP erkennt. Interessanter wäre es anders herum: Ich mache eine Geste, wiederhole sie vielleicht ein paar Mal – und LEAP lernt. Im Prinzip kein Ding der Unmöglichkeit. Es bedarf „nur“ eines schlauen Kopfes, der diese Logik programmiert.

 

Stärken

Positiv fällt die sehr schnelle Reaktionszeit auf, mit der Bewegungen getrackt werden. Interessant wird es also, wenn ich nicht auf einzelne, kurzfristige Gesten schaue, sondern permanent die Bewegungen/Positionen der Hände nutze, um damit in der virtuellen oder reellen Welt zu interagieren.

 

Anwendungsmöglichkeiten

Neben der lernenden Gestensteuerung regt vor allem das schnelle Tracking dazu an, die Gedanken fliegen zu lassen:

  1. generell Interaktion in Virtual Reality
  2. Steuerung von Maschinen
  3. Interaktion mit Projektionen (Hallo Matrix), praktische Beispiele: HUD in einem Auto, touch an der Scheibe nicht möglich, oder  Google Glass, wieder kein touch
  4. Steuerung von virtuellen oder reellen (fliegenden) Fahrzeugen (Wir dürfen gespannt auf Jörns Innovationsprojekt sein)
  5. Generell Interaktion mit 3D Modellen, z. B. als Show-Effekt auf Messen
  6. usw.

Da LEAP via JavaScript lediglich mit Installation der Treiber direkt im Browser angesprochen werden kann, sind hier auch – bildlich gesprochen – webbasierte Anwendungen in greifbarer Nähe.

 

Fazit

LEAP ist mit den bisherigen Apps eher ein witziges Gimmick. Es macht auf jeden Fall Lust darauf, sich mit Virtual Reality auseinander zu setzen, selbst wenn man nicht so der Hardcore-Gamer ist. Mein nächstes Innovationsbudget muss ich dann wohl in eine Occulus Rift investieren. ;-) Bis dahin werde ich trotz der Schwächen weiter versuchen, die Gesten in den Griff zu bekommen. Sollten sich daraus noch weitere Erkenntnisse ergeben, gibt es vielleicht ein kleines Update des Berichts.

Die Grenzen scheinen aktuell wohl eher durch die Software gesetzt. Wer mir also eine lernende Gestenerkennung und -steuerung schreiben möchte, ist herzlich willkommen …

 

Das verwendete Bildmaterial stammt von www.leapmotion.com.

Innovationsbericht Nr. 001 – Get the hands up!
5 (100%) 2 votes

geschrieben von:

avatar

Pixelprofi. UI & UX Design, Konzeption.

Noch keine Kommentare.

Hinterlasse eine Antwort

Nachricht