Die HoloLens löst bei vielen Benutzer einen Wow Effekt aus, wenn Sie diese das erste Mal ausprobieren. Dieser WoW Effekt verfliegt aber teilweise, wenn der Benutzer beginnt mit der HoloLens zu interagieren. Die Erwartungshaltung gegenüber der Interaktion ist meistens hoch. Vor allem bei ungeduldigen Benutzern scheitert die HoloLens oft an der Interaktion. Handgesten werden mehrfach ausgeführt und Sprachbefehle mehrfach gesprochen. Auch ist die Verwendung der Blickrichtung als Zeiger für neue Benutzer ungewohnt.
Aus diesem Grund ist es wichtig den Benutzer bei der Verwendung der HoloLens zu führen. Dabei helfen vor allem Rückmeldungen der Anwendung an den Nutzer. Diese Rückmeldungen müssen in jede Anwendung eingebaut werden, da die HoloLens von sich aus keinerlei Rückmeldungen gibt. In diesem Blogpost zeigen wir wie wir dieses Problem in unseren Anwendungen lösen.
Blickrichtung
Zur Rückmeldung der Blickrichtung wird ein Cursor verwendet der auf dem ersten Objekt mit dem der Blickrichtungsstrahl kollidiert platziert wird. Um dem Benutzer Rückmeldung geben zu können, ob eine Interaktion mit einem fokussierten Objekt möglich ist, sollte jedes interaktive Element auf diesen Cursor reagieren. Die Rückmeldung kann dabei über das fokussierte Objekt z.B. durch Farbumschlag oder Größenänderung erfolgen:
Alternativ kann auch der Cursor selbst sich verändern:
Wichtig: Um die Erlernbarkeit zu unterstützen, sollte auf möglichst gleichartige Reaktion für gleiche Interaktionen geachtet werden.
Handgesten
Die beste Art der Rückmeldung für eine Handgeste wäre eine haptische Rückmeldung. Da dies allein mit der HoloLens nicht möglich ist, wird audiovisuelles Feedback verwendet. Eine Air-Tap-Geste beginnt mit der Erkennung des gestreckten Zeigefingers. Um den Benutzer in dieser Situation mitzuteilen, dass eine Hand erkannt wird, verändert sich der Cursor von seiner ursprünglichen Form in eine Hand mit gestrecktem Zeigefinger. Wird der Finger gesenkt, verändert sich der Cursor zu einer Hand mit gesenktem Zeigefinger. Zusätzlich wird ein Ton wie beim Betätigen einer Taste abgespielt. Wird der Finger wieder gehoben, ändert sich der Cursor entsprechend und es wird ein Ton wie beim Loslassen einer Taste abgespielt. So kann der Benutzer während der Durchführung der Geste genau erkennen, ob die Geste erkannt wurde, oder welche Teile nicht erkannt wurden.
Handgesten werden von der HoloLens nur in einem bestimmten Bereich, dem sogenannten Gesture Frame registriert. Während der Manipulation eines Objektes kann es daher passieren, dass sich die Hand aus dem Gestenerkennungsbereich herausbewegt. Um den Benutzer darauf hinzuweisen, wird der Cursor immer rötlicher, je näher die Hand an den Rand der Erkennung herankommt. So hat der Nutzer die Chance, dies zu erkennen und seine Geste oder seine Blickrichtung anzupassen.
Sprachbefehle
Sprachbefehle sind ein sehr einfaches und sehr leicht integrierbares Mittel um mit einer Anwendung zu interagieren. Ihr großer Nachteil steckt in der Erlernbarkeit der Befehle. Aus diesem Grund verwenden wir Sprachbefehle in unseren Anwendungen hauptsächlich für globale Befehle, d.h. für Funktionen mit keinem direkten Bezug zu einem konkreten Objekt oder mit Bezug auf die gesamte Szene. Beispiele hierfür sind das Öffnen eines Menüs, die Umschaltung eines Anwendungszustands von z.B. Simulation in Editierung oder die Skalierung der gesamten Szene. Wird ein Sprachbefehl erkannt wird ein Sound abgespielt. Dabei unterscheiden wir zwischen Sounds für erfolgreich durchgeführte Aktionen und Sounds für Aktionen die aufgrund des aktuellen Zustandes nicht ausgeführt werden können. Ein ausbleibender Sound verdeutlich dem Nutzer, dass seine Interaktion nicht erfolgreich war.
Bei der Entwicklung von Anwendungen für HoloLens ist es wichtig, den richtigen Mix an Gesten, Sprachbefehlen und Feedback-Wegen zu finden. Der Fokus sollte dabei stets auf der Erlernbarkeit liegen. Es ist daher ratsam, sich auch an anderen Anwendungen zu orientieren und somit zur Entwicklung von Interaktionsstandards beizutragen.
Gern stehen wir auch Ihnen zur Seite, wenn Sie kompetente Unterstützung bei Design und Entwicklung von interaktiven Anwendungen für HoloLens und Windows Mixed Reality benötigen.