Damit die virtuelle Welt realistisch und interaktiv wird, müssen wir die Objekte in der VR-Umgebung anfassen, bewegen und anderweitig manipulieren können. Diese Interaktion zwischen Hand und Objekt ist jedoch technisch noch ein große Herausforderung für VR-Anwendungen. Bisher ist sie weit davon entfernt, sich so natürlich wie in der realen Welt anzufühlen.
Keine realistische Interaktion
Einer der Gründe: Bei den meisten VR-Anwendungen benötigt man Controller, um virtuelle Objekte manipulieren zu können. Dies schränkt die Möglichkeiten der Interaktion schon vor vornherein ein – man klickt oder bewegt die Controllerstäbe hin und her, statt zu greifen wie im normalen Leben. Ein zweites Problem: Derzeit muss schon bei der Entwicklung einer VR-Anwendung für jede mögliche Interaktion im Voraus definiert werden, wie ein Objekt gegriffen und manipuliert werden kann, bevor diese Greifarten manuell animiert werden.
Dies setzt der Interaktion grundsätzliche Grenzen: Objekte können nur in vorgegebener Weise verwendet werden, alle anderen Aktionen gehen ins Leere. Hinzu kommt, dass es enorm zeitaufwendig ist, im Vorhinein alle nötigen Greifweisen zu ermitteln und dann einzuprogrammieren.
Diese Einschränkungen kommen nicht nur bei VR-Spielen zum Tragen, noch gravierender sind sie, wenn VR-Umgebungen der Ausbildung oder Rehabilitation dienen. „Teilnehmende von VR-Trainings verwenden hauptsächlich Handsteuerungsgeräte“, erklärt Jakob Way vom VR- und Robotertechnik-Start-up Gleechi. „Aber sie müssen in der Lage sein, die natürliche Handinteraktion zu erleben, um neue Fähigkeiten zu entwickeln und das Selbstvertrauen zu haben, diese in der realen Welt anzuwenden.“
Besserer Griff für Reha-Patienten
An diesem Punkt kommt das das Projekt VirtualGrasp ins Spiel. In ihm entwickeln Forschende gemeinsam mit Unternehmen eine Lösung auf Basis künstlicher Intelligenz, durch die die Interaktion mit Objekten automatisiert digitalisiert werden kann. Dabei kommt eine Kombination von maschinellem Lernen und prädiktiven Algorithmen zum Einsatz, um mithilfe von Datenhandschuhen beispielsweise typische Greifbewegungen zu erkennen.
Einer der ersten schon im Test befindlichen Anwendungsbereiche ist die Rehabilitation von Schlaganfallpatienten. „Aufgrund der eingeschränkten Beweglichkeit in den Händen und Fingern macht ihnen oftmals die erforderliche Präzision beim Greifen zu schaffen. Durch die Vorhersage dieser Greifarten hoffen wir, den Rehabilitationsprozess mithilfe von visueller Verstärkung zu beschleunigen“, erklärt Way.
Konkret nutzen die Projektforscher ein lernfähiges System, das anhand von Videoaufnahmen und den Daten echter Anwender darauf trainiert wird, die typischen Greifarten solcher Patienten zu erkennen und diese in VR-Interaktionen umwandeln. Die ersten Ergebnisse waren ermutigend: „Die Patienten waren in der Lage, Rehabilitationsübungen in einer VR-Umgebung durchzuführen, in der sie motivierende Aufgaben wie Spiele spielen oder Blumen pflanzen durchführten“, berichtet Way.
VR-Interaktion in der Medizin-Ausbildung
Ein zweites großes Anwendungsgebiet ist die VR-gestützte Ausbildung, beispielsweise in der Industrie. Hier kann VirtualGrasp die Nutzung virtueller Werkzeuge oder medizinischer Instrumente realistischer gestalten, indem das System zuvor ein fundiertes Verständnis davon entwickelt, wie jedes Objekt gehalten und verwendet wird. Erste Testanwendungen damit laufen bereits: „SAAB Aeronautics testet VirtualGrasp aktiv für ein erweitertes VR-Training, bei dem Teilnehmende während des Montageverfahrens die Verwendung spezieller Werkzeuge und Ausrüstung erlernen“, sagt Way.
Ein weiterer Test läuft mit einem Ausbildungsdienstleister, der Arbeitskräfte für das Gesundheitswesen schult. „Das Training setzt das sorgfältige Hantieren mit komplexen medizinischen Instrumenten und Ausrüstung voraus, während die nachfolgenden Verfahren essenziell sind, um eine sterile Umgebung zu erhalten“, so Way. „Durch die Möglichkeit zur natürlichen Interaktion können Teilnehmende praktische Erfahrungen in Bereichen entwickeln, in denen der Zugang zu realen sterilen Umgebungen für Trainingszwecke problematisch ist.“
Tragbare Interaktionsflächen und semivirtuelle Kleidung
Nach einer weiteren Möglichkeit, VR-Erlebnisse noch immersiver und natürlicher zu machen, suchen Forschende im Projekt WEARTUAL. Ziel ist es, durch tragbare Technologien aus Körpern Benutzeroberflächen zu machen oder sogar semivirtuelle Kleidung zu erzeugen. Angelehnt ist diese Technik an die „Motion Capture“-Anzüge, mit deren Hilfe die Bewegungen von Schauspielern für Filme mit Computeranimationen digitalisiert werden.
„Wir konzentrieren uns dabei auf drei verschiedene Gebiete. Bei einem unserer Konzepte erkunden wir, wie unser Körper als Gerüst dienen kann, um hängende, schwebende und berührbare Benutzeroberflächen und somit realistischere und immersivere Erfahrungen zu erschaffen“, erklärt Oguz Buruk von der Universität Tampere. „Eine weitere konkrete Anwendung ist virtuelle Kleidung. Es gibt bereits mehrere Modemarken, die in virtuellen Umgebungen tragbare Kleidung verkaufen.“ Die Forschenden wollen demnächst erste Prototypen ihrer Technologien abschließen und diese unter anderem in Museen testen.
