Use Case gesucht?! Gefunden!
Die Apple Vision Pro revolutioniert seit ihrer Markteinführung die Art und Weise, wie wir mit digitalen Inhalten interagieren. Entwickler:innen stehen vor ganz neuen Herausforderungen.
Unser Werkstudent Noah hat sich im Rahmen seiner Bachelorarbeit intensiv mit der Portierung einer bestehenden mobilen App auf das Mixed-Reality-Headset Apple Vision Pro beschäftigt. Welche Herausforderungen Noah bei der Anpassung an die neueste Technologie von Apple gemeistert hat, erfahren Sie in diesem Artikel.
New Dimension App-Development: Das Bedienkonzept portieren
In unserem früheren Artikel „Die Zukunft des Produkt-Designs“ haben wir den Grundstein für das Projekt gelegt. Für einen Kunden haben wir zunächst eine Augmented-Reality-Plattform und die dazugehörige App entwickelt, damit per Tablet oder Smartphone mit digitalen Objekten interagiert werden kann. Zusätzlich hat unser Kunde die Möglichkeit erhalten, sich im Rahmen einer digitalen Schulung entsprechende Anleitungen bis hin zu Videotutorials einblenden zu lassen.
Apple Vision Pro: Nutzungsmöglichkeiten im Überblick
Die Apple Vision Pro kann auf zwei unterschiedliche Weisen genutzt werden:
- Die Anwendung wird auf einem projizierten Bildschirm angezeigt.
- Die Anwendung wird immersiv genutzt, um mit den Projektionen zu interagieren.
Öffnet man z. B. YouTube in der Apple Vision Pro, wird ein Bildschirm (wie eine riesige Leinwand) in den realen Raum projiziert, auf dem man sich das Video anschauen kann.
Im Vergleich zu den immersiven Apps, die die Apple Vision Pro bereits mitbringt, werden 3D-Objekte in den Raum projiziert, und man kann von hier aus mit ihnen interagieren. Ein Beispiel ist die Darstellung einer Turbine, die man durch Gestensteuerung auseinandernehmen kann.
Durch Betätigung des Buttons wird ein YouTube-Video geladen, wodurch personenbezogene Daten an einen Drittanbieter übertragen werden. Weitere detaillierte Informationen hierzu finden Sie in unserer Datenschutzerklärung.
Das Bedienkonzept der Apple Vision Pro: Eyetracking und Gestensteuerung
Herkömmliche Apps nutzt man auf einem Display, indem man mit einem Finger wischt und tippt. Bei einem Mixed-Reality-Headset ist das Erlebnis immersiv, sodass die gewohnten Touch-Konzepte nicht mehr anwendbar sind.
Apple nutzt Eye-Tracking, sodass Nutzer durch ihre Augenbewegungen Objekte selektieren können. Menüs können ausgewählt werden, ohne physische Bedienelemente zu benötigen. Somit ist eine besonders intuitive Steuerung und Immersion gewährleistet.
Noah ist es im Rahmen seiner Bachelorarbeit gelungen, das Bedienkonzept in unsere App zu integrieren. Dazu hat er den Code der damals entwickelten App der AR-Plattform als Grundlage verwendet und das Bedienkonzept an die neuen Anforderungen angepasst.
Der Benutzer kann nun seine eigenen 3D-Objekte in die Anwendung laden und mit ihnen durch Gesten interagieren. Standardfunktionen sind z. B. das Skalieren und Platzieren von Elementen. Auch das Zerlegen oder Zusammenbauen von Bauteilen ist möglich, was unser Kunde vor allem für interaktive Trainingszwecke nutzt.
Warum die Anpassung für die Apple Vision Pro entscheidend ist
Die zu portierende App ermöglicht es Nutzern, 3D-Modelle von Objekten aller Art im Raum zu betrachten und mit ihnen zu interagieren. Ursprünglich wurde die Anwendung für Smartphones und Tablets entwickelt und verwendet das .glTF-Format, ein gängiges Dateiformat für 3D-Modelle. Die Apple Vision Pro verwendet jedoch ein Format namens USDZ, das speziell für Augmented Reality (AR) und Virtual Reality (VR) optimiert ist und ein realistisches und intensives Erlebnis bietet.
Von .glTF zu USDZ: Einfluss des Dateiformats auf die App-Anpassung
Die große technische Herausforderung war die Umwandlung vom .glTF-Format in das USDZ-Format.
Natürlich ist es auch möglich, z. B. alle .glTF-Modelle einzeln mit einem Online-Umwandler in das USDZ-Format umzuwandeln. Dies ist jedoch mit einem sehr hohen Zeit- und Kostenaufwand verbunden und vor allem nicht vollständig automatisierbar.
Wir haben stattdessen einen Konverter entwickelt, der wie eine Übersetzungsschnittstelle funktioniert. Er wandelt die vorhandenen .glTF-Dateien automatisch in das USDZ-Format um und übergibt sie an die Vision Pro. So konnte die Anwendung nahtlos an die neue Umgebung angepasst werden, ohne dass grundlegende Änderungen an den Modellen und Dateien vorgenommen werden mussten.
Voraussetzungen für die Entwicklung von Apple-Apps: Xcode und macOS
Wer Apps für Apple-Geräte entwickeln möchte, sollte sich schnell mit der Apple-Entwicklungsumgebung Xcode vertraut machen. Denn Xcode läuft ausschließlich auf macOS, dem Betriebssystem der Apple-Computer.
Für die Entwicklung von Apps für das Mixed-Reality-Headset entwickelte Betriebssystem VisionOS ist macOS unerlässlich. Darüber hinaus können Apps nur mit MacBooks entwickelt werden, die bereits mit einem Apple-Silicon-Prozessor ausgestattet sind.
Warum Apple auf eine geschlossene Produktwelt setzt
Apple ist bekannt für seine geschlossene Produktwelt. Indem sie die Entwicklung von Apps an ihre eigene Hardware und Software koppeln, stellen sie sicher, dass alle Komponenten perfekt aufeinander abgestimmt sind. Diese Kontrolle ermöglicht es Apple, eine hohe Qualität und Sicherheit in ihren Produkten zu gewährleisten. Entwickler:innen, die Apps für iPhone, iPad oder die Vision Pro erstellen, arbeiten innerhalb eines kontrollierten Ökosystems. Dies minimiert Kompatibilitätsprobleme und gewährleistet ein reibungsloses Nutzererlebnis auf allen Geräten. Gleichzeitig stärkt es Apples Marktposition, da Entwickler:innen in ihre Infrastruktur investieren müssen.
Fazit: Smarte Lösungen für die App-Integration mit Apple Vision Pro
Die Anpassung der App an die Apple Vision Pro zeigt, wie wichtig technologische Flexibilität und gezielte Anpassungen sind. Dank des eigens entwickelten Konverters war es möglich, die App schnell und effizient in die immersive Welt der Vision Pro zu integrieren, ohne große Umstellungen vorzunehmen. Gleichzeitig verdeutlicht das Beispiel, wie Apples geschlossene Entwicklungsumgebung Entwickler:innen dazu zwingt, auf deren spezielle Tools und Hardware zu setzen – was jedoch auch Vorteile in Bezug auf Qualität und Nutzererlebnis mit sich bringt.
Bald werden wir mit dieser Technologie auch in der Lage sein, z. B. im Bereich der Architektur ganze Konstruktionen, Verrohrungen oder Verkabelungenvirtuell zusammenzusetzen, um so genauere Anforderungen im Voraus zu ermitteln. Ob in der Produktentwicklung, im Training oder im Bereich der Einrichtung – diese Technologie eröffnet ganz neue Wege und Möglichkeiten.
Die Zukunft des Spatial Computing ist vielversprechend, und Sie können gespannt sein, welche innovativen Entwicklungen uns mit der Apple Vision Pro noch erwarten!
