Wireless VR und Motion Capture auf dem HTC Vive-Gerät

  • Tutorial

Vorwort


Ich habe bereits über mein Impulsprojekt geschrieben .- Bewegungserfassung basierend auf Trägheitssensoren. Zunächst möchte ich mich bei allen bedanken, die ihr Feedback auf die eine oder andere Weise hinterlassen haben und das Projekt unterstützt haben. Ich muss sagen, dass das Projekt nicht viel weiterentwickelt wurde, das Driftproblem nicht durch 9-Achsensensoren gelöst wurde, aber die Kompensation mit dem digitalen Kompass half sehr, und die Verwendung der einfachen optischen Verfolgung (z. B. 2 LED-Markierungen am Kopf) ermöglicht es, den durchschnittlichen Driftwert zu erhalten. Aber heute geht es nicht darum. Ich möchte über die relativ kostengünstige Bewegungserfassung für Virtual-Reality-Systeme auf HTC Vive-Basis ohne Sammelbetrieb und Lötkolben sowie über die Beseitigung des Drahtes sprechen, der unweigerlich den Kopf und den Computer verbindet, was eine Menge Unannehmlichkeiten verursacht. Ich erzähle Ihnen auch, wie wir eine Tracking-Fläche von ~ 80 Quadratmetern erreicht haben.

Lass uns anfangen


Das System funktioniert auf dem HTC Vive-Gerät. Dies ist ein normaler Helm, 2 Controller und 2 Basisstationen. Ich empfehle das HTC Vive 2 zu kaufen . Es zeigte sich gut, wahrscheinlich aufgrund der aktualisierten Basisstationen. Jetzt ist der Preis auf 50 Tausend Rubel reduziert.

Zusätzlich zum Standard-Set empfehle ich das VIVE Deluxe Audio- Add-On . Dies ist nicht nur ein Kopfhörer (was bereits bequem ist), sondern eine äußerst bequeme Lösung für einen bequemeren Gebrauch des Helms. Besonders wichtig ist dieser Zusatz, wenn der Helm von mehreren Spielern oder Besuchern der Attraktion verwendet wird. Diese Halterung kann das Funksystem zuverlässig montieren und sieht cool aus:
Bild

VIVE Deluxe Audio . Ausgabepreis von 10 Tausend Rubel.

Nieder mit dem Draht


Zunächst müssen Sie diese „Leine“ abbrechen und echte Freiheit im VR-Raum ohne schwere und erwärmte Laptops hinter Ihrem Rücken spüren. Dazu benötigen Sie ein Addon TPCast - ein Gerät, mit dem Vive in den Wireless-Modus wechseln kann.
Bild

TPCast . Fertigstellung

Das gesamte System besteht aus mehreren Modulen, mehr zu jedem:

Empfänger
Bild

Perfekt auf VIVE Deluxe Audio montiert. Es ist mit kurzen Drähten USB und HDMI an den Helm angeschlossen, die anderen beiden Drähte (USB und Stromversorgung) sind mit dem Adapter an die Batterie angeschlossen.

Power-Box
Bild

Als Nächstes müssen Sie die Standard-Vive-Linkbox ablegen und das folgende Modul (Sender) direkt über HDMI an Ihren Computer anschließen:

Sender
Bild
Sie können ein Standardkabel oder 10-Meter-HDMI-Kabel verwenden. Die Stromversorgung von der Standard-Linkbox muss an den TPCast-Sender angeschlossen werden. Ich sollte beachten, dass Sie die Kombination mit der Linkbox verwenden können, indem Sie einfach den Sender anstelle des Helmes anschließen (ohne eines der drei Kabel - USB). Der Sender sollte an einer Stelle im Raum aufgestellt werden, an der der Helm immer sichtbar ist Da der Sender bei hohen Frequenzen arbeitet, stört jedes Hindernis die Übertragung des Signals, d. H. Derselbe Kopf, wenn sich die Person abwendet. Mit anderen Worten, sorgen Sie für direkte Sichtbarkeit. Die beste Option ist, den Sender genau in der Mitte des Raums an der Decke zu platzieren und senkrecht zum Boden zu senden.

Das ist noch nicht alles, das Kit hat auch einen Router, der im Zusammenhang mit der Internetverbindung des PCs angeschlossen werden sollte. Setzen Sie einfach ein Ethernet-Kabel an den WAN-Port des Routers und verbinden Sie den PC über das LAN mit dem Router. Wenn eine solche Verbindung nicht akzeptabel ist, sollte eine zusätzliche Netzwerkkarte verwendet werden. Nun ist fast alles fertig, es muss nur noch die Software und Treiber von der offiziellen TPCast-Website heruntergeladen werden:

Assistent für drahtlose Verbindungen für VIVE
Bild

Nach der Installation werden Sie von der Anwendung aufgefordert, Daten einzugeben, um eine Verbindung zum Zugangspunkt herzustellen. Login und Passwort sind auf dem Aufkleber auf dem Adapter für die Batterie angegeben. Dann müssen Sie nur auf Start klicken und SteamVR nach einer erfolgreichen Verbindung starten. Wenn etwas schief gelaufen ist, befindet sich im rechten oberen Menü ein Eintrag Kanal wechseln. Im Allgemeinen ist es einfach, den Verbindungsverlust auf Knopfdruck wiederherzustellen. Sie können die Batterie auch im Handumdrehen austauschen.

Schaltplan
Bild

Bild
TPCast zusammengebaut . Ausgabepreis von 35-40 Tausend Rubel, aber hier sind die Merkmale:

  • 2K-Auflösung (typisch für HTC Vive)
  • 90 FPS
  • Verzögerung von weniger als 2ms

Für den Heimgebrauch ist es natürlich unpraktisch, es ist möglich, den Draht zu erleiden, aber für eine kommerzielle Lösung ist dies eine großartige Option, insbesondere wenn Sie den Überwachungsbereich erweitern.

Jetzt können Sie versuchen, auf Steam Home zu gehen und sich nicht an Draht, Knicke, Knoten und mehr zu erinnern, es sei denn, der Akku ist aufgeladen, und es ist besser, zusätzliche zu kaufen. Sie reichen für 4-5 Stunden aktiven Einsatz.

Wir gehen über die Grenzen des Zulässigen hinaus


Ohne Kabel werden Sie sich schnell verkrampft fühlen, vielleicht möchten Sie einen Spaziergang machen, aber auf 16 Quadratmetern wird dies nicht gelingen. Das erste, was Sie brauchen, ist ein Raum (100 Quadratmeter passen) und mit höheren Decken (3,5 Meter). Das ist am schwierigsten. Der TPCast-Sender befindet sich in der Mitte der Raumdecke. An der Seite unter der Decke befinden sich Basisstationen des HTC Vive. der Abstand zwischen - 5 m, so dass sich die Stationen auf derselben Linie befinden (senkrecht zu den beiden Wänden und parallel zu den beiden anderen) und durch die Raummitte (in der Mitte des Senders) verlaufen. Als nächstes muss die Station in einem Winkel von 30 Grad zueinander geneigt werden (dh sie sind zu einem größeren Grad auf den Boden gerichtet).

Die Stationen müssen zur Synchronisierung mit einem Draht verbunden sein (die Optik funktioniert nicht stabil), die Kanäle der Stationen sind auf A und b eingestellt. Kalibrieren Sie den Raum nach der Installation standardmäßig. Es ist erwähnenswert, dass es in der Phase des Aufbaus des Chaperones (das blaue Gitter, das die Grenzen des realen Raums angibt) den erweiterten Modus auswählt, in dem Sie nur die Ecken des Raums angeben können. Das Gitter ist ein flaches Quadrat. Der Spielbereich ist besser in der Mitte platziert. Diese Konfiguration bietet einen großen Bereich ausreichend genauer Verfolgung mit einer minimalen Anzahl von Blindzonen und ermöglicht Ihnen die effektive Verwendung normaler Stationen. Vor dem Tauchen empfehle ich, die OpenVR Advanced-Einstellungen zu installieren, ihre Schnittstelle wird direkt im VR-Bereich des Standardmenüs verfügbar sein. Diese Einstellungen verbessern die Auflösung, die Überabtastung und die Konfiguration des Chaperones (Aktivierungsbereich, Farbe, Höhe, Sichtbarkeit usw.). Natürlich können Sie immer noch mit der Platzierung von Basisstationen herumspielen, den Neigungswinkel oder einen kleinen Abstand zwischen ihnen für einen bestimmten Raum ändern. Das Ergebnis ist beeindruckend. Das Standard Steam Home kann sich bewegen, ohne an Teleportation zu denken. In den meisten Spielen ist dieser Bereich mehr als genug. Im November droht Vive die Unterstützung für das Arbeiten mit einer großen Anzahl von Basisstationen, aber es ist noch nicht klar, ob die derzeitige Ausrüstung mehr als zwei aufnehmen kann oder ob nur neue Helme und Controller dazu in der Lage sind.

Hör auf, ein Geist zu sein


Im Allgemeinen können alle VR-Spiele als ein einziges Subgenre definiert werden - „Geister-Simulator“. Sie können Objekte aufnehmen, sie ansteuern und so weiter. Es gibt Ausnahmen, bei denen Sie Ihren festen Körper sehen können, der sehr dissonant ist. Um einen wirklich bewegten Körper zu einem virtuellen Protagonisten zu zeichnen, benötigen Sie etwas aus dem Bereich der Bewegungserfassung. Das Erfassen von Bewegung ist nicht das billigste Vergnügen, wenn Sie die myopische Verbindung und dergleichen ablehnen, was in diesem Bereich des Trackings unwirksam ist. Zwei Dinge kommen zur Rettung - das HTC Vive Tracker und die inverse Kinematik (IR). Die erste ist erforderlich, um die Position von Objekten im Verfolgungsbereich zu bestimmen, und die zweite, um die Position des Körpers im virtuellen Raum neu zu erstellen, wobei die Position von nur 6 Punkten bekannt ist (dies ist das Minimum für einen ganzen Körper).

Bild
Vive Tracker. Der Tracker kostet etwa 8 Tausend Rubel.

Für das Minimum-Set benötigen Sie 3 solcher Tracker. Im Allgemeinen handelt es sich dabei um dieselben Standard-Controller, die nur zugeschnitten sind und sich in einem etwas anderen Gehäuse befinden. Jeder dieser Tracker ist in SteamVR definiert. Der einzige Unterschied besteht darin, dass Sie spezielle Dongles (mitgeliefert) benötigen, um sie anzuschließen, obwohl Sie sie anstelle von Controllern an den Helm binden können. Auf der Rückseite befindet sich das Pad zum Anschließen benutzerdefinierter Tasten (Sie können den USB-Anschluss des Trackers verwenden). Es kann eine Abzugspistole sein, ein Knopf zum Aktivieren des Lichtschwerts, alles andere. Das Drücken solcher Tasten wird wie das Drücken der Tasten auf dem Controller behandelt. Aus Sicht der Entwicklung von Software gibt es keinen Unterschied. Im Allgemeinen können sie verwendet werden, um Spielobjekte wie Waffen oder Werkzeuge, sogar Möbel und Türen zu verfolgen. Wir sind jedoch daran interessiert, Bewegungen zu erfassen.

Bild

Es ist möglich, die Position des Kopfes mit Hilfe eines Helms an den Händen zu bestimmen - mit Hilfe von Controllern. 2 Tracker sollten auf dem Schuh (auf den Füßen) platziert werden, der Rest fühlt sich am Gürtel hinten gut an. Mit diesem Setup können Sie einige Spiele spielen, die diese Konfiguration unterstützen. Wenn wir jedoch über die Entwicklung Ihrer Software sprechen, werden für die Charakteranimation IR-Lösungen benötigt. Der Hauptunterschied zwischen der inversen Kinematik und der geraden Linie besteht darin, dass bei einer geraden Linie die Position unter Kenntnis der Winkel berechnet wird und im umgekehrten Fall die Winkel unter Kenntnis der Position berechnet werden. Daher kann ein sehr einfaches Modell von Ihnen selbst erstellt werden, indem Sie die Position zweier Gelenke kennen, um ein Zwischengelenk zu berechnen, und dabei berücksichtigen, wie sich der menschliche Körper normalerweise verbiegt. Es gibt aber fertige Lösungen wie Final IK , VRIKund andere prozedurale Animationswerkzeuge. Es gibt Studios, die Lösungen dieser Art anbieten. Eine davon ist IKinema und sein Produkt mit dem Namen Project Orion - eine Software, mit der Sie Bewegungen auf Basis der von SteamVR erhaltenen Daten erfassen und über das VRPN- Protokoll in jede andere Anwendung übertragen können (für Unity und Unreal gibt es fertige Plug-Ins und Assets). Für eine Budgetlösung ist es besser, die vorherigen Tools zu verwenden, die sich recht gut zeigen.

Bild

IKinema Orion (Video)

Außerdem kann die resultierende Animation bereits in der Engine geringfügig bereinigt werden, obwohl Orion damit fertig wird, den Schlupfanschlag entfernen und die Kompensation für die Unebenheit des virtuellen Bodens berechnen. IKinema hat eine Lösung in Form eines Plug-Ins für Unreal:

LiveAction

Im großen und ganzen lösen Plug-Ins solche Aufgaben und noch einfacher, sogar kostenlose.
Um die Bewegungen der Finger festzuhalten, lösen sich diese Handschuhe beispielsweise ab:

Bild
Manus VR

Fazit


Heutzutage wird das Erfassen von Bewegung sowie die virtuelle Realität zugänglicher, was sicherlich gefällt. Eine Reihe von Spielen wird kommen, in denen die Tracker und Animationen der Hauptfigur entsprechend den Bewegungen des Spielers unterstützt werden. Natürlich ist das alles noch nicht so bequem und erschwinglich, wie wir möchten, aber es ist jetzt schon möglich, ein solches System zu relativ geringen Kosten zusammenzubauen. Zu sagen, dass ein Massenspieler es sich leisten kann, seinen Spielraum auf diese Weise auszustatten, ist nicht notwendig, aber in Form einer Anziehungskraft wird dies ein qualitativ neues Niveau sein.

Einige Anmerkungen:

Um den Draht aufzugeben, ist der Draht im Allgemeinen mehr geworden.
Nachdem Sie einen virtuellen Körper erworben haben, scheint der Grad des Realismus zuzunehmen, doch das Sehen Ihres sich bewegenden Schattens im virtuellen Raum ist immer noch eine Herausforderung für das Gehirn. Schwindelgefühle beginnen. Daher ist es besser, diese Funktion abzuschalten. Dies ist individuell.

Mit der Verfolgung von Körper und Objekten gibt es viele Möglichkeiten mechanische und immersive Wirkung im Allgemeinen.

Das Ergebnis der Montage eines solchen Systems auf Video am Anfang des Beitrags. Auch ein Beispiel für eine Charakteranimation in Echtzeit:


Jetzt auch beliebt: