Filmora
Filmora - KI Video Editor
Gespenstische Halloween KI Video Magie
ÖFFNEN
Filmora Video Editor
Erstellen Sie mühelos Videos mit KI.
  • Verschiedene KI-Tools zur Steigerung der Effizienz bei der Videoerstellung.
  • Bieten Sie beliebte Vorlagen und lizenzfreie kreative Ressourcen an
Empfohlen von endorse

Der vollständige Leitfaden zum Handtracking und seinen Arten 2023

Maria Wiedermann
Maria Wiedermann Veröffentlicht am 04-11-2022, Aktualisiert am 12-03-2024

Im Zeitalter des Fortschritts ist Hand Tracking eine faszinierende Technologie mit einer Vielzahl von Anwendungsmöglichkeiten sowohl in der virtuellen als auch in der augmentierten Realität.

Hand Tracking ist ein Verfahren, mit dem ein Computer die Bewegungen der Hände einer Person analysieren und interpretieren kann. Dies kann mit verschiedenen Geräten geschehen, z.B. mit intelligenten Handschuhen, die oft auch als Datenhandschuhe bezeichnet werden.

In diesem Artikel befassen wir uns mit der Technologie des Hand Tracking, ihren verschiedenen Anwendungen und wie man sie mit Python, OpenCV und Media Pipe erstellt.

In diesem Artikel
  1. Was ist Handtracking? Wo wird das angewendet?
    1. Tracking mit Interface
    2. Tracking ohne Interface
    1. Was ist OpenCV
    2. Was ist Media Pipe
    3. Anleitung mit Schritten
  2. Benutzen von Filmora, um Ihre Hand Tracking Fähigkeit zu demonstrieren

Teil 1. Was ist Handtracking? Wo wird es angewendet?

Hand Tracking bezieht sich auf den Prozess der Verfolgung der Position und Bewegung der Hände eines Benutzers in der virtuellen Realität. Dies geschieht in der Regel mit einer Kombination von Sensoren, einschließlich Kameras, Infrarotsensoren oder Ultraschallsensoren.

Indem sie die Hände des Benutzers verfolgen, können VR-Systeme ein intensiveres und interaktiveres Erlebnis bieten. Hand Tracking kann zum Beispiel verwendet werden, um Nutzern die Interaktion mit virtuellen Objekten zu ermöglichen und um Eingaben für Gesten und Körpersprache zu liefern.

Das Oculus Quest 2 ist ein Virtual-Reality-Headset, das Sie in virtuelle Welten eintauchen lässt. Eine der coolsten Funktionen der Quest 2 ist das Hand Tracking, mit dem Sie mit Ihren Händen mit der virtuellen Welt um Sie herum interagieren können.

Mit Hand Tracking können Sie natürlicher und intuitiver mit der virtuellen Welt interagieren. Sie können Ihre Hände benutzen, um Objekte aufzunehmen, zu zeichnen und sogar auf einer virtuellen Tastatur zu tippen. Darüber hinaus eröffnet es neue Möglichkeiten für das Gameplay und erlaubt es Ihnen, Spiele auf neue und innovative Weise zu spielen.

Teil 2. Arten von Handtracking

Es gibt zwei Haupttypen von Hand Tracking: mit Interface und ohne Interface:

Tracking mit Interface

Beim Interface Hand Tracking müssen Sie ein Gerät wie einen Handschuh oder einen Controller verwenden, um mit der virtuellen Welt zu interagieren. Dies kann in VR- oder AR-Anwendungen verwendet werden. Sie ist außerdem in zwei Systeme unterteilt:

1. Inertial Motion Capture Handschuhe

Inertiale Motion Capture-Handschuhe verwenden Inertial Measurement Units Sensoren oder IMUs mit eingebauten Sensoren, um die Bewegungen Ihrer Hände zu verfolgen. Zu diesen Sensoren gehören Gyroskope, Beschleunigungsmesser und manchmal auch Magnetometer zur Messung der Winkelgeschwindigkeit, zur Erfassung der Schwerkraft und Beschleunigung bzw. zur Messung des Erdmagnetfelds.

Diese Handschuhe können für eine Vielzahl von Zwecken verwendet werden, z.B. für Spiele, virtuelle Realität und Motion Capture für Filme und Videospiele. Inertial Motion Capture Handschuhe werden immer beliebter, da sie ein immersiveres Erlebnis bieten als herkömmliche Controller.

2. Optische Bewegungserfassungssysteme

Optische Bewegungserfassung ist ein Verfahren, das Kameras und reflektierende Sensoren verwendet, um Bewegungen im dreidimensionalen Raum zu verfolgen. Diese Systeme werden häufig in Filmen und Videospielen eingesetzt, um realistische Animationen zu erzeugen.

Optische Bewegungserfassungssysteme strahlen Infrarotlicht von der Kamera aus. Die Markierungen reflektieren Licht, das dann von Kameras erfasst wird. Die Bewegung der Marker wird dann verwendet, um ein dreidimensionales Modell des Objekts zu erstellen.

Je mehr Kameras verwendet werden, desto genauer sind die Ergebnisse. Diese Technologie ist zwar sehr präzise, kann aber durch Faktoren wie Körperhaltung und Bewegung eingeschränkt werden.

Tracking ohne Interface

Diese Art des Hand Tracking, auch bekannt als markerloses Hand Tracking, ermöglicht es dem Benutzer, seine Handbewegungen ohne externe Marker oder Datenhandschuhe zu verfolgen. Das bedeutet mehr spontane Interaktion und Bewegungsfreiheit. Dies könnte enorme Auswirkungen auf alle Bereiche haben, von Spielen über virtuelle Realität bis hin zur Interaktion zwischen Mensch und Computer.

Im Moment befindet sich das markierungsfreie Hand Tracking noch im Anfangsstadium und weist einige Einschränkungen auf. Da sich diese Technologie jedoch weiter entwickelt, werden wir in Zukunft wahrscheinlich immer mehr Anwendungen dafür sehen.

Teil 3. Verwendung von Python, OpenCV und MediaPipe zur Erstellung eines Hand-Trackings

Oben haben wir gelernt, was Hand Tracking ist und welche zwei Arten es gibt. Sehen wir uns nun an, wie wir mit zwei Python-Bibliotheken - OpenCV und MediaPipe - eine Handverfolgung erstellen können.

Bevor wir uns näher mit ihnen befassen, sollten wir kurz etwas über Python erfahren. Python ist eine vielseitige Sprache, die für eine breite Palette von Aufgaben verwendet wird, einschließlich Bildverarbeitung und Computer Vision. Wir werden Python und zwei Python-Bibliotheken verwenden: OpenCV und MediaPipe, um ein Hand-Tracking-Modul zu erstellen.

Was ist OpenCV

Um ein tieferes Verständnis von OpenCV zu erhalten, lesen Sie bitte unseren Artikel: Opencv Tracking, ein vollständiger Überblick.

Was ist Media Pipe

Media Pipe ist ein Open-Source-Framework von Google, das eine Reihe von Tools für die Arbeit mit Multimediadaten oder die Medienverarbeitung bietet. Es enthält Module für die Bearbeitung von Audio, Video und Bildern. Media Pipe unterstützt auch verschiedene Codecs und Dateiformate.

Die Erstellung eines Hand-Tracking-Programms mit MediaPipe erfolgt in zwei Schritten:

  1. Handflächenerkennung: In der ersten Phase muss MediaPipe mit dem gesamten Eingabebild arbeiten und ein zugeschnittenes Bild der Hand erstellen.
  2. Identifizierung von Handmerkmalen: In der zweiten Phase arbeitet das System mit dem ausgeschnittenen Bild der Hand, um 21 Handmerkmalen zu finden.

Anleitung mit Schritten

Bevor Sie mit der Erstellung von Hand Tracking beginnen, müssen Sie die Pycharm IDE App auf Ihrem PC installieren. Starten Sie sie nach der Installation und folgen Sie Schritt für Schritt diesen Anweisungen:

Installieren Sie OpenCV und MediaPipe

Klicken Sie auf die Option "Neues Projekt" und wählen Sie im nächsten Fenster "Erstellen". Öffnen Sie das Terminal, um die beiden Bibliotheken zu installieren.

Kopieren Sie den folgenden Befehl und fügen Sie ihn in das Terminal ein, um OpenCV zu installieren:

Um nun MediaPipe zu installieren, kopieren Sie den folgenden Befehl und fügen ihn ein:

Coding

Eine main.py-Datei zum Schreiben von Code wird automatisch in der Pycharm-App erstellt, sobald Sie ein neues Projekt erstellen.

Schritt 1 Die Bibliotheken importieren

Importieren Sie zunächst OpenCV und MediaPipe, um deren Abhängigkeiten zu nutzen. Erstellen Sie anschließend ein Objekt Cap für die Videoaufnahme und drei weitere Objekte: mpHands, Hands und mpDraw, um Ihre Eingaben mit MediaPipe zu bearbeiten.

Schritt 2 Erfassen und Verarbeiten einer Bildeingabe

Kopieren Sie die folgende Codezeile und fügen Sie sie ein, um das Bild von Ihrer PC-Webcam zu übernehmen.

Das Bild wird von BGR in RGB konvertiert, da MediaPipe mit diesem Bildtyp arbeitet. Das RBG-Bild wird dann verarbeitet, um die Hand zu verfolgen.

Schritt 3 Mit beiden Händen arbeiten

Erstellen Sie nun eine Klasse für die Nachverfolgung und geben Sie die grundlegenden Parameter ein, damit die Hände Funktion funktioniert. Als nächstes stellen Sie alle erforderlichen Initialisierungen bereit. Dazu gehören die grundlegenden Parameter und MediaPipe-Initialisierungen. Setzen Sie "self" vor jedes Objekt, um den Zugriff auf seine Attribute und Methoden zu ermöglichen.

Schritt 4 Methode zur Verfolgung von Händen im Eingabebild

Verwenden Sie anschließend den obigen Code, um eine Methode zu erstellen, die speziell zur Identifizierung von Händen im Eingabebild verwendet wird. Der Code zeichnet auch Handmarkierungen und Handverbindungen.

Schritt 5 Suchen Sie die X- und Y-Koordinaten jedes Handpunktes

Um eine Methode zur Ermittlung der x- und y-Koordinaten der z21-Handpunkte und eine Liste zu erstellen, in der Sie die Werte dieser Punkte speichern, schreiben Sie den folgenden Code:

Verwenden Sie bei dieser Methode den Code, den Sie verwendet haben, um die ID und die Handmarkierung jedes Handpunktes zu finden. Geben Sie außerdem den Code ein, den Sie zum Einkreisen des Handpunkts verwenden.

Schritt 6 Hauptmethode

Schreiben Sie nun den folgenden Dummy-Code, um zu zeigen, was das Modul kann, nämlich die Hände identifizieren und verfolgen. Der Code erscheint in der Hauptmethode und verwendet das Objekt lmlist und das Bild.

Schritt 7 Ausführung der Hauptmethode

Um die Hauptmethode auszuführen, kopieren Sie die folgenden Codezeilen und fügen sie ein:

Schritt 8 Ergebnis

Das Modul und die Ausgabe des Programms sind identisch und wenn sie ohne Fehler abgeschlossen sind, erhalten Sie Ihre Ausgabe, d.h. das Modul verfolgt und identifiziert Ihre Handbewegungen ohne jegliche Störung.

Teil 4. Benutzen Sie Filmora, um Ihre Hand Tracking Fähigkeiten zu demonstrieren.

Nach dem, was oben erklärt wurde und was Sie jetzt gelernt haben, hoffen wir, dass Sie mit dem Wissen über Handtracking-Module ausgestattet und bereit sind, aktiv zu werden. An dieser Stelle möchten wir Ihnen auch ein benutzerfreundliches und professionelles Videobearbeitungsprogramm empfehlen, mit dem Sie Ihre Handbewegungsszene zeigen können - Filmora!

Filmora ist für alle Arten von Benutzern verfügbar. Sie können damit ganz einfach Ihr Video bearbeiten, Effekte hinzufügen und natürlich Ihre Handbewegungen einfügen.

Erfahren Sie mehr über Filmora:

Kostenloser Download 
Kostenloser Download 

Fazit

In diesem Artikel haben wir uns mit dem Hand-Tracking und seinen beiden Arten beschäftigt, d.h. dem Tracking mit Interface und dem Tracking ohne Interface. Außerdem haben wir Ihnen eine schrittweise Anleitung zur Verwendung von Python, OpenCV und MediaPipe gegeben, um ein Hand-Tracking-Modul zu erstellen.

Wir hoffen, dass diese Anleitung Ihnen geholfen hat, Ihre Fragen zu klären, und dass Sie jetzt im Handumdrehen ein Hand-Tracking-Modul erstellen können. Und probieren Sie Filmora aus, um ein zauberhaftes Video mit Ihren Hand-Tracking-Szenen zu erstellen!

Maria Wiedermann
Maria Wiedermann Redakteur
Weiterteilen:
Weiterteilen:
filmora logo filmora logo
  • ㆍViel Zeit sparen und Videoqualität verbessern mit KI-Tools.
  • ㆍAnsprechende, hochwertige Videos für soziale Medien produzieren.
  • ㆍ10+ Milliarden Stock Medien 😆
  • Mehr Info >>
100 % Sicherheit | Ohne Werbung