Outils pour utilisateurs

Outils du site


pose_estimation_avec_opencv

Ceci est une ancienne révision du document !


Pose Estimation ou Détection d'un squelette dans une image

Une pin-up pour vendre le tuto !

Une pin-up pour vendre le tuto !

Ce sujet est très actuel, un concours a eu lieu en 2019. Nous allons essayer de trouver, construire un projet qui détecterait un squelette, envoie les datas en OSC pour les visualisent dans Blender, les exploiter dans PureData ou autre ….

Des collections de données, des concours

Principes

Des datas

Data Sets

COCO

MPI Human Pose

Human Pose Evaluator Dataset

Les normes COCO et MPI

Un squelette de kinect et COCO MPI Keypoints

OpenCV blobFromImage

La documentation

Exemple

Il faut télécharger les Model Weights: ce sont des *.caffemodel de GoogLeNet trained network de caffe.berkeleyvision.org
Les models sont trouvable à: kaggle.com model_zoo puis installer venv et opencv-python, tester avec le script OpenPoseImage.py: ça marche très bien mais le calcul demande 1,2 seconde sur mon PC sans GPU ! Le résultat est l'image en début d'article.

Capture avec RealSense D455, Caffe Model et OpenCV

Sans GPU, avec CPU

Marche bien mais le FPS = 0.7 sur mon portable avec les 4 CPU à fond: normal les fichiers de poids font 200 Mo, c'est beaucoup trop m(

Avec GPU: GTX 1060

La compilation fût laborieuse mais le résultat est bluffant.

Détection de squelette avec capteur RealSense et visualisation dans le Blender Game Engine

Kinect V2

Capture du personnage et envoi du skeleton en OSC avec NImate de Delicode, logiciel propriétaire, utilisation possible sans Licence mais avec des limitations (un seul squellette …)

Réception des messages osc avec oscpy dans Blender BGE 2.79b

Addons pour Blender

Autres trucs

OpenPose

  • openpose de CMU Perceptual Computing Lab @GitHub: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation with only one camera. Whole-body (Body, Foot, Face, and Hands) 2D Pose Estimation and Whole-body 3D Pose Reconstruction and Estimation.

OPT

Logiciels propriétaires payants

Nuitrack 60 €

  • Nuitrack™ is a 3D tracking middleware developed by 3DiVi Inc. This is a solution for skeleton tracking and gesture recognition that enables capabilities of Natural User Interface (NUI) on Android, Windows, and Linux.

Cubemos 75 €

pose_estimation_avec_opencv.1617884694.txt.gz · Dernière modification : 2021/04/08 12:24 de serge