Une pin-up pour vendre le tuto !

Ce sujet est très actuel, un concours a eu lieu en 2019. Nous allons essayer de trouver, construire un projet qui détecterait un squelette, envoie les datas en OSC, les visualisent dans Blender.

• List of datasets for machine-learning research @ wikipedia.org

• Common Object in Context. COCO is a large-scale object detection, segmentation, and captioning dataset.
• COCO 2019 Keypoint Detection Task Le concours de détection de squelette

• human-pose du Max Plant Institut

• MPII Human Pose dataset is a state of the art benchmark for evaluation of articulated human pose estimation

• Image_Pose.py @ github.com/kunjshah2511

Les points sont les articulations. Les os sont définis par des couples de points. Facile

if MODE is "COCO":
    nPoints = 18
    POSE_PAIRS = [[1, 0], [1, 2], [1, 5], [2, 3], [3, 4], [5, 6], [6, 7], [1, 8], [8, 9], [9, 10], [1, 11],
                  [11, 12], [12, 13], [0, 14], [0, 15], [14, 16], [15, 17]]
 
elif MODE is "MPI":
    nPoints = 15
    POSE_PAIRS = [[0, 1], [1, 2], [2, 3], [3, 4], [1, 5], [5, 6], [6, 7], [1, 14], [14, 8], [8, 9], [9, 10],
                  [14, 11], [11, 12], [12, 13]]

Cubemos utilise le MODE COCO.

• Human Pose Estimation using OpenCV in Deep Learning @ medium.com/analytics-vidhya
• openpose de CMU Perceptual Computing Lab @GitHub: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation with only one camera. Whole-body (Body, Foot, Face, and Hands) 2D Pose Estimation and Whole-body 3D Pose Reconstruction and Estimation. Projet complet, riche, bien documenté.
• 3D Skeleton Tracking & Pose Recognition with OPT A voir pour Pose Recognition

• Deep Learning based Human Pose Estimation using OpenCV @ learnopencv.com et le github.com/spmallick

• Intel Realsense

• OpenNI or Open Natural Interaction (@en.wikipedia.org) est une organisation à but non lucratif dirigée par l'industrie et un projet de logiciel open source axé sur la certification et l'amélioration de l'interopérabilité des interfaces utilisateur naturelles et des interfaces utilisateur organiques pour les périphériques Natural Interaction (NI), les applications qui utilisent ces périphériques et les intergiciels qui facilitent l'accès et l'utilisation de ces appareils.

• https://structure.io/openni

intelrealsense.com

• Installation du driver et des libs Intel Realsense
• Intel® RealSense™ SDK 2.0 and OpenNI2®
• Start building your own depth applications
• intelrealsense.com/openni2-for-intel-realsense-sdk

github.com

• Installation du RealSense2 OpenNI2 driver. Télécharger OpenNI2 SDK, puis sudo ./intall.sh dans le dossier
• API python de librealsense pour les capteurs Intel. Donne le code pour récupérer les images des capteurs RealSense, en python avec openCV.

• Nuitrack™ is a 3D tracking middleware developed by 3DiVi Inc. This is a solution for skeleton tracking and gesture recognition that enables capabilities of Natural User Interface (NUI) on Android, Windows, and Linux.

• Skeleton Tracking de Cubemos Logiciel propriétaire