Différences

Ci-dessous, les différences entre deux révisions de la page.

--- detection_d_un_squelette_dans_une_image [2021/03/17 14:24] – [Ressources libres, open sources, gratuites] serge
+++ pose_estimation_avec_opencv [2021/12/14 09:19] (Version actuelle) – ↷ Liens modifiés en raison d'un déplacement. serge
@@ Ligne 1: / Ligne 1: @@
-====== Détection d'un squelette dans une image ======
+====== Pose Estimation avec OpenCV======
+<WRAP center round box 80% centeralign>
+**{{tagpage>skeleton camera3D|Les pages sur les caméras 3D et la détection de squelette}}**     **[[http://translate.google.com/translate?hl=&sl=auto&tl=en&u=https%3A%2F%2Fressources.labomedia.org%2Fpose_estimation_avec_opencv|English Version]]**
+</WRAP>
-<WRAP center round box 60% centeralign>
+<WRAP group>
-**{{tagpage>ia|Intelligence Artificielle}}**     **[[http://translate.google.com/translate?hl=&sl=auto&tl=en&u=https%3A%2F%2Fressources.labomedia.org%2Fdetection_d_un_squelette_dans_une_image|English Version]]**
+<WRAP>
+{{ :media_14:output-skeleton_pinup.jpg?200 |Une pin-up pour vendre le tuto !}}
 </WRAP>
-<WRAP center round box 60% centeralign>
+<WRAP centeralign>
-**[[les_pages_intelligence_artificielle_en_details|Les Pages Intelligence Artificielle en détails]]**
+Une pin-up pour promouvoir le tuto !
 </WRAP>
+</WRAP>
+{{ :media_15:img_0005.jpg?600 |}}
+=====OpenCV blobFromImage=====
+====La documentation====
+  * **[[https://docs.opencv.org/4.5.1/d6/d0f/group__dnn.html#ga29f34df9376379a603acd8df581ac8d7|blobFromImage()]]** à docs.opencv.org
-Une pin-up pour vendre le tuto !
+====Exemple====
-{{ :media_14:openpose_gif.png?400 |}}
+  * **[[https://learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/|Deep Learning based Human Pose Estimation using OpenCV]]** @ learnopencv.com et le [[https://github.com/spmallick/learnopencv/tree/master/OpenPose|OpenPose @ github.com/spmallick]] L'article et le code python pour tester.
-**Ce sujet est très actuel, un concours a eu lieu en 2019. Nous allons essayer de trouver, construire un projet qui détecterait un squelette, envoie les datas en OSC, les visualisent dans Blender.**
-=====Des collections de données, des concours=====
-====Des datas====
-  * **[[https://en.m.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research|List of datasets for machine-learning research]]** @ wikipedia.org
-====Projets====
-===COCO===
-  * [[https://cocodataset.org/#home|Common Object in Context]]. COCO is a large-scale object detection, segmentation, and captioning dataset.
-  * [[https://cocodataset.org/#keypoints-2019|COCO 2019 Keypoint Detection Task]] **Le concours de détection de squelette**
-===MPII Human Pose===
-  * [[http://human-pose.mpi-inf.mpg.de/|human-pose du Max Plant Institut]]
-===Human Pose Evaluator Dataset ===
-  * [[https://www.robots.ox.ac.uk/~vgg/data/pose_evaluation/|MPII Human Pose dataset is a state of the art benchmark for evaluation of articulated human pose estimation]]
-====Les normes COCO et MPI====
-  * [[https://github.com/kunjshah2511/Human-Pose-Estimation/blob/master/Image_Pose/Image_Pose.py|Image_Pose.py]] @ github.com/kunjshah2511
-Les points sont les articulations. Les os sont définis par des couples de points. Facile 8-)
-<code python>
-if MODE is "COCO":
-    nPoints = 18
-    POSE_PAIRS = [[1, 0], [1, 2], [1, 5], [2, 3], [3, 4], [5, 6], [6, 7], [1, 8], [8, 9], [9, 10], [1, 11],
-                  [11, 12], [12, 13], [0, 14], [0, 15], [14, 16], [15, 17]]
-elif MODE is "MPI":
+Il faut télécharger les Model Weights: ce sont des *.caffemodel de GoogLeNet trained network de [[http://caffe.berkeleyvision.org/model_zoo.html|caffe.berkeleyvision.org]] téléchargeable à: [[https://www.kaggle.com/changethetuneman/openpose-model|kaggle.com model_zoo]]
-    nPoints = 15
-    POSE_PAIRS = [[0, 1], [1, 2], [2, 3], [3, 4], [1, 5], [5, 6], [6, 7], [1, 14], [14, 8], [8, 9], [9, 10],
-                  [14, 11], [11, 12], [12, 13]]
-</code>
-Cubemos utilise le MODE COCO.
-===== Ressources libres, open sources, gratuites=====
-  * **[[https://medium.com/analytics-vidhya/human-pose-estimation-using-deep-learning-using-opencv-9d8edd5e8879|Human Pose Estimation using OpenCV in Deep Learning]]** @ medium.com/analytics-vidhya
-  * **[[https://learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/|Deep Learning based Human Pose Estimation using OpenCV]]** @ learnopencv.com et le [[https://github.com/spmallick/learnopencv/tree/master/OpenPose|github.com/spmallick]]
-  * **[[https://github.com/CMU-Perceptual-Computing-Lab/openpose|openpose]]** de CMU Perceptual Computing Lab @GitHub: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation **with only one camera**. Whole-body (Body, Foot, Face, and Hands) 2D Pose Estimation and Whole-body 3D Pose Reconstruction and Estimation. Projet complet, riche, bien documenté.
-  * **[[http://openptrack.org/overview-3d-skeleton-tracking-pose-recognition-with-opt/|3D Skeleton Tracking & Pose Recognition with OPT]]** A voir pour Pose Recognition
+{{ :media_14:output-skeleton_pinup.jpg?80 |}}
+===== Capture avec RealSense D455 =====
+  * [[https://ressources.labomedia.org/intel_realsense|Installation de RealSense D455]]
+  * [[https://github.com/sergeLabo/rs-opencv|rs-opencv]] les sources sur GitHub. premier essai avec **[[https://github.com/sergeLabo/rs-opencv/blob/main/realsense_detect_skeleton.py|realsense_detect_skeleton.py]]**
-=====RealSense D455 avec OpenNI=====
+===Sans GPU, avec CPU===
-====RealSense D455====
+Marche bien mais le FPS = 0.7 sur mon portable avec les 4 CPU à fond: normal les **fichiers de poids font 200 Mo**, c'est beaucoup trop m(
-  * [[intel_realsense|]]
-====OpenNI====
+===Avec GPU: GTX 1060===
-  * **[[https://en.wikipedia.org/wiki/OpenNI|OpenNI or Open Natural Interaction]]** (@en.wikipedia.org) est une organisation à but non lucratif dirigée par l'industrie et un projet de logiciel open source axé sur la certification et l'amélioration de l'interopérabilité des interfaces utilisateur naturelles et des interfaces utilisateur organiques pour les périphériques Natural Interaction (NI), les applications qui utilisent ces périphériques et les intergiciels qui facilitent l'accès et l'utilisation de ces appareils.
+  * [[compilation_de_oepncv_avec_cuda_sur_ubuntu]]
-  * **[[https://github.com/OpenNI/OpenNI2|OpenNI2]]** @github.com/OpenNI
+  * image = 368*368 FPS = 7
+  * image = 184*184 FPS = 15
+La compilation fût laborieuse mais le résultat est bluffant.
+=====Visualisation dans le Blender Game Engine=====
-====Realsense et OpenNI====
+  * **[[https://github.com/sergeLabo/skeleton-rs|skeleton-rs @ github.com/sergeLabo]]** Détection de squelette avec capteur RealSense pour visualisation dans le Blender Game Engine
-**intelrealsense.com**
+  * **[[https://github.com/sergeLabo/skeleton-blender|skeleton-blender @ github.com/sergeLabo]]** Visualisation dans le Blender Game Engine de la Détection de squelette avec capteur RealSense et OpenCV
-  * [[intel_realsense|Installation du driver et des libs Intel Realsense]]
-  * [[https://www.intelrealsense.com/openni2-for-intel-realsense-sdk/|Intel® RealSense™ SDK 2.0 and OpenNI2®]]
-  * [[https://www.intelrealsense.com/developers/|Start building your own depth applications]]
-  * [[https://www.intelrealsense.com/openni2-for-intel-realsense-sdk/|intelrealsense.com/openni2-for-intel-realsense-sdk]]
-**github.com**
-  * [[https://github.com/IntelRealSense/librealsense/tree/master/wrappers/openni2| Installation du RealSense2 OpenNI2 driver]]. Télécharger **OpenNI2 SDK**, puis sudo ./intall.sh dans le dossier
-  * [[https://github.com/IntelRealSense/librealsense/tree/development/wrappers/python|API python de librealsense]] pour les capteurs Intel. Donne le code pour récupérer les images des capteurs RealSense, en python avec openCV.
-=====Ressources propriétaires payantes=====
-===Nuitrack 60 €===
-  * [[https://github.com/3DiVi/nuitrack-sdk|Nuitrack™]] is a 3D tracking middleware developed by 3DiVi Inc. This is a solution for skeleton tracking and gesture recognition that enables capabilities of Natural User Interface (NUI) on Android, Windows, and Linux.
-===Cubemos 75 €===
-  * [[skeleton_tracking_de_cubemos_logiciel_proprietaire|]]
-{{tag>opencv python sb ia}}
+{{tag> ia opencv python realsense sb skeleton camera3D}}