Différences

Ci-dessous, les différences entre deux révisions de la page.

--- detection_d_un_squelette_dans_une_image [2021/03/17 10:42] – [OpenNI] serge
+++ pose_estimation_avec_opencv [2021/12/14 09:19] (Version actuelle) – ↷ Liens modifiés en raison d'un déplacement. serge
@@ Ligne 1: / Ligne 1: @@
-====== Détection d'un squelette dans une image ======
+====== Pose Estimation avec OpenCV======
+<WRAP center round box 80% centeralign>
+**{{tagpage>skeleton camera3D|Les pages sur les caméras 3D et la détection de squelette}}**     **[[http://translate.google.com/translate?hl=&sl=auto&tl=en&u=https%3A%2F%2Fressources.labomedia.org%2Fpose_estimation_avec_opencv|English Version]]**
+</WRAP>
-<WRAP center round box 60% centeralign>
+<WRAP group>
-**{{tagpage>ia|Intelligence Artificielle}}**     **[[http://translate.google.com/translate?hl=&sl=auto&tl=en&u=https%3A%2F%2Fressources.labomedia.org%2Fdetection_d_un_squelette_dans_une_image|English Version]]**
+<WRAP>
+{{ :media_14:output-skeleton_pinup.jpg?200 |Une pin-up pour vendre le tuto !}}
 </WRAP>
-<WRAP center round box 60% centeralign>
+<WRAP centeralign>
-**[[les_pages_intelligence_artificielle_en_details|Les Pages Intelligence Artificielle en détails]]**
+Une pin-up pour promouvoir le tuto !
 </WRAP>
+</WRAP>
+{{ :media_15:img_0005.jpg?600 |}}
+=====OpenCV blobFromImage=====
+====La documentation====
+  * **[[https://docs.opencv.org/4.5.1/d6/d0f/group__dnn.html#ga29f34df9376379a603acd8df581ac8d7|blobFromImage()]]** à docs.opencv.org
-Une pin-up pour vendre le tuto !
+====Exemple====
-{{ :media_14:openpose_gif.png?400 |}}
+  * **[[https://learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/|Deep Learning based Human Pose Estimation using OpenCV]]** @ learnopencv.com et le [[https://github.com/spmallick/learnopencv/tree/master/OpenPose|OpenPose @ github.com/spmallick]] L'article et le code python pour tester.
-**Ce sujet est très actuel, un concours a eu lieu en 2019. Nous allons essayer de trouver, construire un projet qui détecterait un squelette, envoie les datas en OSC, les visualisent dans Blender.**
-=====Des collections de données, des concours=====
-====Des datas====
-  * **[[https://en.m.wikipedia.org/wiki/List_of_datasets_for_machine-learning_research|List of datasets for machine-learning research]]** @ wikipedia.org
-====Projets====
-===COCO===
-  * [[https://cocodataset.org/#home|Common Object in Context]]. COCO is a large-scale object detection, segmentation, and captioning dataset.
-  * [[https://cocodataset.org/#keypoints-2019|COCO 2019 Keypoint Detection Task]] **Le concours de détection de squelette**
-===MPII Human Pose===
-  * [[http://human-pose.mpi-inf.mpg.de/|human-pose du Max Plant Institut]]
-===Human Pose Evaluator Dataset ===
-  * [[https://www.robots.ox.ac.uk/~vgg/data/pose_evaluation/|MPII Human Pose dataset is a state of the art benchmark for evaluation of articulated human pose estimation]]
-====Les normes COCO et MPI====
-  * [[https://github.com/kunjshah2511/Human-Pose-Estimation/blob/master/Image_Pose/Image_Pose.py|Image_Pose.py]] @ github.com/kunjshah2511
-Les points sont les articulations. Les os sont définis par des couples de points. Facile 8-)
-<code python>
-if MODE is "COCO":
-    nPoints = 18
-    POSE_PAIRS = [[1, 0], [1, 2], [1, 5], [2, 3], [3, 4], [5, 6], [6, 7], [1, 8], [8, 9], [9, 10], [1, 11],
-                  [11, 12], [12, 13], [0, 14], [0, 15], [14, 16], [15, 17]]
-elif MODE is "MPI":
-    nPoints = 15
-    POSE_PAIRS = [[0, 1], [1, 2], [2, 3], [3, 4], [1, 5], [5, 6], [6, 7], [1, 14], [14, 8], [8, 9], [9, 10],
-                  [14, 11], [11, 12], [12, 13]]
-</code>
-Cubemos utilise le MODE COCO.
-===== Ressources libres, open sources, gratuites=====
-  * **[[https://medium.com/analytics-vidhya/human-pose-estimation-using-deep-learning-using-opencv-9d8edd5e8879|Human Pose Estimation using OpenCV in Deep Learning]]** @ medium.com/analytics-vidhya
-  * **[[https://learnopencv.com/deep-learning-based-human-pose-estimation-using-opencv-cpp-python/|Deep Learning based Human Pose Estimation using OpenCV]]** @ learnopencv.com et le [[https://github.com/spmallick/learnopencv/tree/master/OpenPose|github.com/spmallick]]
-  * **[[https://github.com/CMU-Perceptual-Computing-Lab/openpose|openpose]]** de CMU Perceptual Computing Lab @GitHub: Real-time multi-person keypoint detection library for body, face, hands, and foot estimation **with only one camera**. Whole-body (Body, Foot, Face, and Hands) 2D Pose Estimation and Whole-body 3D Pose Reconstruction and Estimation. Projet complet, riche, bien documenté.
-  * **[[http://openptrack.org/overview-3d-skeleton-tracking-pose-recognition-with-opt/|3D Skeleton Tracking & Pose Recognition with OPT]]** A voir pour Pose Recognition
-**ROS**
-  * [[https://www.ros.org/about-ros/|What is ROS?]] The Robot Operating System (ROS) is a set of software libraries and tools that help you build robot applications. From drivers to state-of-the-art algorithms, and with powerful developer tools, ROS has what you need for your next robotics project. And it's all open source.
-  * [[https://github.com/futureneer/openni2-tracker|A ROS Wrapper for the OpenNI2 and NiTE2 Skeleton Tracker]]
-  * [[http://wiki.ros.org/openni_tracker|wiki.ros.org/openni_tracker]]
-=====RealSense D455 avec OpenNI=====
+Il faut télécharger les Model Weights: ce sont des *.caffemodel de GoogLeNet trained network de [[http://caffe.berkeleyvision.org/model_zoo.html|caffe.berkeleyvision.org]] téléchargeable à: [[https://www.kaggle.com/changethetuneman/openpose-model|kaggle.com model_zoo]]
-====RealSense D455====
-  * [[intel_realsense|]]
-====OpenNI====
+{{ :media_14:output-skeleton_pinup.jpg?80 |}}
-  * **[[https://en.wikipedia.org/wiki/OpenNI|OpenNI or Open Natural Interaction]]** (@en.wikipedia.org) est une organisation
+===== Capture avec RealSense D455 =====
+  * [[https://ressources.labomedia.org/intel_realsense|Installation de RealSense D455]]
+  * [[https://github.com/sergeLabo/rs-opencv|rs-opencv]] les sources sur GitHub. premier essai avec **[[https://github.com/sergeLabo/rs-opencv/blob/main/realsense_detect_skeleton.py|realsense_detect_skeleton.py]]**
+===Sans GPU, avec CPU===
+Marche bien mais le FPS = 0.7 sur mon portable avec les 4 CPU à fond: normal les **fichiers de poids font 200 Mo**, c'est beaucoup trop m(
-  * is an industry-led non-profit organization and open source software project focused on certifying and improving interoperability of natural user interfaces and organic user interfaces for Natural Interaction (NI) devices, applications that use those devices and middleware that facilitates access and use of such devices.
+===Avec GPU: GTX 1060===
-  * **[[https://github.com/OpenNI/OpenNI2|OpenNI2]]** @github.com/OpenNI
+  * [[compilation_de_oepncv_avec_cuda_sur_ubuntu]]
+  * image = 368*368 FPS = 7
+  * image = 184*184 FPS = 15
+La compilation fût laborieuse mais le résultat est bluffant.
+=====Visualisation dans le Blender Game Engine=====
-====Realsense et OpenNI====
+  * **[[https://github.com/sergeLabo/skeleton-rs|skeleton-rs @ github.com/sergeLabo]]** Détection de squelette avec capteur RealSense pour visualisation dans le Blender Game Engine
-**intelrealsense.com**
+  * **[[https://github.com/sergeLabo/skeleton-blender|skeleton-blender @ github.com/sergeLabo]]** Visualisation dans le Blender Game Engine de la Détection de squelette avec capteur RealSense et OpenCV
-  * [[intel_realsense|Installation du driver et des libs Intel Realsense]]
-  * [[https://www.intelrealsense.com/openni2-for-intel-realsense-sdk/|Intel® RealSense™ SDK 2.0 and OpenNI2®]]
-  * [[https://www.intelrealsense.com/developers/|Start building your own depth applications]]
-  * [[https://www.intelrealsense.com/openni2-for-intel-realsense-sdk/|intelrealsense.com/openni2-for-intel-realsense-sdk]]
-**github.com**
-  * [[https://github.com/IntelRealSense/librealsense/tree/master/wrappers/openni2| Installation du RealSense2 OpenNI2 driver]]. Télécharger **OpenNI2 SDK**, puis sudo ./intall.sh dans le dossier
-  * [[https://github.com/IntelRealSense/librealsense/tree/development/wrappers/python|API python de librealsense]] pour les capteurs Intel. Donne le code pour récupérer les images des capteurs RealSense, en python avec openCV.
-=====Ressources propriétaires payantes=====
-===Nuitrack 60 €===
-  * [[https://github.com/3DiVi/nuitrack-sdk|Nuitrack™]] is a 3D tracking middleware developed by 3DiVi Inc. This is a solution for skeleton tracking and gesture recognition that enables capabilities of Natural User Interface (NUI) on Android, Windows, and Linux.
-===Cubemos 75 €===
-  * [[skeleton_tracking_de_cubemos_logiciel_proprietaire|]]
-{{tag>opencv python sb ia}}
+{{tag> ia opencv python realsense sb skeleton camera3D}}