Labomedia Ressources

Outils pour utilisateurs

Outils du site

Piste : • Yolo Darknet sur un portable Optimus
yolo_darknet_sur_un_portable_optimus

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
yolo_darknet_sur_un_portable_optimus [2019/04/03 07:16] – [Apprentissage] sergeyolo_darknet_sur_un_portable_optimus [2020/12/27 15:09] (Version actuelle) – serge
Ligne 1: Ligne 1:
 ======Yolo Darknet sur un portable Optimus====== ======Yolo Darknet sur un portable Optimus======
-<WRAP center round box 80% centeralign> +<WRAP center round box 60% centeralign> 
-**{{tagpage>semaphore|Sémaphores}}**  ....  **{{tagpage>bge|Blender Game Engine}}** ....  **{{tagpage>ia|Intelligence Artificielle}}**+**{{tagpage>ia|Intelligence Artificielle}}**     **[[http://translate.google.com/translate?hl=&sl=auto&tl=en&u=https%3A%2F%2Fressources.labomedia.org%2Fyolo_darknet_sur_un_portable_optimus|English Version]]**
 </WRAP> </WRAP>
-<WRAP center round box 80% centeralign>+<WRAP center round box 60% centeralign> 
 +**[[les_pages_intelligence_artificielle_en_details|Les Pages Intelligence Artificielle en détails]]** 
 +</WRAP> 
 + 
 +<WRAP center round box 60% centeralign> 
 +**{{tagpage>semaphore|Sémaphores}}**  ....  **{{tagpage>bge|Blender Game Engine}}** 
 +</WRAP> 
 +<WRAP center round box 60% centeralign> 
 +C'est quoi un sémaphore ? 
 +{{ youtube>F3sY6_fOx2I?medium }} 
 +{{ media_05:chappe.jpeg?400 }} 
 +</WRAP> 
 +\\ \\  
 +<WRAP center round box 60% centeralign>
 //**Installation de YOLO Darknet sur un portable avec Optimus**//\\ //**Installation de YOLO Darknet sur un portable avec Optimus**//\\
 //**Test avec des images du sémaphore**//\\ //**Test avec des images du sémaphore**//\\
-//**et un succès très honorable avec peu d'images**//\\+//**Valable aussi pour un Desktop avec une carte graphique Nvidia**//\\
 </WRAP> </WRAP>
  
-{{ chappe.jpeg?400 }}+ 
 + 
 =====Considération générales===== =====Considération générales=====
-  * **Xubuntu 18.04 CUDA 10.0 CUDNN 7.4.1.5 ** Ne pas utiliser Ubuntu Mate, il y a un conflit de dépendances entre CUDA et Mate Desktop +  * **Xubuntu 18.04 CUDA 10.0 CUDNN 7.4.1.5 **  
-  * **Valable aussi pour un Desktop avec une carte graphique Nvidia** +  * **Ne pas utiliser le bureau Mate**, il y a un conflit de dépendances entre CUDA et Mate Desktop 
-  * **Sur Ubuntu, il est possible d'avoir le driver Nvidia en permanence.** Sur Debian, bbswitch permet de passer de la carte Intel à Nvidia.  +  * **Sur Ubuntu, l'installation du driver propriétaire est facile, et il est possible d'avoir le driver Nvidia en permanence.** Sur Debian, bbswitch permet d'utiliser la carte Nvidia en lançant un programme avec optirun. Ce serait bien d'essayer cette installation sur Debian !  
-<WRAP center round todo 60%> +  * **Ce tuto a été écrit avec des tests réalisés sur un portable avec une carte 765GTX et sur une tour avec une carte 1060GTX**
-Tester ce tuto sur Debian sans optirun  +
-</WRAP>+
 =====Ressources et documentation de YOLO Darknet===== =====Ressources et documentation de YOLO Darknet=====
 ===Darknet=== ===Darknet===
-  * **[[https://github.com/AlexeyAB/darknet|darknet de AlexeyAB sur GitHub]] Nous allons suivre à la lettre ce README**+  * **[[https://github.com/AlexeyAB/darknet|darknet de AlexeyAB sur GitHub]] Nous allons suivre ce README à la lettre.**
  
 =====Installation de CUDA 10.0 sur Xubuntu 18.04===== =====Installation de CUDA 10.0 sur Xubuntu 18.04=====
-  * https://www.tensorflow.org/install/gpu#ubuntu_1804_cuda_10+  * [[https://www.tensorflow.org/install/gpu#ubuntu_1804_cuda_10| CUDA 10 sur Ubuntu 18.04 @ tensorflow.org]]
 ====Installation du driver Nvidia==== ====Installation du driver Nvidia====
 Avec le Gestionnaire de pilotes supplémentaires Avec le Gestionnaire de pilotes supplémentaires
-====Installation====+====Installation de cuda,cudnn, opencv-python====
 Le tout va télécharger 3 à 4 Go ! Le tout va télécharger 3 à 4 Go !
 <code> <code>
Ligne 37: Ligne 50:
 sudo apt-get install --no-install-recommends cuda-10-0 sudo apt-get install --no-install-recommends cuda-10-0
 sudo apt-get install --no-install-recommends libcudnn7=7.4.1.5-1+cuda10.0  libcudnn7-dev=7.4.1.5-1+cuda10.0 sudo apt-get install --no-install-recommends libcudnn7=7.4.1.5-1+cuda10.0  libcudnn7-dev=7.4.1.5-1+cuda10.0
-sudo apt-get install cmake clang python3-pip libopencv-dev libopencv-core-dev libopencv-highgui-dev libopencv-flann-dev libopencv-photo-dev libopencv-video-dev libopencv-dev +sudo apt-get install cmake clang python3-pip libopencv-dev libopencv-core-dev libopencv-highgui-dev libopencv-flann-dev libopencv-photo-dev libopencv-video-dev 
-sudo pip3 install opencv-python==3.4.5.20+sudo pip3 install opencv-python==3.4.5.20 scikit-image
 </code> </code>
-=====Installation de YOLO Darknet===== 
  
 +Après installation, ne pas faire de mises à jour système: ça casserai libcudnn7=7.4.1.5-1+cuda10.0
 +
 +Pour faire les mises à jour, il faudrait d'abord bloquer les versions de cuda et cudnn, y compris les dev.
 +
 +====Installation complémentaire pour mes projets====
 +Installation de mon module personnel: [[:pymultilame|Python: pymultilame]]
 +
 +
 +
 +=====Installation de YOLO Darknet=====
 +Dans les [[https://github.com/AlexeyAB/darknet|sources]] décompressée de darknet:
  
-====Avec GPU avec CUDA avec OPENCV==== +Pour ajouter la libération de la RAM GPU entre 2 détections dans un script python, 
-Recommencer avec une copie des sources originale de darknet +[[Darknet Letters unload GPU RAM in python script|Darknet Letters unload GPU RAM in python script]] 
-===Options de Makefile===+====Options de Makefile avec GPU avec CUDA avec OPENCV====
 <code> <code>
 GPU=1 GPU=1
Ligne 53: Ligne 76:
 AVX=0 AVX=0
 OPENMP=0 OPENMP=0
-LIBSO=0+LIBSO=1
 ZED_CAMERA=0 ZED_CAMERA=0
 </code> </code>
-===Compil===+====Compil====
 <code> <code>
 export PATH=/usr/local/cuda-10.0/bin${PATH:+:${PATH}} export PATH=/usr/local/cuda-10.0/bin${PATH:+:${PATH}}
Ligne 65: Ligne 88:
 make -j8 make -j8
 </code> </code>
 +L'excécutable est dans le dossier root de darknet.
  
-=====Application sur le sémaphore===== +Le fichier libdarknet.so de 1060GTX: {{ media_07:libdarknet.so.zip |}} 
-Voir la page **[[yolo_sans_carte_graphique|YOLO sans carte graphique]]** pour la construction des images et des fichiers train.txt et test.txt+=====Préparation===== 
 +Voir la page **[[yolo_avec_mes_propres_images|Yolo avec mes propres images]]** pour la construction de **60 000 images 640x640** et des fichiers *.txt correspondants.
  
 +Ici nous utilisons **[[https://github.com/sergeLabo/semaphore_cv_yolo|Création d'images pour utiliser Yolo Darknet avec OpenCV]]**.
 +
 +Les axes blanc sont probablement important pour la reconnaissance.
 +
 +{{media_01:shot_53_z.jpg?200|}}
 +{{media_01:shot_455_w.jpg?200|}}
 +{{media_01:shot_894_c.jpg?200|}}
 +{{media_01:shot_1916_z.jpg?200|}}
 +{{media_01:shot_59248_j.jpg?200|}}
 +  
 **darknet53.conv.74** **darknet53.conv.74**
   wget https://pjreddie.com/media/files/darknet53.conv.74   wget https://pjreddie.com/media/files/darknet53.conv.74
 +Coller le fichier dans le dossier darknet
  
 +Créer un dossier axe où nous allons ranger les éléments de notre projet. Pourquoi "axe" ? parce que mon sémaphore à des axes !
 <WRAP group> <WRAP group>
 <WRAP half column> <WRAP half column>
-**cfg/obj.data**+**axe/obj.data**\\ 
 +Ce fichier définit les chemins vers les fichiers de configuration.
 <code> <code>
 classes= 27 classes= 27
-train  = train.txt   +train  = axe/train.txt   
-valid  = test.txt   +valid  = axe/test.txt   
-names = obj.names   +names = axe/obj.names   
-backup = backup/+backup = axe/backup
 </code> </code>
 </WRAP> </WRAP>
  
 <WRAP half column> <WRAP half column>
-**cfg/tiny-yolo.cfg**+**Créer un fichier axe/obj.names:**
 <code> <code>
-Line 2: batch=24 +a 
-Line 3: set subdivisions=8 +space 
-Line 4: width=416 +b 
-Line 5: height=416 +c 
-Line 114: filters=160 +d 
-Line 120: classes=1+etc ..... 
 +x 
 +y 
 +z
 </code> </code>
 </WRAP> </WRAP>
 </WRAP> </WRAP>
-**test.txt et train.txt** sont à coller dans le dossier darknet\\ 
-Les chemins dans ces fichiers sont absolus ! 
  
-====Apprentissage==== +===train.txt et test.txt=== 
-  ./darknet detector train cfg/obj.data cfg/tiny-yolo.cfg darknet53.conv.74+Les créer en collant le script **[[https://github.com/sergeLabo/semaphore_cv_yolo/blob/master/get_opencv_shot/create_train_test_txt.py|create_train_test_txt.py]]** dans le dossier axe. Puis: 
 +  * installer [[:pymultilame|pymultilame]] 
 +  * adapter le chemin vers le dossier root des images dans le script 
 +  python3 create_train_test_txt.py 
 +Les fichiers train.txt et test.txt sont dans le dossier axe.
  
-ça crée des fichiers dans dossier darknet/backup:+===Le fichier *cfg=== 
 +  * **[[https://github.com/sergeLabo/semaphore_cv_yolo/blob/master/axe/yolov3-obj_3l_labo_axe.cfg|yolov3-obj_3l_labo_axe.cfg]]** 
 +Pour avoir Yolo v3 avec: 
 +  * Des objets main droite différent des objets main gauche 
 +  * Des petits et des grands objets 
 +  * vérifier avec le readme de Alexei
  
-**yolov3-tiny_1000.weights\\ +=====Training===== 
-yolov3-tiny_2000.weights\\ +  ./darknet detector train axe/obj.data axe/yolov3-obj_3l_labo_axe.cfg darknet53.conv.74 -map
-yolov3-tiny_3000.weights +
-**+
  
-<file sh tiny-yolo.cfg> +{{ media_01:chart.png?300 |}}
-[net] +
-batch=24 +
-subdivisions=8 +
-width=416 +
-height=416 +
-channels=3 +
-momentum=0.9 +
-decay=0.0005 +
-angle=0 +
-saturation = 1.5 +
-exposure = 1.5 +
-hue=.1+
  
-learning_rate=0.001 +===Message final===
-max_batches = 120000 +
-policy=steps +
-steps=-1,100,80000,100000 +
-scales=.1,10,.1,.1 +
- +
-[convolutional] +
-batch_normalize=1 +
-filters=16 +
-size=3 +
-stride=1 +
-pad=1 +
-activation=leaky +
- +
-[maxpool] +
-size=2 +
-stride=2 +
- +
-[convolutional] +
-batch_normalize=1 +
-filters=32 +
-size=3 +
-stride=1 +
-pad=1 +
-activation=leaky +
- +
-[maxpool] +
-size=2 +
-stride=2 +
- +
-[convolutional] +
-batch_normalize=1 +
-filters=64 +
-size=3 +
-stride=1 +
-pad=1 +
-activation=leaky +
- +
-[maxpool] +
-size=2 +
-stride=2 +
- +
-[convolutional] +
-batch_normalize=1 +
-filters=128 +
-size=3 +
-stride=1 +
-pad=1 +
-activation=leaky +
- +
-[maxpool] +
-size=2 +
-stride=2 +
- +
-[convolutional] +
-batch_normalize=1 +
-filters=256 +
-size=3 +
-stride=1 +
-pad=1 +
-activation=leaky +
- +
-[maxpool] +
-size=2 +
-stride=2 +
- +
-[convolutional] +
-batch_normalize=1 +
-filters=512 +
-size=3 +
-stride=1 +
-pad=1 +
-activation=leaky +
- +
-[maxpool] +
-size=2 +
-stride=1 +
- +
-[convolutional] +
-batch_normalize=1 +
-filters=1024 +
-size=3 +
-stride=1 +
-pad=1 +
-activation=leaky +
- +
-########### +
- +
-[convolutional] +
-batch_normalize=1 +
-size=3 +
-stride=1 +
-pad=1 +
-filters=1024 +
-activation=leaky +
- +
-[convolutional] +
-size=1 +
-stride=1 +
-pad=1 +
-filters=160 +
-activation=linear +
- +
-[region] +
-anchors = 0.738768,0.874946,  2.42204,2.65704,  4.30971,7.04493,  10.246,4.59428,  12.6868,11.8741 +
-bias_match=1 +
-classes=27 +
-coords=4 +
-num=5 +
-softmax=1 +
-jitter=.2 +
-rescore=1 +
- +
-object_scale=5 +
-noobject_scale=1 +
-class_scale=1 +
-coord_scale=1 +
- +
-absolute=1 +
-thresh = .6 +
-random=1 +
-</file> +
-====Test==== +
-Créer un fichier obj.names:+
 <code> <code>
-a + calculation mAP (mean average precision)... 
-space +6000 
-b + detections_count = 9091, unique_truth_count = 6000   
-c +class_id = 0, name = a, ap = 100.00%    (TP = 216, FP = 1)  
-d+class_id = 1, name = space, ap = 98.59%    (TP = 218, FP = 6)  
 +class_id = 2, name = b, ap = 100.00%    (TP = 203, FP = 0)  
 +class_id = 3, name = c, ap = 99.99%    (TP = 227, FP = 0)  
 +class_id = 4, name = d, ap = 100.00%    (TP = 223, FP = 0)  
 +class_id = 5, name = e, ap = 86.90%    (TP = 129, FP = 26)  
 +class_id = 6, name = f, ap = 100.00%    (TP = 225, FP = 1)  
 +class_id = 7, name = g, ap = 100.00%    (TP = 218, FP = 0)  
 +class_id = 8, name = h, ap = 100.00%    (TP = 252, FP = 1)  
 +class_id = 9, name = i, ap = 98.82%    (TP = 196, FP = 2)  
 +class_id = 10, name = j, ap = 100.00%    (TP = 217, FP = 0)  
 +class_id = 11, name = k, ap = 100.00%    (TP = 243, FP = 0)  
 +class_id = 12, name = l, ap = 100.00%    (TP = 222, FP = 1)  
 +class_id = 13, name = m, ap = 100.00%    (TP = 229, FP = 0)  
 +class_id = 14, name = n, ap = 93.93%    (TP = 200, FP = 88)  
 +class_id = 15, name = o, ap = 100.00%    (TP = 217, FP = 4)  
 +class_id = 16, name = p, ap = 100.00%    (TP = 241, FP = 16)  
 +class_id = 17, name = q, ap = 100.00%    (TP = 235, FP = 15)  
 +class_id = 18, name = r, ap = 99.52%    (TP = 184, FP = 0)  
 +class_id = 19, name = s, ap = 100.00%    (TP = 222, FP = 2)  
 +class_id = 20, name = t, ap = 99.98%    (TP = 212, FP = 24)  
 +class_id = 21, name = u, ap = 100.00%    (TP = 198, FP = 1)  
 +class_id = 22, name = v, ap = 74.66%    (TP = 76, FP = 0)  
 +class_id = 23, name = w, ap = 100.00%    (TP = 205, FP = 0)  
 +class_id = 24, name = x, ap = 100.00%    (TP = 245, FP = 0)  
 +class_id = 25, name = y, ap = 100.00%    (TP = 223, FP = 0)  
 +class_id = 26, name = z, ap = 100.00%    (TP = 223, FP = 0) 
  
-etc ..... + for thresh = 0.25, precision = 0.97, recall = 0.95, F1-score = 0.96  
- + for thresh = 0.25, TP = 5699, FP = 188, FN = 301, average IoU = 87.69 %  
-x + IoU threshold = 50 %, used Area-Under-Curve for each unique Recall  
-y + mean average precision (mAP@0.50) = 0.982366, or 98.24 %  
-z+ mean_average_precision (mAP@0.5) = 0.982366 
 </code> </code>
  
- L'image predictions_space.jpg est copiée dans data, puis: +=====Testing===== 
-  ./darknet detector test cfg/obj.data cfg/yolov3-tiny.cfg backup/yolov3-tiny_last.weights predictions_space.jpg+====Test sur une image==== 
 +  ./darknet detector test axe/obj.data  axe/yolov3-obj_3l_labo_axe.cfg axe/backup/yolov3-obj_3l_labo_axe_final.weights axe/shot_36_space.jpg
  
-Le résultat est dans l'image predictions.jpg du dossier darknet.  +Le résultat est dans l'image predictions.jpg du dossier axe. 
-<WRAP center round todo 60%> +
-comment tester toutes les images définies dans test.txt +
-</WRAP>+
 <WRAP group> <WRAP group>
 <WRAP half column> <WRAP half column>
-{{:2019_03:predictions_b_h.jpg?400|}}+{{media_01:predictions_b_h.jpg?400|}}
 </WRAP> </WRAP>
 <WRAP half column> <WRAP half column>
-{{:2019_03:predictions_space.jpg?400|}}\\+{{media_01:predictions_space.jpg?400|}}\\
 shot_36_space.jpg: Predicted in 58.519000 milli-seconds:\\ shot_36_space.jpg: Predicted in 58.519000 milli-seconds:\\
 space: 40% space: 40%
 </WRAP> </WRAP>
 +</WRAP>
 +  
 +====Test sur une video et enregistrement du résultat====
 +  ./darknet detector demo axe/obj.data axe/yolov3-obj_3l_labo_axe.cfg axe/backup/yolov3-obj_3l_labo_axe_final.weights axe/semaphore.avi -i 0 -thresh 0.10 -out_filename axe/res_semaphore.avi
  
-=====64 000 images 704x704===== +{{ vimeo>330471526?medium }} 
-3 jours entiers de calcul ! 15 fichiers de poids+====Test avec webcam et enregistrement du résultat==== 
 +Pour webcam=0 
 +  ./darknet detector demo axe/obj.data axe/yolov3-obj_3l_labo_axe.cfg axe/backup/yolov3-obj_3l_labo_axe_final.weights -thresh 0.25 -c 0  
 +{{ vimeo>330723924?medium }}
  
-  ./darknet detector train cfg/obj.data cfg/tiny-yolo.cfg darknet53.conv.74+=====Avec un vrai sémaphore===== 
 +  * **[[yolo_darknet_avec_un_vrai_semaphore|Yolo Darknet avec un vrai sémaphore]]** 
 +  * **[[https://github.com/sergeLabo/semaphore_blend_yolo|et les sources correspondantes sur GitHub]]**
  
 +{{tag> ia sb semaphore yolo_darknet }}
  
-=====Plus grand, plus gros, plus puissant===== 
-**[[yolo_darknet_sur_un_gros_centre_de_calcul|Yolo Darknet sur un gros centre de calcul]]** avec 50000 images plus grandes. 
- 
-===== Laptop ===== 
-<WRAP group> 
-<WRAP half column> 
-  * Intel® Core™ i7-Intel® Core™ i7-4702MQ CPU @ 2.20GHz × 84702MQ CPU @ 2.20GHz × 8 
-  * Memory Device 
-    * Total Width: 64 bits 
-    * Size: 8192 MB 
-    * Type: DDR3 
-    * Speed: 1600 MHz 
-    * Configured Clock Speed: 1600 MHz 
-  * Vitesse maximale du processeur en MHz : 3200,0000 
-  * Vitesse minimale du processeur en MHz : 800,0000 
-  * Ram 7,7 Gio 
-</WRAP> 
- 
-<WRAP half column> 
-  * NVIDIA Corporation GK106M [[https://www.notebookcheck.biz/NVIDIA-GeForce-GTX-765M.94344.0.html|GeForce GTX 765M]] 
-    * Core 
-      * Architecture: Kepler 
-      * CUDA Cores 768 
-      * Clock Freq (MHz) 850 + Boost 
-    * Memory 
-      * Memory Clock (MHz) 2000 
-      * Standard Memory Configuration GDDR5 
-      * Memory Interface Width 128 bit 
-    * Memory Bandwidth (GB/sec)64.0 
-    * Date de présentation: 30.05.2013 
-</WRAP> 
-</WRAP> 
  
-{{tag> ia sb semaphore }} 
yolo_darknet_sur_un_portable_optimus.1554275779.txt.gz · Dernière modification : de serge