Labomedia Ressources

Outils pour utilisateurs

Outils du site

Piste :
streamer_des_images_opencv_avec_v4l2-loopback

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
streamer_des_images_opencv_avec_v4l2-loopback [2022/02/25 09:07] – [Profondeur d'une RealSense D455] sergestreamer_des_images_opencv_avec_v4l2-loopback [2022/03/03 12:35] (Version actuelle) – [Profondeur d'une RealSense D455] serge
Ligne 14: Ligne 14:
   * https://github.com/umlaeute/v4l2loopback   * https://github.com/umlaeute/v4l2loopback
  
-=====Installation==== +=====Sources des exemples===== 
-A voir, nécessaire mais peut-être pas suffisant: +  * **[[https://github.com/sergeLabo/fakewebcam|fakewebcam de github.com/sergeLabo]]**
-  sudo apt install v4l2loopback-utils +
-  +
-<code bash> +
-sudo apt install python3-pip +
-python3 -m pip install --upgrade pip +
-sudo apt install python3-venv+
  
-cd /le/dossier/de/votre/projet +====Installation==== 
-python3 -m venv mon_env +Voir le README ci-dessus.
-source mon_env/bin/activate +
-python3 -m pip install opencv-python pyfakewebcam +
-</code>  +
  
 =====Exemple simple pour tester===== =====Exemple simple pour tester=====
 <file python cam_relay.py>   <file python cam_relay.py>  
-""" 
-Insert the v4l2loopback kernel module. 
-modprobe v4l2loopback devices=2 
-will create two fake webcam devices 
-""" 
-import time 
 import pyfakewebcam import pyfakewebcam
 import cv2 import cv2
Ligne 42: Ligne 27:
  
 cap = cv2.VideoCapture(0) cap = cv2.VideoCapture(0)
-camera = pyfakewebcam.FakeWebcam('/dev/video1', 640, 480)+camera = pyfakewebcam.FakeWebcam('/dev/video11', 640, 480) 
 while True: while True:
     ret, image = cap.read()     ret, image = cap.read()
Ligne 50: Ligne 36:
     if cv2.waitKey(1) == 27:     if cv2.waitKey(1) == 27:
         break         break
- 
-""" 
-Run the following command to see the output of the fake webcam. 
-ffplay /dev/video1 
-or open a camera in vlc 
-""" 
 </file> </file>
  
-Exécuter le script avec: +Run the following command to see the output of the fake webcam.\\ 
-  cd /le/dossier/de/votre/projet +ffplay /dev/video11\\ 
-  modprobe v4l2loopback devices=2 +or open the camera 11 in vlc
-  ./mon_env/bin/python3 cam_relay.py +
-Dans un autre terminal +
-  ffplay /dev/video1 +
-Il faudra peut-être adapter les numéro de /dev/video +
-  +
 ===== Profondeur d'une OAK-D Lite ===== ===== Profondeur d'une OAK-D Lite =====
- <code bash> 
-cd /le/dossier/de/votre/projet 
-source mon_env/bin/activate 
-python3 -m pip install depthai numpy 
-</code> 
- 
 <file python sender_oak_depth.py> <file python sender_oak_depth.py>
 import cv2 import cv2
Ligne 80: Ligne 49:
  
 pipeline = dai.Pipeline() pipeline = dai.Pipeline()
 +
 # Define a source - two mono (grayscale) cameras # Define a source - two mono (grayscale) cameras
 left = pipeline.createMonoCamera() left = pipeline.createMonoCamera()
Ligne 113: Ligne 83:
 depth.disparity.link(xout.input) depth.disparity.link(xout.input)
  
-camera = pyfakewebcam.FakeWebcam('/dev/video1', 640, 480)+camera = pyfakewebcam.FakeWebcam('/dev/video11', 640, 480)
  
 with dai.Device(pipeline) as device: with dai.Device(pipeline) as device:
Ligne 135: Ligne 105:
             break             break
 </file> </file>
-Exécuter le script avec: + 
-  cd /le/dossier/de/votre/projet +Ouvrir /dev/video11 dans VLC
-  modprobe v4l2loopback devices=2 +
-  ./mon_env/bin/python3 sender_oak_depth.py +
-Ouvrir /dev/video1 dans VLC+
 {{ :media_15:oak_depth_in_vlc.png?400 |}} {{ :media_15:oak_depth_in_vlc.png?400 |}}
-====Profondeur d'une RealSense D455====+=====Profondeur d'une RealSense D455=====
 Pour l'installation, voir **https://github.com/sergeLabo/grande_echelle#installation** Pour l'installation, voir **https://github.com/sergeLabo/grande_echelle#installation**
-<code bash> 
-cd /le/dossier/de/votre/projet 
-source mon_env/bin/activate 
-python3 -m pip install  pyrealsense2 numpy 
-</code> 
  
 <file python sender_rs_depth.py> <file python sender_rs_depth.py>
- 
 """ """
-Créer des devices /dev/video* +Voir https://github.com/sergeLabo/fakewebcam
-Commande non persistante, elles sont perdues au reboot +
- +
-sudo modprobe v4l2loopback video_nr=10,11,12 +
  
 +Suppression du fond, voir
 +https://github.com/IntelRealSense/librealsense/blob/master/wrappers/python/examples/align-depth2color.py
 """ """
  
Ligne 167: Ligne 126:
 import pyrealsense2 as rs import pyrealsense2 as rs
  
 +
 +# Le faux device
 +VIDEO = '/dev/video11'
 +
 +# Avec ou sans slider pour régler CLIPPING_DISTANCE_IN_MILLIMETER
 +SLIDER = 1
 +# Réglable avec le slider
 +# We will be removing the background of objects more than
 +# CLIPPING_DISTANCE_IN_MILLIMETER away
 +CLIPPING_DISTANCE_IN_MILLIMETER = 2000
  
  
 class MyRealSense: class MyRealSense:
-    """Initialise la caméra et permet d'accéder aux images""" + 
-    def __init__(self):+    def __init__(self, video, slider, clip): 
 +        self.video = video 
 +        self.slider = slider 
 +        self.clip = clip 
         self.width = 1280         self.width = 1280
         self.height = 720         self.height = 720
Ligne 202: Ligne 175:
         # Getting the depth sensor's depth scale (see rs-align example for explanation)         # Getting the depth sensor's depth scale (see rs-align example for explanation)
         depth_sensor = profile.get_device().first_depth_sensor()         depth_sensor = profile.get_device().first_depth_sensor()
-        depth_scale = depth_sensor.get_depth_scale() +        self.depth_scale = depth_sensor.get_depth_scale() 
-        print("Depth Scale is: " , depth_scale) +        print("Depth Scale is: " , self.depth_scale)
-        # We will be removing the background of objects more than +
-        #  clipping_distance_in_meters meters away +
-        clipping_distance_in_meters = 1 #1 meter +
-        self.clipping_distance = clipping_distance_in_meters / depth_scale +
  
         # Affichage de la taille des images         # Affichage de la taille des images
Ligne 216: Ligne 184:
               f"     {img.shape[1]}x{img.shape[0]}")               f"     {img.shape[1]}x{img.shape[0]}")
  
-        self.camera = pyfakewebcam.FakeWebcam('/dev/video11', 1280, 720)+        self.camera = pyfakewebcam.FakeWebcam(VIDEO, 1280, 720) 
 + 
 +        if self.slider: 
 +            self.create_slider() 
 + 
 +    def create_slider(self): 
 +        cv2.namedWindow('controls') 
 +        cv2.createTrackbar('background', 'controls', 1000, 8000, 
 +                            self.remove_background_callback) 
 +        cv2.setTrackbarPos('background', 'controls', self.clip) 
 +        cv2.namedWindow('depth', cv2.WND_PROP_FULLSCREEN) 
 + 
 +    def remove_background_callback(self, value): 
 +        if value != 1000: 
 +            self.clip = int(value)
  
     def run(self):     def run(self):
         """Boucle infinie, quitter avec Echap dans la fenêtre OpenCV"""         """Boucle infinie, quitter avec Echap dans la fenêtre OpenCV"""
 +
         while self.pose_loop:         while self.pose_loop:
  
Ligne 229: Ligne 212:
             aligned_frames = self.align.process(frames)             aligned_frames = self.align.process(frames)
  
-            # Get aligned frames +            # aligned_depth_frame is a 640x480 depth image 
-            aligned_depth_frame = aligned_frames.get_depth_frame() # aligned_depth_frame is a 640x480 depth image+            aligned_depth_frame = aligned_frames.get_depth_frame()
             color_frame = aligned_frames.get_color_frame()             color_frame = aligned_frames.get_color_frame()
  
Ligne 241: Ligne 224:
  
             # Remove background - Set pixels further than clipping_distance to grey             # Remove background - Set pixels further than clipping_distance to grey
-            grey_color = 153 +            # depth image is 1 channel, color is 3 channels 
-            depth_image_3d = np.dstack((depth_image,depth_image,depth_image)) #depth image is 1 channel, color is 3 channels +            depth_image_3d = np.dstack((depth_image, depth_image, depth_image)) 
-            bg_removed = np.where((depth_image_3d > self.clipping_distance) | (depth_image_3d <= 0), grey_color, color_image)+            clipping_distance = self.clip / (1000*self.depth_scale) 
 +            bg_removed = np.where((depth_image_3d > clipping_distance) |\ 
 +                        (depth_image_3d <= 0), 0, color_image)
  
-            # Render images: +            depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, 
-            #   depth align to color on left +                                                                   alpha=0.03), 
-            #   depth on right +                                                                   cv2.COLORMAP_JET) 
-            depth_colormap = cv2.applyColorMap(cv2.convertScaleAbs(depth_image, alpha=0.03), cv2.COLORMAP_JET)+            images = np.hstack((bg_removed, depth_colormap))
  
-            # # print(depth_colormap.shape) +            if self.slider: 
-            # # cv2.imshow('depth', depth_colormap) +                cv2.imshow('depth', images) 
-            self.camera.schedule_frame(depth_colormap)+ 
 +            self.camera.schedule_frame(bg_removed)
  
             if cv2.waitKey(1) == 27:             if cv2.waitKey(1) == 27:
                 break                 break
 +
 +
  
 if __name__ == '__main__': if __name__ == '__main__':
-    mrs = MyRealSense() 
-    mrs.run() 
  
 +    mrs = MyRealSense(VIDEO, SLIDER, CLIPPING_DISTANCE_IN_MILLIMETER)
 +    mrs.run()
 </file> </file>
- 
-Exécuter le script avec: 
-  cd /le/dossier/de/votre/projet 
-  modprobe v4l2loopback devices=2 
-  ./mon_env/bin/python3 sender_oak_depth.py 
      
-===Réception===+=====Réception=====
 Ouvrir /dev/video11 dans VLC\\ Ouvrir /dev/video11 dans VLC\\
 +
 +{{:media_15:color_depth.png?800|}}
 +
 ou ou
 <file python receiver.py> <file python receiver.py>
streamer_des_images_opencv_avec_v4l2-loopback.1645780021.txt.gz · Dernière modification : 2022/02/25 09:07 de serge