Différences

Ci-dessous, les différences entre deux révisions de la page.

--- installer_libretime_un_container_lxc_privileges [2020/10/21 22:34] – créée Benjamin Labomedia
+++ installer_libretime_un_container_lxc_privileges [2022/03/26 18:17] (Version actuelle) – [Restaurer le backup] Benjamin Labomedia
@@ Ligne 14: / Ligne 14: @@
 y ajouter
   lxcrunner veth lxcbr0 10
 Se logguer en tant que user
   adduser lxcrunner
+Fix environmental variables. Otherwise you might have issues creating containers later
+  lxcrunner> unset XDG_RUNTIME_DIR XDG_SESSION_ID
+Find out the namespaces allowed for the user lxc. The wildcard in the command below will match both suid and guid files. We will map the LXC container to these regions.
+  lxcrunner> cat /etc/s*id|grep $USER
+  lxcrunner:624288:65536
+  lxcrunner:624288:65536
+From the output, we can see that both assigned suid and guid values start at 624288 and runs through the next 65536 integers.
+Let us set up configuration files as required by LXC before starting a container. The required file is in ~/.config/lxc/default.conf.
+  lxcrunner> mkdir -p ~/.config/lxc/
+  lxcrunner> vim ~/.config/lxc/default.conf
+Add in the following lines. Notice that the syntax might be different from what you find online. I am using the latest version of LXC, v3.0.3.
+We are setting the network interface type to be veth and creating a new bridge lxcbr0. We will come back to these later. Your hwaddr may differ; you can see the default values in /etc/lxc/default.conf.
+.
+<code>
+lxc.net.0.type = veth
+lxc.net.0.link = lxcbr0
+lxc.net.0.flags = up
+lxc.net.0.hwaddr = 00:16:3e:xx:xx:xx
+lxc.idmap = u 0 624288 65536
+lxc.idmap = g 0 624288 65536
+</code>
+==== Création du premier container ====
+Créer le container en tant qu'utilisateur lxcrunner
+  lxcrunner>lxc-create -n musique -t download
+Choisir ubuntu bionic amd64 ou faire directement :
+  lxcrunner>lxc-create -n musique -t download  -- -d ubuntu -r bionic -a amd64
+A noter pour le backup que les containers sont stockés à cet emplacement :
+  /home/lxcrunner/.local/share/lxc/musique (pour le container musique)
+A cet endroit, on trouve le fichier config propre au container et le répertoire rootfs qui contient le filesystem habituel d'un linux
+Le démarrer
+  lxcrunner>lxc-start musique
+Vérifier que ça marche
+  lxcrunner>lxc-ls -f
+==== Autostart du container ====
+Visiblement, il ne suffit pas d'ajouter le paramètre lxc.start.auto = 1 pour que le unpriviledged container démarre, a priori possible d'ajouter une instruction dans le contrab du user qui lance les containers :
+  crontab -e and add the following line:
+  @reboot lxc-autostart
+  * voir https://serverfault.com/questions/620709/how-to-auto-start-unprivileged-lxc-containers
+===== Installer Libretime dans le container =====
+Entrer dans le container
+  lxcrunner>lxc-attach musique
+On obtient un shell root, installer quelques outils :
+  apt update
+  apt upgrade
+  apt install git nano nload htop locate nmap
+Lancer l'installation de Libretime
+  cd /home/ubuntu/
+  git clone https://github.com/LibreTime/libretime
+  cd libretime
+  ./install -fiap
+Une fois l'installation finie, sortir du container
+  exit
+===== Créer les vhost apache pour proxy le traffic vers le container =====
+Identifier l'IP du container :
+  lxc-ls -f
+  NAME    STATE   AUTOSTART GROUPS IPV4       IPV6 UNPRIVILEGED
+  musique RUNNING 1         -      10.0.3.116 -    true
+Pour que le apache du serveur principal renvoie le traffic vers le container, il faut créer les vhost correspondants
+  nano /etc/apache2/sites-available/musique.domaine.org.conf
+<code>
+<VirtualHost *:80>
+       ServerAdmin mail@domaine.org
+       ServerName musique.domaine.org
+       ErrorLog ${APACHE_LOG_DIR}/musique.domaine.org-error.log
+       CustomLog ${APACHE_LOG_DIR}/musique.domaine.org-access.log combined
+	 ProxyPreserveHost       On
+	 ProxyPass / http://10.0.3.116/
+	 ProxyPassReverse / http://10.0.3.116/
+       <Proxy *>
+               Order deny,allow
+               Allow from all
+       </Proxy>
+RewriteEngine on
+RewriteCond %{SERVER_NAME} =musique.domaine.org
+RewriteRule ^ https://%{SERVER_NAME}%{REQUEST_URI} [END,QSA,R=permanent]
+</VirtualHost>
+</code>
+Et pour le https
+    nano /etc/apache2/sites-available/musique.domaine.org-le-ssl.conf
+<code>
+<IfModule mod_ssl.c>
+<VirtualHost  *:443>
+    ServerAdmin mail@domaine.org
+    ServerName musique.domaine.org
+       ErrorLog ${APACHE_LOG_DIR}/musique.domaine.org-error.log
+       CustomLog ${APACHE_LOG_DIR}/musique.domaine.org-access.log combined
+       ProxyPreserveHost       On
+       ProxyPass /  http://10.0.3.116/
+       ProxyPassReverse / http://10.0.3.116/
+       <Proxy *>
+               Order deny,allow
+               Allow from all
+       </Proxy>
+       SSLEngine on
+       SSLProxyEngine On
+       SSLProxyVerify none
+       SSLProxyCheckPeerCN off
+       SSLProxyCheckPeerName off
+       SSLProxyCheckPeerExpire off
+       SSLCertificateFile /etc/letsencrypt/live/musique.domaine.org/fullchain.pem
+       SSLCertificateKeyFile /etc/letsencrypt/live/musique.domaine.org/privkey.pem
+       Include /etc/letsencrypt/options-ssl-apache.conf
+</VirtualHost>
+</IfModule>
+</code>
+Ajouter ces vhost aux sites activés
+  a2ensite musique.domaine.org.conf musique.domaine.org-le-ssl.conf
+Relancer Apache
+  systemctl reload apache2
+===== Créer les certificats ssl pour le https =====
+En utilisant [[https://certbot.eff.org/|certbot]]
+Le principe est de générer le certificat avec le vhost apache du host par défaut adapté au domaine du site, puis de remettre en place les vhost proxy vers le container avec l'adresse du certificat précédemment généré. A priori, une fois le premier certificat généré, le renouvellement peut se faire avec les vhost proxy.
+Pour mémoire, pistes pour autres méthodes de validation du certificat par certbot avec un proxy :
+  * Force http-01 webroot authentication https://community.letsencrypt.org/t/using-certbot-behind-an-ssl-reverse-proxy/36783
+  * ProxyPass /.well-known ! https://bendellar.com/apache-as-reverse-proxy-for-letsencrypt-free-https-certificates/
+  * Activer un vhost https dans le container et y forwarder le traffic
+Validation manuelle après [[https://www.configserverfirewall.com/ubuntu-linux/ubuntu-disable-ipv6/|désactivation de ipv6]] (à adapter avec l'ip du serveur) en [[https://community.letsencrypt.org/t/connection-error-with-http-challenges/46795/10|forçant l'écoute de certbot en ipv4]] :
+  certbot certonly --manual --preferred-challenges http --http-01-address 163.172.20.20 -d musique.domaine.org --verbose
+Voir aussi la config du renouvellement du certificat si problème dans
+  /etc/letsencrypt/renewal/
+===== Libretime + https =====
+La page d'accueil de Libretime mixe du contenu http et https quand consulté via https, du coup des éléments sont bloqués par le navigateur. Pour palier cela, on peut rajouter une règle de substitution dans le vhost de Libretime dans le container :
+Activer le mod substitute
+  a2enmod substitute
+Editer le vhost dans le container
+  nano /etc/apache2/sites-available/airtime.conf
+<code>
+  # Quick fix for iframes that reference hard coded 'localhost' in paths.
+  # BEGIN:LOCALHOSTFIX--
+  <Location "/">
+      SetOutputFilter SUBSTITUTE;DEFLATE
+      AddOutputFilterByType SUBSTITUTE text/html
+      Substitute "s|http://radio.domaine.org//|/|ni"
+      Substitute "s|https://radio.domaine.org//|/|ni"
+      Substitute "s|http://radio.domaine.org/|/|ni"
+      Substitute "s|https://radio.domaine.org/|/|ni"
+  </Location>
+</code>
+Il reste le problème de l'appel du stream sur la page d'accueil qui se fait sur du https avec config de port dans Libretime qui doit être sur du http ...
+Test de passage au port 443 dans /etc/airtime/airtime.conf pour un résultat flou (pas de son dans le stream de sortie, comment passer le stream de sortie de libretime en https ?
+Voir aussi à propos de Libretime vs https dans un container :
+  * https://discourse.libretime.org/t/lt-behind-a-proxy/
+  * https://github.com/LibreTime/libretime/issues/515
+  * https://discourse.libretime.org/t/adding-ssl-to-libretime-icecast/347/12
+===== Finaliser l'installation de Libretime =====
+Pour ce faire, il faut se rendre à l'adresse web définie : http://musique.domaine.org et suivre la procédure proposée : création de la base de donnée, config rabbitmq, définition de l'url et du port puis relancer les services depuis l'intérieur du container
+  lxc-attach musique
+  systemctl start libretime-playout
+  systemctl start libretime-liquidsoap
+  systemctl start libretime-analyzer
+  systemctl start libretime-celery
+Si tout va bien on atterit sur la page d'accueil de Libretime, pour se logguer la première fois : admin / admin (ne pas oublier de changer ce mdp)
+{{media_08:libretimeaccueil.png|}}
+===== Mettre à jour les containers de la machine via un script =====
+Le script /lxc-_all-update.sh :
+<code>
+#!/bin/bash
+# Get the vm list
+vms="$(lxc-ls --active)"
+# Update each vm
+update_vm(){
+        local vm="$1"
+        echo "*** [VM: $vm [$(hostname) @ $(date)] ] ***"
+        /usr/bin/lxc-attach -n "$vm" apt-get -- -qq update
+        /usr/bin/lxc-attach -n "$vm" apt-get -- -qq -y upgrade
+        /usr/bin/lxc-attach -n "$vm" apt-get -- -qq -y clean
+        /usr/bin/lxc-attach -n "$vm" apt-get -- -qq -y autoclean
+        echo "-----------------------------------------------------------------"
+}
+# Do it
+for v in $vms
+do
+   update_vm "$v"
+done
+</code>
+Lancer le script en tant que lxcrunner
+  lxcrunner@server6:~$ ./lxc-_all-update.sh
+===== Sauvegarde de Libretime =====
+  * [[https://libretime.org/docs/backing-up-the-server|Suivre cette documentation]]
+====== Troubleshooting ======
+===== Désactiver ipv6 si ping images.linuxcontainers.org est résolu en ipv6 =====
+  * https://linuxconfig.org/how-to-disable-ipv6-address-on-ubuntu-18-04-bionic-beaver-linux
+===== Désactiver le serveur icecast dans les containers si pas utilisés =====
+  root@musique:~# systemctl  stop icecast2
+  root@musique:~# systemctl  disable icecast2
+===== Réglages apparmor =====
+Corriger les erreurs dans syslog server6 kernel: [12869825.600469] audit: type=1400 audit(1604160574.292:860): apparmor="DENIED" operation="mount" info="failed flags match" error=-13 profile="lxc-container-default-cgns" name="/" pid=24470 comm="(pachectl)" flags="rw, rslave" : il faut ajouter dans la configuration de chaque container :
+  nano /home/lxcrunner/.local/share/lxc/atelier/config
+  lxc.apparmor.profile = unconfined
+===== Réglages lxc-net vs bind9 named sur ubuntu 18.04 après update =====
+Si
+  lxc-net[17399]: dnsmasq: failed to create listening socket for Address already in use
+ça a l'air d'être le port 53 la source du conflit, désactiver bind9 (named) pour l'interface 10.0.5.0/24
+  nano  /etc/bind/named.conf.options
+Ajouter dans le fichier :
+<code>
+        allow-transfer {
+                ...
+                ...
+                // lxc-container
+.0.5.0/24
+        };
+</code>
+Ensuite :
+  sudo systemctl restart bind9
+  sudo systemctl restart lxc-net.service
+Pour debug
+  lxc-start musique --logfile /home/lxcrunner/logup.txt --logpriority DEBUG
+  * cf https://discuss.linuxcontainers.org/t/solved-dnsmasq-failed-to-create-listening-socket-for-192-150-0-1-address-already-in-use/3006
+Test occupation port
+  lsof -i
+===== Installation du 12 mars 2022 mars =====
+==== Faire un backup  ====
+https://libretime.org/docs/admin-manual/backup/
+  mkdir /home/lxcrunner/backupmigration/ && cd /home/lxcrunner/backupmigration/
+  sudo -u postgres pg_dumpall | gzip -c > airtime-backup.gz
+  tar -zcvpf airtime-backup-imported-atelier12032022.tgz /srv/airtime/stor/imported/
+  tar -zcvpf airtime-etc-atelier12032022.tgz /etc/airtime/
+  tar -zcvpf airtime-all-musique-12032022.tgz /home/lxcrunner/backupmigration/
+==== Sur le host ====
+  a2ensite musique.radiocampus.org.conf musique.radiocampus.org-le-ssl.conf radio.radiocampus.org.conf radio.radiocampus.org-le-ssl.conf
+  a2enmod proxy proxy_http proxy_wstunnel ssl http2 rewrite headers
+  systemctl restart apache2
+==== Dans le container en tant que root ====
+Installation à partir du dépôt git, la communauté Libretime a fait des paquets debian et ubuntu mais ils ne marchent pas avec la debian 11 et ubuntu 20.04, donc git ... https://github.com/LibreTime/libretime
+  apt install nano htop nload python3 git curl wget nmap net-tools locate
+  adduser lxcrunner
+  cd /home/lxcrunner/
+  git clone https://github.com/LibreTime/libretime
+  cd libretime
+  ./install -fiap
+Libretime installé !
+  sudo systemctl start libretime-analyzer
+  sudo systemctl start libretime-api
+  sudo systemctl start libretime-celery
+  sudo systemctl start libretime-liquidsoap
+  sudo systemctl start libretime-playout
+Utilisation d'un serveur icecast externe
+  apt remove --purge icecast2
+==== Restaurer le backup ====
+  tar -xpvf airtime-backup-imported-musique12032022.tgz
+  mv srv/airtime/stor/imported/ /srv/airtime/stor/imported/
+  gunzip airtime-db-backup-12032022.gz
+  sudo -u postgres dropdb airtime
+  sudo -u postgres psql -f airtime-backup-atelier12032022
+  apt remove --purge icecast2
+==== Passer Libretime en https ====
+Notamment si un fichier importé reste en "pending import", il faut changer airtime.conf comme cela :
+  nano /etc/airtime/airtime.conf
+<code>
+[general]
+api_key = ************************
+protocol = https
+base_url = radio.monserveur.org
+base_port = 443
+base_dir = /
+force_ssl = true
+cache_ahead_hours = 1
+</code>
 ====== Ressources ======
-  * LXC container documentation de référence https://linuxcontainers.org/fr/lxc/getting-started/
+  * Site du [[https://libretime.org/|projet Libretime]], [[https://libretime.org/install|documentation de l'installation]], [[https://discourse.libretime.org/|forum d'entre-aide]]
+  * LXC container unpriviledged https://blog.warmwolf.com/2020/04/securing-wordpress-unprivileged-lxc-container-on-ubuntu/2/
   * Créer un répertoire partagé entre les containers https://askubuntu.com/questions/691039/adding-a-shared-host-directory-to-an-lxc-lxd-container
+  * Documentation éparse liquidsoap libretime et + https://gitlab.com/guifi-exo/wiki/-/blob/master/howto/radio-audio-streaming.md
+{{tag>bj linux lxc libretime}}