Différences

Ci-dessous, les différences entre deux révisions de la page.

--- linux_compiler_tensorflow_avec_bazel [2021/12/17 07:56] – [Compilation de tensorflow] serge
+++ linux_compiler_tensorflow_avec_bazel [2021/12/20 11:13] (Version actuelle) – [La version Intel de Tensorflow] serge
@@ Ligne 12: / Ligne 12: @@
 </code>
-Donne toujours le message AVX2 et FMA, et ça ne va pas plus vite !
+Donne toujours le message AVX2 et FMA. Mais c'est normal.\\
+Bienvenue dans le monde de Tensoflow: c'est un Warning, mais ce n'est pas forcément vrai !\\
+Mon FPS a augmenté de 10 à 20 % :-P
+**Il est inutile de compiler** 8-)
 =====Ressources=====
   * **[[https://www.tensorflow.org/install/source|Compiler à partir de la source]]**
+  * **[[https://www.intel.com/content/www/us/en/developer/articles/guide/optimization-for-tensorflow-installation-guide.html|Build TensorFlow from Source with Intel oneAPI oneDNN library]]**
 Sur les internets, ça en cause:
@@ Ligne 21: / Ligne 25: @@
   * https://technofob.com/2019/06/14/how-to-compile-tensorflow-2-0-with-avx2-fma-instructions-on-mac
   * https://github.com/tensorflow/tensorflow/issues/7660
-  * https://gist.github.com/bzamecnik/22340d5ba463eb25fd859f1bda3ab530
   * https://ai-pool.com/d/proper-way-to-compile-tensorflow-with-sse4-2-and-avx
   * https://github.com/GTGraphics3/tensorflow-1.4.2-AVX-MKL
-  * https://stackoverflow.com/questions/41293077/how-to-compile-tensorflow-with-sse4-2-and-avx-instructions
-  * https://www.intel.com/content/www/us/en/developer/articles/guide/optimization-for-tensorflow-installation-guide.html
 =====Installation de Bazel=====
@@ Ligne 41: / Ligne 42: @@
 =====Sans GPU sur Debian=====
 Désinstaller les packages python tensorflow si ils sont installés.
-  pip3 list
+<code bash>
-  # Dans la list, chercher ce qu'il faut désinstaller ...
+pip3 list
-  python3 -m pip uninstall tensorflow
+# Dans la list, chercher ce qu'il faut désinstaller ...
+python3 -m pip uninstall tensorflow intel-tensorflow
+...
+</code>
 Installation du nécessaire:
-  python3 -m pip install numpy wheel protobuf
+<code bash>
-  python3 -m pip install keras_preprocessing --no-deps
+python3 -m pip install numpy wheel protobuf
+python3 -m pip install keras_preprocessing --no-deps
+</code>
 Récupération des sources de tensorflow:
-  cd /votre/dossier/src
+<code bash>
-  git clone https://github.com/tensorflow/tensorflow
+cd /votre/dossier/src
-  ./configure
+git clone https://github.com/tensorflow/tensorflow
+./configure
+</code>
 Cela génère un fichier .tf_configure.bazelrc dans le dossier tensorflow (c'est un fichier caché: Ctrl+h).\\
@@ Ligne 73: / Ligne 80: @@
 ====Compilation de tensorflow====
-  sudo ln -s /usr/bin/python3 /usr/bin/python
+<code bash>
-  bazel build -j 4  --copt=-mavx2 --copt=-mfma  //tensorflow/tools/pip_package:build_pip_package
+sudo ln -s /usr/bin/python3 /usr/bin/python
-  ./bazel-bin/tensorflow/tools/pip_package/build_pip_package /media/data/tensorflow_pkg
+bazel build -j 4  --copt=-mavx2 --copt=-mfma  //tensorflow/tools/pip_package:build_pip_package
+./bazel-bin/tensorflow/tools/pip_package/build_pip_package /media/data/tensorflow_pkg
+</code>
 ===Consommation mémoire===
-Sur un i5 à 8 threads et 8 Go de Ram: -j 4 pour limiter la consommation de mémoire, qui néanmoins utilise 30% de la Swap de 8 Go.
+Sur un i5 à 8 threads et 8 Go de Ram: -j 2 pour limiter la consommation de mémoire, sinon Swap de 8 Go insuffisante.
 ===Stop et reprise===
@@ Ligne 85: / Ligne 94: @@
 ===Success===
 <code bash>
-Target //tensorflow/tools/pip_package:build_pip_package up-to-date:
+INFO: Elapsed time: 19106.040s, Critical Path: 196.86s
-  bazel-bin/tensorflow/tools/pip_package/build_pip_package
+soit 5.3 heures, perso je trouve 7 heures!
-INFO: 41 processes: 24 internal, 17 local.
+INFO: 11460 processes: 1325 internal, 10135 local.
-INFO: Build completed successfully, 41 total actions
+INFO: Build completed successfully, 11460 total actions
 </code>
-====Nettoyage pour recommencer====
-  bazel clean
+====Nettoyage pour recommencer====
+<code bash>
+bazel clean
+</code>
 ====Installation====
-  cd /media/data/3D/projets/grande_echelle_move
+<code bash>
-  source mon_env/bin/activate
+cd /media/data/3D/projets/grande_echelle_move
-  python3 -m pip uninstall tensorflow
+source mon_env/bin/activate
-  python3 -m pip install /media/data/src/tensorflow-2.8.0-cp38-cp38-linux_x86_64.whl
+python3 -m pip uninstall tensorflow
+python3 -m pip install /media/data/src/tensorflow-2.8.0-cp38-cp38-linux_x86_64.whl
+</code>
+====Utilisation====
+Le message d'info AVX2 et FMA est toujours là !
 {{tag>ia linux python sb tensorflow}}