歷史上，人工智能的概念幾經沉浮。如今，憑借低成本的存儲、高性能的算力和改進的訓練方法，舊的概念再次煥發(fā)出新的生機。以TensorFlow和PyTorch為代表的一眾深度學習框架的出現(xiàn)，更是將這個領域的門檻降到天下何人不煉丹的程度。

然而，深度學習靠框架，框架還要挑CUDA。

技術的飛速發(fā)展和訓練框架的野蠻迭代背后，是一地不兼容的版本號，和繞口令一般的困境。

不同的PyTorch版本依賴不同的CUDA版本

不同的TensorFlow版本依賴不同的cuDNN版本

不同的cuDNN版本也依賴不同的CUDA版本

不同的CUDA版本依賴不同的NVIDIAGPU驅動版本

最后不同操作系統(tǒng)的不同版本只支持個別版本的GPU驅動

所以新手最常遇到的場景是，為了運行一份最后更新于三年前的、散發(fā)著古早味的、據(jù)說很厲害的代碼，降級并重裝整個操作系統(tǒng)，并且常常因為誤信了網上流傳的同樣古早的二手知識而以失敗告終。

基于云的GPU環(huán)境一般都會提供預裝的鏡像，但畢竟選擇有限，不能覆蓋所有的場景。數(shù)據(jù)科學家們大多不是工程師，糾纏這些底層細節(jié)既不擅長也無意義。工程化的缺失一直是深度學習領域面臨的重大問題，年輕的煉丹師們流汗又流淚。

本文將介紹如何基于容器技術快速供給和切換不同的cuDNN/CUDA運行時，輕松搭建不同版本的深度學習環(huán)境。

GPU容器化的核心是NVIDIA Container Toolkit：

不同的容器共享GPU硬件和驅動，上層的cuDNN/CUDA組件已經預先打包在鏡像里，CUDA與底層的驅動和操作系統(tǒng)實現(xiàn)解耦，不同版本的運行時可以在同一臺主機上共存，宿主機上只需要安裝最新版本的NVIDIA GPU驅動即可。

盡管很寬泛，但是NVIDIAContainer Toolkit對操作系統(tǒng)的發(fā)行版和版本號還是有基本的要求：

上表中常用的操作系統(tǒng)，Debian過于保守，Ubuntu太過激進，裝機量較大的CentOS又前途不明，所以我們選擇完全兼容CentOS又有Oracle官方長期支持保障的Oracle Linux作為環(huán)境安裝的基石，這里使用最新的8.4版本。

首先安裝GPU驅動，NVIDIA提供了三種安裝方式：本地全量rpm包、網絡rpm倉庫和二進制可執(zhí)行文件。毫無疑問應該選擇本地全量rpm包，因為舊的依賴包不久就會被從網絡上移除，而GPU硬件的使用壽命明顯遠遠長于這些軟件，所以不建議選擇網絡倉庫，以免將來無法重新安裝;不選擇二進制可執(zhí)行文件是因為安裝后難以干凈地移除，升級時可能會遇到沖突。

在https://developer.nvidia.com/cuda-downloads下載全量rpm包：

安裝內核頭文件，注意OracleLinux默認使用的是UEK內核，如果使用主線內核請做相應調整(安裝kernel-devel)：

【代碼】

安裝驅動模塊和必要的依賴：

【代碼】

第二步，安裝并啟動Docker服務：

【代碼】

最后，安裝NVIDIA Container Toolkit并且重啟Docker服務：

【代碼】

NVIDIA在https://gitlab.com/nvidia/container-images/cuda/blob/master/doc/supported-tags.md提供了從CUDA 9.2到CUDA 11..4.1的多種官方鏡像，創(chuàng)建不同版本的cuDNN/CUDA運行時只需要簡單拉取對應的鏡像即可。

比如安裝PyTorch 1.9.0所需的CUDA 10.2：

【代碼】

【輸出】

不要被右上角的CUDA版本號嚇到，它只是表明當前宿主機的GPU驅動所能支持CUDA的最高版本，容器中真正的CUDA版本可以通過nvcc命令來驗證：

【代碼】

【輸出】

祝煉丹成功。