Linux深度学习环境搭建：10年编辑的排障实录

　　两个月前被领导按头搞Linux深度学习环境搭建，我原以为凭十年排障经验能速战速决——结果在CUDA版本兼容性上卡了三天。显示器上的校样稿还开着，外卖凉了三次，审稿间的灯从早亮到晚，最后发现是驱动版本和系统内核不匹配，这破事连NVIDIA官网文档都没写清楚。

　　第一天装CUDA时，我按官网步骤走，结果`nvidia-smi`报错"Failed to initialize NVML"。查日志发现是驱动版本比CUDA要求的低半级，但`apt`源里只有更高版本。我原以为降级驱动就行，结果降完系统直接黑屏——后来才知道某些发行版会强制锁定驱动版本，得手动改`/etc/modprobe.d/`里的配置。领导发来六十秒语音骂"怎么还没好"，我盯着满屏的`dmesg`错误日志，突然想起十年前排障时用的笨办法：直接下载.run文件手动编译。

　　第二天装cuDNN更离谱。我按教程把.so文件扔进CUDA目录，结果PyTorch训练时报"CUDA error: CUBLAS_STATUS_ALLOC_FAILED"。查了半天发现是cuDNN版本和CUDA不匹配——官网给的版本对照表是错的，实际得用比CUDA低两小版的cuDNN。我翻出十年前记的笔记，发现2015年就踩过这坑，当时NVIDIA的文档里还写着"推荐使用最新版"，现在居然还在玩这套。

　　跟运维吵架那段最搞笑。我说要换Ubuntu 20.04，他说"公司标准是18.04"。我甩出NVIDIA的兼容性列表，他回"标准不能改"。最后我偷偷在虚拟机里装20.04，结果发现驱动能正常加载——原来18.04的默认内核太老，得手动升级内核再降级驱动，这操作比直接换系统还麻烦。领导路过时问"进度"，我指着屏幕上滚动的`make`进程说"快了"，其实心里骂着"快你大爷"。

　　第三天装Anaconda时，我原以为能省点心——结果`conda install pytorch`报"Solving environment: failed"。查日志发现是镜像源冲突，换了清华源后卡在`Collecting package metadata`。我盯着进度条从0%跳到99%再卡住，突然想起十年前排障时用的土办法：直接下载whl文件手动安装。最后用`pip`装了PyTorch，结果又和CUDA版本冲突——原来`pip`和`conda`装的包会互相覆盖，这坑十年前就有，现在居然还没解决。

　　最离谱的是装TensorFlow那天。我按教程装完`tensorflow-gpu`，结果训练时GPU利用率始终是0%。查`nvidia-smi`发现进程没识别到GPU，用`strace`跟踪发现是TensorFlow在找`libcuda.so.1`，但系统里装的是`libcuda.so.1.1`。我原以为做个软链接就行，结果软链接后TensorFlow报"CUDA driver version is insufficient for CUDA runtime version"——原来驱动版本和运行时版本得严格匹配，这破规则十年前就有，现在居然更严格了。

文章配图，仅供参考

　　现在环境终于跑起来了，但领导又让写搭建教程。我翻着十年前的排障笔记，发现里面80%的内容现在都用不上——驱动安装方式变了，包管理工具换了，甚至错误提示都改了。我原以为经验能积累成财富，结果发现技术债才是永恒的——那些十年前踩过的坑，现在换个形式继续存在，而解决它们的办法，往往是抛弃旧方案，用新工具重新开始。

　　下一步打算把虚拟机镜像备份到NAS，再写个自动化脚本——毕竟下次领导再让搭环境，我可不想再经历一遍这破事。至于教程？随便写写得了，反正没人会认真看，等他们踩了坑自然会来问我。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!