Jittor 深度学习框架
1. 创建 Jittor / JupyterLab 运行环境
进入曙光智算平台页面,下拉查看“我的服务”,点击“智能计算服务”。
在 Notebook 页面中,点击创建 Notebook,开发工具选择 jupyter,加速器类型选择DCU,框架版本选择含 Jittor 的选项,资源规格可选 4 加速器(4卡)。
点击创建后曙光平台开始配置部署运行环境,需要等待几分钟完成部署。
2. 在 JupyterLab 中使用 Jittor
在 Notebook 页面找到刚刚创建的运行环境,点击 “进入” 即可打开新的浏览器页面使用 JupyterLab。
首先打开一个终端环境测试 Jittor,可从首页打开 Terminal,也可从 File->New->Terminal 进入。
输入以下命令运行 python ,测试 jittor
python -m jittor.test.test_example
第一次运行时 Jittor 需要一段时间编译安装相关运行环境。首次运行时,Jittor 会报黄色 warning。
这是因为 Jittor 在尝试下载 cpu 加速库,但是运行环境不联网,导致下载失败。我们可以从 https://cg.cs.tsinghua.edu.cn/jittor/assets/dnnl_lnx_2.2.0_cpu_gomp.tgz 把加速库下载到本地,再上传到路径 public/home/<username>/.cache/jittor/mkl/dnnl_lnx_2.2.0_cpu_gomp.tgz
。具体上传方式见第3节。
在曙光平台中使用 Jittor 并利用 DCU加速的方式与使用CUDA相同,您不需要对代码针对硬件的修改,Jittor已经完成了适配。用户指定 jt.flags.use_cuda=1
后,Jittor即可利用 DCU加速运算。
3. 上传数据
在控制台页面,找到 文件-> E-File
,点击即可进入 E-File 页面,上传或者下载数据。
4. 安装 python 包
JupyterLab 里无法访问互联网,因此用户不能直接通过 pip 安装 python 包,但是可以通过登陆节点访问外网。
在控制台页面,找到 命令行 (E-Shell)
,点击打开 E-Shell 页面。
在 E-Shell 中,运行以下命令加载 python3.8
module load apps/python/3.8.10
之后就可以使用 pip 安装所需要的 python 包,如下所示。通过此方式安装的 python 包在已有的 JupyterLab 运行环境中也可以使用。
python3 -m pip install tensorboardX
5. 更新 Jittor
创建运行环境时的 Jittor 版本可能低于最新版本,因此您可以依据第 4 节的方法,使用 pip 更新 Jittor。
python3 -m pip install -U jittor