Skip to content

install_guide.md

Latest commit

 

History

History
81 lines (54 loc) · 3.48 KB

install_guide.md

File metadata and controls

81 lines (54 loc) · 3.48 KB
Raw

MindSpeed LLM软件安装

本文主要向用户介绍如何快速基于MindSpore框架完成MindSpeed LLM（大语言模型分布式训练套件）的安装。

硬件配套和支持的操作系统

表 1 产品硬件支持列表

产品 是否支持
Atlas A3 训练系列产品 √
Atlas A3 推理系列产品 x
Atlas A2 训练系列产品 √
Atlas A2 推理系列产品 x
Atlas 200I/500 A2 推理产品 x
Atlas 推理系列产品 x
Atlas 训练系列产品 x

Note

本节表格中“√”代表支持，“x”代表不支持。

  • 各硬件产品对应物理机部署场景支持的操作系统请参考兼容性查询助手。
  • 各硬件产品对应虚拟机及容器部署场景支持的操作系统请参考《CANN 软件安装》的“操作系统兼容性说明”章节。

安装前准备

请参见《版本说明》中的“相关产品版本配套说明”章节，下载安装对应的软件版本。

安装驱动固件

请单击固件与驱动，并根据引导完成固件与驱动的安装。

安装CANN

安装配套版本的NPU驱动固件、CANN软件（Toolkit、ops和NNAL）并配置CANN环境变量，具体请参考《CANN 软件安装》。

CANN软件提供进程级环境变量设置脚本，训练或推理场景下使用NPU执行业务代码前需要调用该脚本，否则业务代码将无法执行。

source /usr/local/Ascend/cann/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh --cxx_abi=0

以上命令以root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径进行替换。

[!NOTICE]

安装运行程序建议使用非root用户，且建议对安装程序的目录文件做好权限管控：文件夹权限设置为750，文件权限设置为640。可以通过设置umask控制安装后文件的权限，如设置umask为0027。 更多安全相关内容请参见《安全声明》中各组件关于“文件权限控制”的说明。

安装MindSpore框架

参考MindSpore官方安装指导，根据系统类型、CANN版本及Python版本获取相应的安装命令以安装MindSpore 2.9.0，安装前请确保网络畅通。

安装MindSpeed LLM

请参考如下操作完成MindSpeed LLM及相关依赖的安装。

  1. 使能环境变量。

    source /usr/local/Ascend/cann/set_env.sh
source /usr/local/Ascend/nnal/atb/set_env.sh --cxx_abi=0

    以上命令以root用户安装后的默认路径为例，请用户根据set_env.sh的实际路径进行替换。

  2. 安装MindSpeed-Core-MS转换工具。

    git clone https://gitcode.com/ascend/MindSpeed-Core-MS.git -b master

  3. 使用MindSpeed-Core-MS内部脚本提供配置环境。

    cd MindSpeed-Core-MS
pip3 install -r requirements.txt  # 安装第三方依赖
source auto_convert.sh llm        # 拉取训练所需组件库
source tests/scripts/set_path.sh  # 设置环境变量