MacOS下从源码编译

环境准备

  • MacOS 版本 10.x/11.x (64 bit) (不支持GPU版本)

  • Python 版本 3.6/3.7/3.8/3.9 (64 bit)

选择CPU/GPU

  • 目前仅支持在MacOS环境下编译安装CPU版本的PaddlePaddle

安装步骤

在MacOS系统下有2种编译方式,推荐使用Docker编译。 Docker环境中已预装好编译Paddle需要的各种依赖,相较本机编译环境更简单。

使用Docker编译

Docker是一个开源的应用容器引擎。使用Docker,既可以将PaddlePaddle的安装&使用与系统环境隔离,也可以与主机共享GPU、网络等资源

使用Docker编译PaddlePaddle,您需要:

  • 在本地主机上安装Docker

  • 使用Docker ID登陆Docker,以避免出现Authenticate Failed错误

请您按照以下步骤安装:

1. 进入Mac的终端

2. 请选择您希望储存PaddlePaddle的路径,然后在该路径下使用以下命令将PaddlePaddle的源码从github克隆到本地当前目录下名为Paddle的文件夹中:

git clone https://github.com/PaddlePaddle/Paddle.git

3. 进入Paddle目录下:

cd Paddle

4. 拉取PaddlePaddle镜像

对于国内用户,因为网络问题下载docker比较慢时,可使用百度提供的镜像:

  • CPU版的PaddlePaddle:

    docker pull registry.baidubce.com/paddlepaddle/paddle:latest-dev
    

如果您的机器不在中国大陆地区,可以直接从DockerHub拉取镜像:

  • CPU版的PaddlePaddle:

    docker pull paddlepaddle/paddle:latest-dev
    

您可以访问DockerHub获取与您机器适配的镜像。

5. 创建并进入满足编译环境的Docker容器:

docker run --name paddle-test -v $PWD:/paddle --network=host -it registry.baidubce.com/paddlepaddle/paddle:latest-dev /bin/bash
  • --name paddle-test:为您创建的Docker容器命名为paddle-test

  • -v:$PWD:/paddle:将当前目录挂载到Docker容器中的/paddle目录下(Linux中PWD变量会展开为当前路径的绝对路径

  • -it:与宿主机保持交互状态

  • registry.baidubce.com/paddlepaddle/paddle:latest-dev:使用名为registry.baidubce.com/paddlepaddle/paddle:latest-dev的镜像创建Docker容器,/bin/bash 进入容器后启动/bin/bash命令

注意: 请确保至少为docker分配4g以上的内存,否则编译过程可能因内存不足导致失败。您可以在docker用户界面的“Preferences-Resources”中设置容器的内存分配上限。

6. 进入Docker后进入paddle目录下:

cd /paddle

7. 切换到较稳定版本下进行编译:

git checkout [分支名]

例如:

git checkout release/2.2

注意:python3.6、python3.7版本从release/1.2分支开始支持, python3.8版本从release/1.8分支开始支持, python3.9版本从release/2.1分支开始支持

8. 创建并进入/paddle/build路径下:

mkdir -p /paddle/build && cd /paddle/build

9. 使用以下命令安装相关依赖:

  • 安装protobuf 3.1.0。

pip3.7 install protobuf==3.1.0

注意:以上用Python3.7命令来举例,如您的Python版本为3.6/3.8/3.9,请将上述命令中的pip3.7改成pip3.6/pip3.8/pip3.9

  • 安装patchelf,PatchELF 是一个小而实用的程序,用于修改ELF可执行文件的动态链接器和RPATH。

apt install patchelf

10. 执行cmake:

  • 对于需要编译CPU版本PaddlePaddle的用户(我们目前不支持MacOS下GPU版本PaddlePaddle的编译):

    cmake .. -DPY_VERSION=3.7 -DWITH_GPU=OFF -DWITH_TESTING=OFF -DWITH_AVX=OFF -DCMAKE_BUILD_TYPE=Release
    
  • 具体编译选项含义请参见编译选项表

  • 请注意修改参数-DPY_VERSION为您希望编译使用的python版本, 例如-DPY_VERSION=3.7表示python版本为3.7

11. 执行编译:

使用多核编译

make -j$(nproc)

注意: 编译过程中需要从github上下载依赖,请确保您的编译环境能正常从github下载代码。

12. 编译成功后进入/paddle/build/python/dist目录下找到生成的.whl包:

cd /paddle/build/python/dist

13. 在当前机器或目标机器安装编译好的.whl包:

pip3.7 install -U [whl包的名字]

注意: 以上用Python3.7命令来举例,如您的Python版本为3.6/3.8/3.9,请将上述命令中的pip3.7改成pip3.6/pip3.8/pip3.9。

恭喜,至此您已完成PaddlePaddle的编译安装。您只需要进入Docker容器后运行PaddlePaddle,即可开始使用。更多Docker使用请参见Docker官方文档



本机编译

请严格按照以下指令顺序执行

1. 检查您的计算机和操作系统是否符合我们支持的编译标准:

uname -m

并且在关于本机中查看系统版本。并提前安装OpenCV

2. 安装Python以及pip:

请不要使用MacOS中自带Python,我们强烈建议您使用Homebrew安装python(对于Python3请使用python官方下载python3.6.x、python3.7.x、python3.8、python3.9), pip以及其他的依赖,这将会使您高效编译。

使用Python官网安装

请注意,当您的mac上安装有多个python时请保证您正在使用的python是您希望使用的python。

3. (Only For Python3)设置Python相关的环境变量:

  • a. 首先使用

    find `dirname $(dirname $(which python3))` -name "libpython3.*.dylib"
    

    找到Pythonlib的路径(弹出的第一个对应您需要使用的python的dylib路径),然后(下面[python-lib-path]替换为找到文件路径)

  • b. 设置PYTHON_LIBRARIES:

    export PYTHON_LIBRARY=[python-lib-path]
    
  • c. 其次使用找到PythonInclude的路径(通常是找到[python-lib-path]的上一级目录为同级目录的include,然后找到该目录下python3.x的路径),然后(下面[python-include-path]替换为找到路径)

  • d. 设置PYTHON_INCLUDE_DIR:

    export PYTHON_INCLUDE_DIRS=[python-include-path]
    
  • e. 设置系统环境变量路径:

    export PATH=[python-bin-path]:$PATH
    

    (这里[python-bin-path]为将[python-lib-path]的最后两级目录替换为/bin/后的目录)

  • f. 设置动态库链接:

    export LD_LIBRARY_PATH=[python-ld-path]
    

    以及

    export DYLD_LIBRARY_PATH=[python-ld-path]
    

    (这里[python-ld-path]为[python-bin-path]的上一级目录)

  • g. (可选)如果您是在MacOS 10.14上编译PaddlePaddle,请保证您已经安装了对应版本的Xcode。

4. 执行编译前请您确认您的环境中安装有编译依赖表中提到的相关依赖,否则我们强烈推荐使用Homebrew安装相关依赖。

MacOS下如果您未自行修改或安装过“编译依赖表”中提到的依赖,则仅需要使用pip安装numpy,protobuf,wheel,使用homebrew安装wget,swig, unrar,另外安装cmake即可

  • a. 这里特别说明一下CMake的安装:

    CMake我们支持3.15以上版本,推荐使用CMake3.16,请根据以下步骤安装:

    1. 从CMake官方网站下载CMake镜像并安装

    2. 在控制台输入

      sudo "/Applications/CMake.app/Contents/bin/cmake-gui" –install
      
  • b. 如果您不想使用系统默认的blas而希望使用自己安装的OPENBLAS请参见FAQ

5. 将PaddlePaddle的源码clone在当下目录下的Paddle的文件夹中,并进入Padde目录下:

git clone https://github.com/PaddlePaddle/Paddle.git
cd Paddle

6. 切换到较稳定release分支下进行编译:

git checkout [分支名]

例如:

git checkout release/2.2

注意:python3.6、python3.7版本从release/1.2分支开始支持, python3.8版本从release/1.8分支开始支持, python3.9版本从release/2.1分支开始支持

7. 并且请创建并进入一个叫build的目录下:

mkdir build && cd build

8. 执行cmake:

具体编译选项含义请参见编译选项表

  • 对于需要编译CPU版本PaddlePaddle的用户:

    cmake .. -DPY_VERSION=3.7 -DPYTHON_INCLUDE_DIR=${PYTHON_INCLUDE_DIRS} \
    -DPYTHON_LIBRARY=${PYTHON_LIBRARY} -DWITH_GPU=OFF -DWITH_TESTING=OFF  -DCMAKE_BUILD_TYPE=Release
    

-DPY_VERSION=3.7请修改为安装环境的Python版本

9. 使用以下命令来编译:

make -j4

10. 编译成功后进入/paddle/build/python/dist目录下找到生成的.whl包:

cd /paddle/build/python/dist

11. 在当前机器或目标机器安装编译好的.whl包:

pip install -U(whl包的名字)

pip3 install -U(whl包的名字)

恭喜,至此您已完成PaddlePaddle的编译安装

验证安装

安装完成后您可以使用 pythonpython3 进入python解释器,输入

import paddle

再输入

paddle.utils.run_check()

如果出现PaddlePaddle is installed successfully!,说明您已成功安装。

如何卸载

请使用以下命令卸载PaddlePaddle

  • CPU版本的PaddlePaddle:

    pip uninstall paddlepaddle
    

    pip3 uninstall paddlepaddle
    

使用Docker安装PaddlePaddle的用户,请进入包含PaddlePaddle的容器中使用上述命令,注意使用对应版本的pip