运行时环境

Updated , 去 GitHub 贡献本页面

目前支持的运行时环境

框架 名称 描述
TensorFlow 1.13 tensorflow-1.13 Python 3.6 + TensorFlow 1.13.1 + Keras 2.2.4
TensorFlow 1.12 tensorflow-1.12 Python 3.6 + TensorFlow 1.12.0 + Keras 2.2.4
TensorFlow 1.11 tensorflow-1.11 Python 3.6 + TensorFlow 1.11.0 + Keras 2.2.4
TensorFlow 1.10 tensorflow-1.10 Python 3.6 + TensorFlow 1.10.0 + Keras 2.2.0
TensorFlow 1.9 tensorflow-1.9 Python 3.6 + TensorFlow 1.9.0 + Keras 2.2.0
PyTorch 1.0 pytorch-1.0.0 Python 3.6 + PyTorch 1.0.0 + fastai 1.0.39

运行时环境中的通用依赖

OpenBayes 默认在运行时环境中包含了大量的基础依赖，以减少在每次容器启动时耗费运行资源进行依赖的下载与安装。

预先安装的依赖可以按照用途分为一下几个方面：

1. 通用机器学习类库

  • scikit-learn 通用机器学习类库，包含了大量的机器学习模型、数据分析、数据挖掘算法以及可视化工具
  • xgboost 一个性能优异的 GBDT 模型实现，大量 kaggle 的获奖算法都在此算法之上构建
  • onnx 深度学习模型转换类库
  • spaCy 工业级自然语言处理类库

2. 图像处理工具

常用的图形处理类库

  • opencv 功能强大的图像处理工具
  • Pillow Python 下常用的图像处理工具

3. 数据分析类库

  • pandas
  • scipy
  • matplotlib
  • numpy
  • h5py

如何添加不在列表中的依赖

默认的 OpenBayes 运行时环境已经安装了大量的机器学习场景下的依赖，如果你依然需要额外的依赖，可以通过以下方式安装。

安装 Python 的类库

如果你在上传代码并以「Python 脚本执行」的方式运行代码的时候需要一些额外的依赖，可以在在上传的代码的根目录定义一个名为 openbayes_requirements.txt 的文件并在里面添加需要的依赖和其他文件一并上传即可。在代码运行前，系统会首先安装这些依赖后再执行「python 脚本」。

该文件内容的格式和 Python 的 requirements.txt 格式是一致的，一个典型的 openbayes_requirements.txt 文件内容如下：

jieba
tqdm==4.11.2

其中 jieba tqdm 是两个可以通过 pip 安装的类库，通过以上格式即可在执行「python 脚本」之前首先安装这些类库。tqdm==4.11.2 的 == 之后指定了想要具体安装的版本。

注意 系统中一些依赖如 tensorflow pytorch 的版本不建议被随意修改，因为不同版本的 tensorflow 或者 pytorch 对其底层的依赖也是有区别的，可能导致当前环境的损坏。

安装其他依赖

如果是在「Jupyter 编辑器」中可以参见下一部分。如果是「python 脚本」场景你可以用以下方式安装额外的非 Python 的依赖：

  1. 将依赖安装命令包含在「执行命令」中

    例如想要在运行程序前下载必要的 git 仓库，可以使用以下「执行命令」：

    $ git clone https://github.com/tensorflow/models.git && cd models && python ...

  2. 准备一个 setup 脚本

    可以将以上命令放进一个 shell 脚本中，并在「执行命令」中执行这个脚本即可。

    例如我这里采用命令 setup.sh 的脚本，其内容如下：

    git clone https://github.com/tensorflow/models.git
cd models
pip install -r requirements.txt

    然后「执行命令」如下：

    $ bash setup.sh && python ...

注意 你的运行时环境为 Linux Ubuntu 环境，如果想要安装额外的包依赖，可以采用 apt-get 或者 apt 命令，当然在执行之前通常需要执行命令 apt-get update 或者 apt update

在 Jupyter 编辑器中安装依赖

在「Jupyter 编辑器」中你可以在其中安装任意你需要的依赖，不论是 Python 的或者是通过 apt 安装的其他依赖。

例如下面就是在编辑器中安装一个额外的 Python 依赖：

在输入 ! 之后跟上 pip 安装的命令即可。

而通过 !apt install xxx 即可在其中安装 apt 的包依赖：

安装 Jupyter 扩展

「Jupyter 编辑器」有很多扩展，我们可以在「Terminal」中添加我们需要的扩展。我们这里展示如何安装一个自动增加编辑器目录的扩展 jupyterlab-toc。

打开一个「Terminal」，并输入以下命令：

jupyter labextension install @jupyterlab/toc

再次打开一个 .ipynb 文件，即可看到左侧出现了「目录」的选项卡，点击后即可看到当前文件的目录了。