BayesGear 算力容器

介绍 BayesGear 算力容器的使用方式
去 GitHub 贡献本页面

容器的执行模型

算力容器作为一个计算单元,可以执行各种各样的计算工作,包括数据预处理,机器学习模型的训练,利用已有模型对未标注数据进行推断等。算力容器通过选择算力类型指定算力容器的计算能力以及绑定的硬件(CPU / GPU)。然后通过设置容器中所采用的镜像指定容器的运行时环境,即代码所需要运行的依赖类库。

容器本身只提供计算资源,通过绑定数据集输出来加载数据并将结果保存下来用于其他用途。

容器的创建

容器目前支持两种方式:Python 脚本执行和 Jupyter 编辑器。其中 Python 脚本执行需首先上传要执行的代码,容器的执行目录默认为代码所在目录。

而 Jupyter 编辑器其默认将目录设置为输出目录。

容器的执行限制

算力配额

容器计算资源是独占式的资源,一旦用户分配了这个资源,其所分配的 CPU GPU 内存都不能被其他用户所使用。一旦容器开始运行,系统将会对该算力资源以运行时间计费。一旦可用时长用尽将不再能创建该算力的容器。用户在不同资源下的配额余额可在 “账单” 页面查看。

算力的并行限额

为了避免计算资源被少数人所独占,不同算力类型所可以同时开启的算力容器个数是有限制的,每个用户的限制各不相同。一旦达到某种算力的并行执行的上限,再次创建算力容器时将会报如下的错误信息。

两种模式结合使用

Jupyter 编辑器模式适合即时的文件执行和修改,但是其对计算资源的使用效率不高,在用户编辑和调试的过程中其资源经常是浪费的;Python 脚本上传方式在容器开始运行后会立即执行 Python 代码,对计算资源的利用效率高,但是其修改起来非常麻烦,每次更新代码都需要重新上传。

因此建议可以在低算力模式下(CPU 算力)首先创建 Notebook 编辑器,在其中保证代码可以正常执行后关闭资源并将其 “输出” 下载。然后再创建一个 Python 脚本执行模式的 GPU 算力容器上传下载的代码,执行脚本。

下载输出结果

容器的终止

容器在执行的任何过程都可以被终止,但是 注意 容器终止可能会导致部分输出结果没有同步成功,请在容器的 “输出” 标签页确认其当前数据的完整性后再终止容器。

终止容器

容器的删除

容器在执行完毕之后会自动释放所占有的算力资源,然而通常来说,容器执行完毕后都会有一些输出结果保存下来以备他用。输出会占用用户的存储资源。如果不再需要该资源的 “输出”,可以在容器的 “设置” 选项卡下将该容器删除,容器删除后将会释放容器 “输出” 所占有的用户存储资源。