跳到主要内容

23 篇博文 含有标签「JupyterLab」

查看所有标签

· 阅读需 2 分钟
Shanchuan Xu
Shanchuan Xu
Backend Developer

我们收到了很多有关如何连接 OpenBayes Jupyter 的问题，我们的流程和传统的 ssh ip 的流程不一样，为了解答大家的问题，我们在 通过 SSH 连接运行中的 Jupyter 执行 做了进一步的介绍。

同时，还增加了 如何连接 OpenBayes Jupyter Server 的文档，介绍如何直接使用 OpenBayes 中的 Jupyter 环境执行本地的 Jupyter 文件。

功能​

  • 移动了默认的 JupyterLab 所生成的 checkpoint 的目录，不会在每个目录下都生成 .ipynb_checkpoints 目录了，对于已经存在的隐藏目录可以通过命令 find . -name '.ipynb_checkpoints' -exec rm -rf {} \; 来删除
  • 增加了如何连接 OpenBayes Jupyter Server 的文档 ，支持通过 Visual Studio Code 和 PyCharm 远程连接运行中的 OpenBayes Jupyter

修复​

  • 「Python 脚本执行」任务在初始化安装阶段的日志也会被展示出来，方便这部分内容的问题发现，具体初始化安装依赖的方法见 如何添加不在列表中的依赖

· 阅读需 2 分钟
Shanchuan Xu
Shanchuan Xu
Backend Developer

新功能：命令行对组织的支持​

最新版本的 OpenBayes 命令行工具 增加了对 OpenBayes 组织的支持，增加如下命令：

$ bayes org ls # 罗列用户的组织

  ROLE   ID              NAME
  OWNER  openbayes-org   openbayes-org
  OWNER  open-tutorials  open-tutorials

$ bayes org switch openbayes-org # 切换当前操作的上下文

已成功切换到组织 openbayes-org

$ bayes org status # 查看所在的操作上下文

当前环境: https://openbayes.com
当前组织: openbayes-org
用户名: xxx
邮箱: xxx@example.com

同时，通过命令行执行的其他操作都会展示用户目前所在的上下文：

$ bayes gear ls # 罗列容器

当前正在组织 openbayes-org 上进行操作...

  STATUS     PROJECT      NAME          VERSIONS  SIZE        UPDATED AT
  SUCCEEDED  xxxx         hypertuning   17        233.06 MiB  2m

通过 bayes org switch <username> 可以切换回个人的上下文：

$ bayes org switch myusername

已成功切换到个人账号 myusername

更多的信息可以在 命令行文档 中查看。

更新​

  • 优化通过数据集上传数据的处理速度

修复​

  • 通过 web 界面创建自动调参无法绑定数据集的问题
  • 创建容器时，切换算力资源镜像没有自动更新的问题

· 阅读需 3 分钟
Sparanoid
Sparanoid
Frontend Developer

新功能：组织管理​

OpenBayes 现已支持组织功能。组织可以方便的管理数据仓库和容器等资源。并可以通过添加组织成员来实现多人协作。

组织创建入口

目前单个组织支持最多 30 位成员，全新创建的组织中前三位组织成员免费。超出之后的价格暂定为 5 元/成员/位

更多关于组织的介绍和用法，请访问我们的 组织文档

新功能：全新自动调参配置界面​

现在我们可以通过界面创建自动调参项目了：

配置自动调参界面

自动调参配置界面可以代替原有的 YAML 文件上传的创建方法，直接通过界面去创建自动调参项目。关于自动调参的详细用法，请参考我们的 自动调参文档

更新​

  • 优化自动调参界面
  • 更新 JupyterLab 版本至 3.1.4
  • JupyterLab 支持浏览器通知：在单元格执行完成后，将弹出浏览器通知告知用户

修复​

  • 修复「复制当前目录到数据仓库」时，上传界面中没有清除上一次的数据的问题
  • 修复自动调参表格中的字符串结果无法正确排序的问题
  • 修复数据集上传完成后页面有几率无限刷新的问题
  • 修复个人资料页无法正确显示资源数量的问题
  • 修复 JupyterLab 无法正常显示状态栏的问题
  • 优化资源标签显示逻辑
  • 部分文案优化

· 阅读需 1 分钟
Shanchuan Xu
Shanchuan Xu
Backend Developer

新功能​

  • 支持最新的 PyTorch 1.8.0 版本，具体的依赖见 pytorch 1.8.0 cu10.2
  • JupyterLab 更新到 3.0.12 并支持中文界面
  • bayes 命令行工具支持执行下文件以及文件夹的下载，配合 bayes gear run task -f 命令可以自动在任务执行结束后下载指定的文件，详细信息参考 用命令行工具下载容器输出内容
  • 自动调参和自动建模可显示原始 JSON 参数

修复​

  • 容器列表的状态筛选 bug

· 阅读需 2 分钟
Shanchuan Xu
Shanchuan Xu
Backend Developer

新功能​

  • 针对 github.com 的网络流量进行优化，从 GitHub 进行的 git clone 等操作的速度有明显的提升。目前为试运行阶段，如果在使用中遇到任何与网络相关的问题，可以通过在页面右下角的聊天气泡中与我们沟通
  • 自动调参：展示结果支持排序，可以更方便的选出最优的结果

自动调参「尝试结果」表头支持点击排序了

优化​

  • 当前端界面更新了新版本后，会通过通知提示用户刷新页面进行升级，以避免资源载入错误的问题
  • 模型部署：优化在线测试的图片上传体验
  • 部分组件的性能优化
  • 后端服务的并发优化，提升 API 的响应速度

· 阅读需 1 分钟
Shanchuan Xu
Shanchuan Xu
Backend Developer

新功能​

  • 对 pip install --user 的支持，通过该方式安装的类库将被保存在 /openbayes/home/.pylibs 下，那么即使容器重启也可以继续使用之前通过 --user 安装的依赖
  • 默认预安装可视化类库 Altair、Seaborn 以及 [vega_datasets](https://github.com/altair-viz/vega_datasets)
  • 默认预安装中文字库，可以在 Matplotlib 中使用中文标签
  • 增加新的镜像 TensorFlow 2.4.0

以下为从 Colab 获取的 notebook 在 openbayes 的测试：

Matplotlib 图表的中文支持

对 Altair 和 vega_datasets 的支持

控制台 v0.5.5 更新内容​

  • 动态组件载入，优化控制台首次载入速度
  • 减少第三方库依赖
  • 文案细节调整

· 阅读需 1 分钟
Shanchuan Xu
Shanchuan Xu
Backend Developer

新功能​

  • 增加新的镜像 TensorFlow 2.3.1
  • 工作空间：优化工作空间关闭后对应页面的提示。并在工作空间关闭后，展示当前工作空间的输出内容

当工作空间关闭时，会显示该执行的输出内容

修复​

  • 修复从快照继续执行没有默认绑定快照的问题
  • 修复 Jupyter 中主题配色没有同步更新的问题

· 阅读需 3 分钟
Sparanoid
Sparanoid
Frontend Developer

快照功能​

我们在 2020 年 12 月上线了全新的特性 工作空间。给用户带来了更便捷、流畅的 JupyterLab 使用体验。工作空间支持重启，因此用户可以避免由「继续执行」导致的执行数量越来越多、空间占用过大的问题。同时我们还引入了工作空间的 缓存机制，用于加速工作空间的重启速度

这次更新，我们继续优化了工作空间的使用体验，引入一个新的机制：快照

快照功能可以让用户将当前的工作空间的状态生成为一个快照保存在当前的算力容器中，以备后续使用。让用户从以前的每次启动自动创建执行的模式，变为用户可以自主选择什么时候创建快照的形式，给用户更多的选择权

快照的创建方法：

如果工作空间正在运行，可以在工作空间上方的动作栏找到对应的按钮：

在已停止的工作空间中，可以在概览页面上找到对应的创建快照入口：

快照模式需要注意的几点：

  • 用户只有在工作空间处于「正在运行」和「已关闭」两种状态下可以创建快照
  • 快照所占用的空间即为标准的存储空间费用，无额外的其他费用
  • 创建快照时尽量避免对运行中的工作空间执行文件写入/修改操作，以防生成的快照与期望内容不一致

深色模式​

跟随系统（自动适配） / 浅色模式 / 深色模式

其实我们早在几个月前就已经提供了深色模式，不过当时只支持跟随系统的自动适配。目前我们已经可以让用户手动选择界面的配色。修改方法位于 设置 - 账号设置 下

接下来……​

我们将在近期推出一个全新的产品线：模型部署，提供模型的在线实时推理。敬请期待！

· 阅读需 3 分钟
Shanchuan Xu
Shanchuan Xu
Backend Developer

重大更新​

在创建容器的时候，所能够选择的模式会由 JupyterLab 变化为「工作空间（Workspace）」。

简单说下变化点：

  1. 工作空间支持重启，避免了重复「继续执行」导致空间无限增长的问题
  2. 工作空间有缓存机制，最近关闭的工作空间启动速度比较快，不像原来每次启动都拷贝数据，而是将数据缓存了下来，被缓存的工作空间会有一个⚡️ 图标

带有高速缓存的工作空间

具体文档见 /docs/gear/workspace/

功能增强​

  • 创建容器时算力展示界面的进一步优化
  • 容器的数据绑定列表中如果有绑定已经被删除了将会给予提示
  • 上传数据集时增加了「清理当前上传任务」的功能，当出现不断的上传失败时可以尝试清理缓存解决问题

点击右上角的「清理当前上传任务」可强制清除断点上传的缓存

修复​

  • 数据仓库页面中模型面包屑导航错误
  • 数据仓库页面「上传至当前目录」后页面无法滚动的问题

新增公共资源​

我们接下来会持续对公共资源进行完善和补充，如果您发现了任何好玩的 Notebook 教程、Colab 教程。欢迎在评论区留言、或在 OpenBayes 控制台中右下角的客服区留言告诉我们

公共教程

  • Super-SloMo – Super SloMo 超级慢动作镜头的 PyTorch 实现
  • Stylized-Neural-Painting – 基于 PyTorch 的艺术化风格的神经绘画教程 Stylized Neural Painting。arXiv:2011.08114
  • SkyAR – 视频天空替换。基于预印本论文 arXiv:2010.11800
  • Spleeter – 由 Deezer 公司开发的基于 TensorFlow 的音乐人声提取、背景音乐分离工具
  • gradslam – [ICRA 2020] 基于 PyTorch 的 3D 重建实现、SLAM（同时定位与地图构建）框架
  • SeFa – Closed-Form Factorization of Latent Semantics in GANs

公共预训练模型：

  • GenForce预训练模型 - GenForce: an efficient PyTorch library for deep generative modeling (StyleGANv1v2, PGGAN, etc)
  • DeOldify - 图片/视频上色还原预训练模型
  • TwinGAN - 使用权重共享 GAN 的非成对的跨域图像转换
  • iPER预训练模型 - Liquid Warping GAN with Attention: 人类图像合成统一框架