💡 HiDiffusion: Unlocking Higher-Resolution Creativity and Efficiency in Pretrained Diffusion Models

HiDiffusion 简介

HiDiffusion 是旷视科技推出的开发的一种创新框架，旨在提升预训练扩散模型在生成高分辨率图像方面的创造力和效率。这是一种无需训练即可提高预训练扩散模型的分辨率和速度的方法，通过将 HiDiffusion 应用于各种预训练的扩散模型，不仅可以将图像生成的分辨率提高至 4096×4096，而且能将图像生成速度提升 1.5 至 6 倍。这一方法不仅解决了对象重复和高计算负担的问题，而且在生成高分辨率图像的任务上取得了卓越的效果。

该项目可支持各种任务，包括文本到图像、图像到图像、图像修复。

效果示例

(Faster, and better image details.)

(2K results of ControlNet and inpainting tasks.)

lara

使用步骤

1.首先克隆容器,按步骤启动容器

2.复制生成的API地址到浏览器即可使用

3.三种使用方式

HiDiffusion 适用以下三种方式，他们都对应一个模型,在使用一个方法式会首先加载模型,而后进行图像生成。如果切换方法则会重新加载模型。

3.1 方式一：文本生成图像

通过输入正向提示词与反向提示词生成图像。

正向提示词:描述希望在图像中看到的内容，

如：Standing tall amidst the ruins, a stone golem awakens, vines and flowers sprouting from the crevices in its body.(废墟之中，一尊石傀苏醒，藤蔓和花朵从它身体的缝隙中萌芽。)。

逆向提示词:用于描述不希望在图像中出现的内容，通过排除不需要的元素来优化生成结果,

例如:blurry, ugly, duplicate, poorly drawn face, deformed, mosaic, artifacts, bad limbs(模糊、丑陋、重复、面部绘制不佳、变形、马赛克、伪影、四肢不良)。

使用步骤及生成效果如下图所示

3.2 方式二：使用 ControlNet 进行图生图

ControlNet:在原始图像的轮廓的基础上根据提示词进行生成图像,首先将原始图像的轮廓提取出来,而后根据这个轮廓进行生成,操作如下图所示

3.3 方式三：图像修复

原始图像:输入要进行修复的图像

修复区域:输入要修复的区域,其实就是一张二值图像,其中白色区域为要修复的区域,黑色区域为冻结区域,在进行修复时同样根据zheng dan提示词将白色区域的进行修改!

例如输入正向提示词为:A steampunk explorer in a leather aviator cap and goggles, with a brass telescope in hand, stands amidst towering ancient trees, their roots entwined with intricate gears and pipes.(一位蒸汽朋克探险家戴着皮革飞行员帽和护目镜，手里拿着黄铜望远镜，站在高耸的古树中间，树根上缠绕着复杂的齿轮和管道。)

逆向提示词为:blurry, ugly, duplicate, poorly drawn face, deformed, mosaic, artifacts, bad limbs(模糊、丑陋、重复、面部绘制不佳、变形、马赛克、伪影、四肢不良)。

使用步骤及生成效果如下图所示

交流探讨

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【SD教程】入群探讨各类技术问题、分享应用效果↓

公共教程/HiDiffusion 可快速生成高质量 8k 图像 Demo克隆

准备体验 OpenBayes？

公共教程
/
HiDiffusion 可快速生成高质量 8k 图像 Demo