初创公司StabilityAI在最近宣布发布了Stable Diffusion模型,这是一款功能强大并且可以在标准显卡上运行的AI图像生成器。 本文中将介绍如何下载代码和预训练模型,并且将其整合成一个能够在本地电脑运行的项目,最后也会提供完整项目的下载。
本地电脑运行 因为模型比较大,所以必须要有NVIDIA GPU,至少4GB VRAM,本地磁盘至少有15GB的空间,我们打包的项目解压后需要11G的磁盘。 除此以外还需要一个Python环境,这里我们使用3.8,最后就是git,因为我们需要从github中下载一些项目代码。 下载模型权重 从https:///CompVis/stable-diffusion下载模型和预训练权重。撰写本文的最新版本是v1.4-original。
在“Files and versions”选项卡下,单击检查点文件并下载它。
文件很大4.2GB,需要确保下载文件是完整的 从这个GitHub存储库下载下载Stable Diffusion,https://github.com/lstein/stable-diffusion。它是由lstein修改的原始源代码的一个分支,感谢lstein。 将文件解压缩到本地。在“ldm”文件夹中,创建一个名为“stable-diffusion-v1”的文件夹。如下图所示。
复制下载的模型文件sd-v1-4到stable-diffusion-v1文件夹中,将检其重命名为model.ckpt。 使用Anaconda创建运行环境: conda env create -f environment.yaml conda activate ldm 第一行命令会下载运行模型所需的所有依赖项和包。这里的文件也很大,大概几个GB,所以可能需要一段时间。
这样环境就准备好了,下面我们加载模型需要的几个小ML模型。 python scripts/preload_models.py 在继续之前,请确保看到了“success”的信息。 现在我们可以开始生成图像了。 python scripts/dream.py 命令行将在“dream>”处暂停,也就是说要我们输入文本了。
输入后会执行生成的过程
结果如下:
怎么样,还不错吧,如果我们想要调整参数怎么办?下面看看这个方法 创建一个生成图像的web服务 我们使用Gradio UI来将生成图像的模型封装成AP服务,并且提供一个web页面来进行参数的调整:
|
|