Honyee Chua
@mua57zx8kbmf9gds
Joined Mar 19, 2023
0
Following
0
Followers
272
1.60k
988
www.midjourney.com/app/jobs/06554d0b-e3ad-4420-828d-b13749ec616d/
Apr 13, 2023
www.blueshadow.art/midjourney-prompt-commands/
Apr 13, 2023
13
github.com/invoke-ai/InvokeAI
Apr 12, 2023
13
tokenizedhq.com/midjourney-characters-in-action-scenese/
Apr 12, 2023
github.com/ItsPi3141/alpaca-electron
Apr 12, 2023
3
github.com/ggerganov/llama.cpp
Apr 12, 2023
2
github.com/teknium1/GPTeacher
Apr 12, 2023
2
huggingface.co/anon8231489123/gpt4-x-alpaca-13b-native-4bit-128g/tree/main
Apr 12, 2023
1
huggingface.co/anon8231489123/vicuna-13b-GPTQ-4bit-128g
Apr 12, 2023
1
github.com/lm-sys/FastChat
Apr 12, 2023
2
chat.lmsys.org/
Apr 12, 2023
1
docs.midjourney.com/docs/parameter-list
Apr 11, 2023
58
docs.midjourney.com/docs/image-prompts
Apr 11, 2023
8
docs.midjourney.com/docs/multi-prompts
Apr 11, 2023
10
www.youtube.com/watch?v=72r40EahL_s
Apr 11, 2023
1
github.com/KichangKim/DeepDanbooru
Apr 11, 2023
41
github.com/toriato/stable-diffusion-webui-wd14-tagger
Apr 11, 2023
1
github.com/Torantulino/Auto-GPT
Apr 10, 2023
2
github.com/facebookresearch/segment-anything
Apr 10, 2023
191
segment-anything.com/demo
Apr 10, 2023
huggingface.co/datasets/HuggingFace-CN-community/translation/blob/main/lora_cn.md
Apr 10, 2023
50
github.com/TheLastBen/fast-stable-diffusion
Apr 10, 2023
2
github.com/camenduru/stable-diffusion-webui-colab/tree/training
Apr 10, 2023
9
github.com/camenduru/stable-diffusion-webui-colab/tree/drive
Apr 10, 2023
7
www.youtube.com/watch?v=bOsFgX5XMwU
Apr 9, 2023
44
stable-diffusion-art.com/how-to-use-vae/
Apr 7, 2023
81
replicate.com/blog/lora-faster-fine-tuning-of-stable-diffusion
Apr 7, 2023
49
www.youtube.com/watch?v=b1zC_xe1kV4
Apr 7, 2023
52
www.youtube.com/watch?v=TyZ3tg3pJns
Apr 7, 2023
1
www.youtube.com/watch?v=ltLNYA3lWAQ
Apr 7, 2023
1
plantuml.com/zh/mindmap-diagram
Apr 7, 2023
1
huggingface.co/lllyasviel/ControlNet/tree/main/models
Apr 7, 2023
55
metamask.io/buy-crypto/
Apr 7, 2023
1
mermaid.js.org/config/theming.html
Apr 6, 2023
6
mermaid.js.org/syntax/flowchart.html
Apr 6, 2023
1
github.com/zhengzangw/awesome-huge-models
Apr 6, 2023
1
github.com/rasbt/deeplearning-models
Apr 6, 2023
3
rentry.co/sdmodels
Apr 6, 2023
1
cyberes.github.io/stable-diffusion-models/
Apr 6, 2023
3
github.com/camenduru/stable-diffusion-webui-colab
Apr 5, 2023
27
使用 LoRA 进行 Stable Diffusion 的高效参数微调
冻结预训练模型的权重并在每个 Transformer 块中注入可训练层(秩-分解矩阵)
不需要为大多数模型权重计算梯度
减少了需要训练参数的数量
聚焦大模型的 Transformer 注意力块,使用 LoRA 进行的微调质量与全模型微调相当,同时速度更快且需要更少的计算。
用于 Diffusers 的 LoRA
在微调 Stable Diffusion 的情况下,LoRA 可以应用于将图像表示与描述它们的提示相关联的交叉注意层。
Simo Ryu (GitHub 用户名 @cloneofsimo) 是第一个提出适用于 Stable Diffusion 的 LoRA 实现的人
将 LoRA 的可训练矩阵注入到与交叉注意力层一样深的模型中
更容易采用 xFormers 等优化技术
Prompt-to-Prompt 等其他创意项目可以使用一些简单的方法来访问这些层
我们决定 为用户提供一种通用的方法来做到这一点
一直在与 @cloneofsimo 合作,为 Dreambooth 和全微调方法提供 Diffusions 中的 LoRA 训练支持
更快的训练速度
计算要求较低。我们可以在具有 11 GB VRAM 的 2080 Ti 中创建一个全微调模型
由于原始模型已冻结,我们注入了新层进行训练
新层的权重保存为大小约为 3 MB 的单个文件
比 UNet 模型的原始大小小一千倍
使用 LoRA,现在可以发布 单个 3.29 MB 文件 以允许其他人使用你的微调模型
LoRA 微调
Diffusers 现在提供了一个 LoRA 微调脚本
可以在低至 11 GB 的 GPU RAM 中运行而无需借助到诸如 8-bit 优化器之类的技巧
有关 diffusers 中 LoRA 支持的更多详细信息,请参阅 我们的文档
推理
推理过程,允许在未修改的 Stable Diffusion 模型权重之上加载额外的权重
确定用于微调 LoRA 模型的基本模型
from huggingface_hub import model_info
model_path = "sayakpaul/sd-model-finetuned-lora-t4"
info = model_info(model_path)
model_base = info.cardData["base_model"]
print(model_base) # CompVis/stable-diffusion-v1-4
此代码段将打印他用于微调的模型,即“CompVis/stable-diffusion-v1-4”
使用 --push_to_hub 选项
微调脚本会自动填充有关基本模型的信息
加载了一个正常的稳定扩散管道
将使用 DPMSolverMultistepScheduler 对其进行自定义,以实现非常快速的推理
import torch
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler
pipe = StableDiffusionPipeline.from_pretrained(model_base, torch_dtype=torch.float16)
pipe.scheduler = DPMSolverMultistepScheduler.from_config(pipe.scheduler.config)
从 hub 加载 LoRA 权重 在常规模型权重之上,将 pipline 移动到 cuda 设备并运行推理:
pipe.unet.load_attn_procs(model_path)
pipe.to("cuda")
image = pipe("Green pokemon with menacing face", num_inference_steps=25).images[0]
image.save("green_pokemon.png")
用 LoRA 进行 Dreamboothing
Dreambooth 允许您向 Stable Diffusion 模型“教授”新概念
LoRA 与 Dreambooth 兼容,过程类似于微调,有几个优点:
训练更快。
我们只需要几张我们想要训练的主题的图像 (通常 5 或 10 张就足够了)。
我们可以调整文本编码器,以提高对训练主体的保真度。
要使用 LoRA 训练 Dreambooth,您需要使用 此 diffusers 脚本
README、文档 和 我们的超参数探索博文
其他方法
除了 Dreambooth 之外,textual inversion 是另一种流行的方法
然而,它们只适用于单个主题 (或一小部分主题)
LoRA 可用于通用微调,这意味着它可以适应新的领域或数据集
Pivotal Tuning 是一种尝试将 Textual Inversion 与 LoRA 相结合的方法
使用 textual inversion 技术向模型教授一个新概念,获得一个新的标记嵌入来表示它
使用 LoRA 训练该 token 嵌入以获得两全其美