#1 diffusion国内外相关产品

根据文字（提取词）生成不同风格的图片，是未来AI插画师的方向。针对作画工具本身，包括 Midjourney、以及各种基于 Stable Diffusion 生成的工具如 Lexica 和 KREA 等等，目前都已经开放了关键词搜索和提示词生成的用法，可以免费使用。 https://lexica.art/ ## DALL-E OpenAI发布的文字转图片 ## Stable Diffusion Stability.ai公司推出的开源项目,目前大多平台都基于这个项目搭建会员系统。购买google云每月10美元，高配置50美元。 ## Make-A-Video Meta 公司2022年10月，发布根据文字提示生成短视频系统。 HuggingFace 上试试清华与智源实验室的 [Cogvideo](https://huggingface.co/spaces/THUDM/CogVideo) ERNIE-ViLG 文生图 https://wenxin.baidu.com/moduleApi/ernieVilg

conda env create -f environment.yaml
conda activate ldm

# 加载预训练模型
python scrpits/preload_modeles.py

# 输入文字描述，生成图像
python scripts/dream.py

# todo web 访问 Gradio UI


# todo 中文提取词支持

## diffusion几个扩散模型总结 ### disco-diffusion google开源的最早的扩散模型，python，jupyter代码，可实现通过文字描述，模型自动生成图片和视频。 需要高性能 GPU 大型训练，出图慢，不适合绘制人物。 https://colab.research.google.com/github/alembics/disco-diffusion/blob/main/Disco_Diffusion.ipynb ### Stable Diffusion 打开 http://beta.dreamstudio.ai/dream ，注册登录即可作画。默认赠送2欧元体验，可绘制100张图片左右。超过需要付费。 提取词： （形容词修辞）绘图主体，艺术家（风格），绘图类型 https://huggingface.co/spaces/stabilityai/stable-diffusion https://f000.backblazeb2.com/file/clip-artists/index.html Midjourney #### 自训练 * NVIDA GPU 4G以上 * python （conda） 1、下载 预训练模型 https://huggingface.co/CompVis/stable-diffusion 2、 #### 搭建 1、购买服务器，包含GPU运算（按需消费） 2、 https://huggingface.co/CompVis/stable-diffusion 下载模型和权重（4.2GB），也可以自己 训练。 ``` conda env create -f environment.yaml conda activate ldm # 加载预训练模型 python scrpits/preload_modeles.py # 输入文字描述，生成图像 python scripts/dream.py # todo web 访问 Gradio UI # todo 中文提取词支持 ``` ### [latent-diffusion](https://github.com/CompVis/latent-diffusion) 由慕尼黑大学机器视觉与学习研究小组和Runway的研究人员，基于CVPR2022的一篇论文《High-Resolution Image Synthesis with Latent Diffusion Models》，并与其他社区团队合作开发的一款开源模型，能在几秒内在消费级CPU上运行创作，核心数据集是LAION-5B的一个子集，它是专为基于CLIP的新模型而创建。 同时，它也是首个在4000个A100 Ezra-1 AI超大集群上进行训练的文本转图像模型。 ## Imagen https://imagen.research.google/video/ https://phenaki.github.io

novelai https://novelai.net/ novelai图像生成软件。