Flux:Midjourney的新图像模型挑战者 原创
Black Forest Labs是一家由前Stability.ai开发人员创立的AI初创公司,旨在为图像和视频创建尖端的生成式 AI 模型。这家初创公司声称,其第一个模型系列Flux.1为文本到图像的生成设定新的标准。
Black Forest Labs总部位于德国弗莱堡,由AI研究人员和开发人员组成,他们曾在Stability.ai从事Stable Diffusion和其他生成式 AI 模型的工作。团队在今年春季从Stability.ai离开,到目前为止已经筹集了3100万美元的种子资金。本轮融资由Andreessen Horowitz领投,天使投资人包括Brendan Iribe、Michael Ovitz、Garry Tan、Timo Aila和Vladlen Koltun。General Catalyst 和 MätchVC 也进行了投资。这家初创公司的创始人过往有令人印象深刻的成就,在VQGAN、潜在扩散、稳定扩散XL、稳定视频扩散等领域的创新做出贡献。
Black Forest Labs发布了Flux.1文本到图像的生成模型套件。这些模型“在图像细节、提示一致性、风格多样性和场景的复杂性方面都达到了最新的水准”。从语言中可以看出这家公司对于领头羊的位置信心十足。Flux迄今为止最大的SOTA开源文本到图像模型,由Black Forest Labs开发,Flux 以令人印象深刻的12B参数突破了创造力和性能的界限。
例如输入“一个戴着墨镜、身穿夏威夷衬衫的大土豆躺在沙滩巾上,周围环绕着色彩缤纷的沙滩球和人字拖。附近水果在打沙滩排球。在背景中,一座灯塔沙雕矗立在一辆带有巨大圆锥体的冰淇淋车旁边,为快乐的海滩游客提供美食。这个场景捕捉到了有趣、俏皮的夏日氛围,附近有海浪拍打的声音。”
所有 Flux.1 型号都支持多种纵横比和分辨率,范围从 0.1 到 2.0 百万像素。根据Black Forest Labs的数据,Flux.1 [pro]和[dev]在视觉质量、提示跟踪、大小/宽高比可变性、排版和输出多功能性方面优于Midjourney v6.0、DALL-E 3 (HD)和SD3-Ultra等流行型号。
Flux.1 [schnell](意为“快速”)被“吹捧”为最先进的快速模型,性能优于同类竞争对手,甚至优于一些非蒸馏模型,如 Midjourney。<小编试了一下,它对于细节的捕获还是很赞的,可能受限于训练样本,有些单词它没有办法很直接的联想和生成。比如输入一个卡通的小孩参加2024年的巴黎奥运会,下图为输出产物。>
目前,Flux.1 有三种变体:
- Flux.1 [pro]这是一款旗舰型号,旨在提供最先进的性能以及卓越的图像质量、细节和多样性。它非常适合需要顶级结果的专业应用,可是通过fal.ai进行商业使用。
- Flux.1 [dev] FLUX.1 [dev] 是pro 型的蒸馏变体<链接回放>,可用于非商业用途。它提供相似的质量和响应能力,是研究和开发的理想选择。
- Flux.1 [schnell]该模型针对速度进行了优化,非常适合本地开发和个人项目。它遵从Apache 2.0的许可,确保了开发的易访问性和灵活性。