当GAN生成图像可以卡音效,这个Python包只需几行代码

新闻 前端
Lucid Sonic Dreams 包可以实现 GAN 生成图像的「音画同步」效果,且支持自定义。

  GAN 生成图像奇幻诡谲,对此我们早已不陌生。如果它们还可以卡音效呢?最近,有人就创建了一个实现类似效果的 Python 包——Lucid Sonic Dreams,只用几行代码就可以实现 AI 生成画作与音乐的同步。

  • GitHub 地址:https://github.com/mikaelalafriz/lucid-sonic-dreams
  • Colab 教程地址:https://colab.research.google.com/drive/1Y5i50xSFIuN3V4Md8TB30_GOAtts7RQD?usp=sharing

在该项目提供的 demo 视频中,伴随着 Saje 的歌「Raspberry」,GAN 生成的图像不断变换且呈现出了对应的节奏。

[[389391]]

工作原理

生成艺术品通常是由 GAN 网络来完成的。Lucid Sonic Dreams 包默认使用 StyleGAN2-ADA 架构,不过 GAN 架构也可以自定义。将这些模型在特定「风格」的图像数据集上进行训练,使之能够输出与训练图像风格一致的无穷多张图像。此外,Lucid Sonic Dreams 使用 Justin Pinkney 创建库中的 StyleGAN2 预训练模型(地址:
https://github.com/justinpinkney/awesome-pretrained-stylegan2) 。

那么这些图像到底是如何生成的呢?

将输入馈送至 StyleGAN2 模型(输入为有 512 个数字的向量),输入决定了模型的输出图像,因此对输入向量进行微小更改也将带来输出图像的微小变化。

现在,有趣的部分到了:如果我们从音乐中获取声波,从声波中提取数值(如振幅)并添加至输入向量,会发生什么?

Lucid Sonic Dreams 对视频每一帧执行这些操作,生成脉冲与变换与音乐一致的图像。

具体而言,利用 Lucid Sonic Dreams 包,音乐控制了 3 个主要视觉组件:脉冲(Pulse)、运动(Motion)和类别(Class)

  • 脉冲指视觉画面随着音乐的敲击性节奏而「跳动」。从数学角度来看,「脉冲」是向输入向量暂时添加声波振幅的结果(即在下一帧中该向量仍是初始向量);
  • 运动指视觉画面变换的速度。从数学上看,它是向输入向量累积添加振幅(即添加的振幅后续不会被清零);
  • 类别指生成图像中物体的标签,例如基于 WikiArt 图像训练的风格中就有 167 个类别(包括梵高、达芬奇、抽象派等)。而这些由音调进行控制,具体而言,12 个音高分别对应 12 个不同类别。这些音高的振幅对传输至第二个输入向量(类别向量)的数字造成影响,而这由模型生成的对象来决定。

项目作者表示,这个想法受到 Matt Siegelman 的 Deep Music Visualizer 项目的启发。目前网上也有一些类似的项目,但 Lucid Sonic Dreams 的独特之处在于以 Python 包形式实现,且允许自定义。

使用 Lucid Sonic Dreams 包,你可以做到这些

Lucid Sonic Dreams 具备极强的易用性和灵活性。用户可以使用 pip 进行安装:

然后只需输入几行 Python 代码即可:

  1. from lucidsonicdreams import LucidSonicDream 
  2.  
  3.  
  4. L = LucidSonicDream(song = 'chemical_love.mp3', style = 'abstract photos'
  5. L.hallucinate(file_name = 'chemical_love.mp4'

改变风格

运行以下代码,我们可以查看默认可用的风格:

  1. from lucidsonicdreams import show_styles 
  2.  
  3.  
  4. show_styles() 

这样就可以得到一组风格名称,这些风格来自 Justin Pinkney 创建的库。你还可以输入自己的 StyleGAN 权重,或者使用其他 GAN 架构。

调整参数

Lucid Sonic Dreams 包的默认设置很好用,但它实际上有很多参数——30 多个,不过这些参数是可以调整的(参数详细信息参见 Colab 教程)。

哪些参数最重要呢?我们来看整个视频生成 pipeline:

首先,对输入向量进行初始化和插值,作为视频的「基础运动」(base motion)。参数 speed_fpm 控制运动的速度,fpm 表示「每分钟帧数」,即每分钟初始化的向量数。对于每个后续帧而言,参数 pulse_react, motion_react, and class_react 控制音频操纵每个对应组件的程度。

模型基于这些向量生成图像后,图像被传输经过一系列特效(也对音乐产生反应)。默认情况下,Lucid Sonic Dreams 包具备「contrast」和「flash」特效,可以与音频的敲击性节奏同步。通过设置 contrast_strength 和 flash_strength 参数,即可进行调整。使用者还可以创建自定义特效。

以下代码展示了调参过程:

  1. L = LucidSonicDream('pancake_feet.mp3', style = 'modern art'
  2. L.hallucinate(file_name = 'pancake_feet.mp4',  
  3.               speed_fpm = 0,  
  4.               motion_react = 0.8,  
  5.               contrast_strength = 0.5,  
  6.               flash_strength = 0.7

使用自己的 StyleGAN 权重

如果你自己训练过 StyleGAN,或者在网上获得了一些模型权重,你可以选择将文件路径传输至这些权重,作为风格参数的值。

例如,文章开头的视频使用的是 Jeremy Torman 训练的模型。生成视频所用代码如下所示:

  1. L = LucidSonicDream(song = 'raspberry.mp3', style = 'VisionaryArt.pkl'
  2. L.hallucinate(file_name = 'raspberry.mp4',  
  3.               pulse_react = 1.2,  
  4.               motion_react = 0.7,  
  5.               contrast_strength = 0.5,  
  6.               flash_strength = 0.5

使用单独的音轨

这个包还可以用作音乐可视化工具,使用者可以上传单独的音轨,进而控制 Pulse、Motion、Class、Contrast 和 Flash。如果你想使这些视觉组件与特定的乐器同步,使用这个包是不错的选择。你还可以利用这些单独的音轨自定义特效。

以下是示例代码:

  1. L = LucidSonicDream(song = 'lucidsonicdreams_main.mp3'
  2.                     pulse_audio = 'lucidsonicdreams_pulse.mp3'
  3.                     class_audio = 'lucidsonicdreams_class.mp3'
  4.                     style = 'wikiart'
  5.  
  6.  
  7. L.hallucinate('lucidsonicdreams.mp4',  
  8.               pulse_react = 0.25
  9.               motion_react = 0
  10.               classes = [1,5,9,16,23,27,28,30,50,68,71,89], 
  11.               dominant_classes_first = True, 
  12.               class_shuffle_seconds = 8
  13.               class_smooth_seconds = 4
  14.               class_pitch_react = 0.2
  15.               contrast_strength = 0.3

自定义特效

除了内置的「Contrast」和「Flash」特效外,Lucid Sonic Dreams 包还允许用户自定义创建特效。用户只需创建一个包含至少以下 3 个参数的函数即可:array,表示应用特效的图像;strength,决定对音乐的反应强度;amplitude 表示在任意给定时间点的音量。之后,将该自定义函数传输至 EffectsGenerator 对象。

作者用以下代码进行了试验,其使用的是 scikit-image 的 swirl 特效:

  1. import numpy as np  
  2. from skimage.transform import swirl 
  3. from lucidsonicdreams import EffectsGenerator 
  4.  
  5.  
  6.  
  7.  
  8. def swirl_func(array, strength, amplitude): 
  9.   swirled_image = swirl(array,  
  10.                         rotation = 0,  
  11.                         strength = 100 * strength * amplitude, 
  12.                         radius=650
  13.   return (swirled_image*255).astype(np.uint8) 
  14.  
  15.  
  16. swirl_effect = EffectsGenerator(swirl_func, 
  17.                                 audio = 'unfaith.mp3',  
  18.                                 strength = 0.2,  
  19.                                 percussive = False) 
  20.  
  21.  
  22. L = LucidSonicDream('unfaith.mp3'
  23.                     style = 'textures'
  24.  
  25.  
  26. L.hallucinate('unfaith.mp4'
  27.               motion_react = 0.15
  28.               speed_fpm = 2
  29.               pulse_react = 1.5
  30.               contrast_strength = 1
  31.               flash_strength = 1,  
  32.               custom_effects = [swirl_effect]) 
  33.  
  34.  
  35. files.download("unfaith.mp4"

使用其他 GAN 架构

你还可以使用其他 GAN 架构。只需定义一个函数,该函数以一组噪声向量和类别向量(NumPy 数组)作为输入,输出一组 Pillow 图像。事实上,该函数甚至不需要使用 GAN,它可以是能够将输入向量转换成图像的任意函数。

下列代码使用 BigGAN 的 PyTorch 实现复现了 Deep Music Visualizer:

  1. from pytorch_pretrained_biggan import BigGAN, convert_to_images 
  2. import torch 
  3.  
  4.  
  5. biggan = BigGAN.from_pretrained('biggan-deep-512'
  6. biggan.to('cuda:0'
  7.  
  8.  
  9. def biggan_func(noise_batch, class_batch): 
  10.   noise_tensor = torch.from_numpy(noise_batch).cuda() 
  11.   class_tensor = torch.from_numpy(class_batch).cuda() 
  12.   with torch.no_grad(): 
  13.     output_tensor = biggan(noise_tensor.float(), class_tensor.float(), truncation = 1
  14.   return convert_to_images(output_tensor.cpu()) 
  15.  
  16.  
  17. L = LucidSonicDream('sea_of_voices_inst.mp3'
  18.                     style = biggan_func,  
  19.                     input_shape = 128,  
  20.                     num_possible_classes = 1000
  21.  
  22.  
  23. L.hallucinate('sea_of_voices.mp4'
  24.               output_audio = 'sea_of_voices.mp3'
  25.               speed_fpm = 3
  26.               classes = [131422243018499100134143393394], 
  27.               class_shuffle_seconds = 10,  
  28.               class_shuffle_strength = 0.1
  29.               class_complexity = 0.5
  30.               class_smooth_seconds = 4
  31.               motion_react = 0.35
  32.               flash_strength = 1
  33.               contrast_strength = 1

 【编辑推荐】

 

责任编辑:张燕妮 来源: 机器之心Pro
相关推荐

2021-03-01 14:05:50

机器学习人工智能计算机

2023-11-01 10:36:19

2020-03-30 16:00:46

开源技术 趋势

2024-09-03 08:26:59

Spring格式模板

2023-12-18 08:57:22

GAN网络

2022-01-07 10:13:07

Tkinter代码Kivy

2021-11-02 09:25:00

AI 数据人工智能

2023-04-02 14:13:52

2012-01-04 09:50:07

程序员

2020-08-03 09:48:04

Python 机器学习代码

2022-04-19 07:45:40

代码Python美图秀秀

2022-08-14 16:15:52

Python机器学习大数据

2021-07-23 08:00:00

深度学习框架模型

2019-08-07 15:11:27

iPad电脑集线器

2021-02-23 07:01:24

js小游戏技术

2021-12-30 10:11:38

模型人工智能深度学习

2021-07-20 10:16:24

人工智能自然语言技术

2021-08-31 23:09:50

微信功能技巧

2019-11-08 09:20:57

代码开发工具

2020-11-10 08:01:56

Jar Agentjava
点赞
收藏

51CTO技术栈公众号