一、问题
我们需要执行 CPU 密集型或系统级编程任务,而hex.pm中没有好的解决方案,在这个例子中,我们假设没有好的方法可以使用 Elixir 进行图像处理。
通常情况下,有一个名为image的高质量 Rust 库声称它就是解决方案!但是糟糕,我们的整个应用程序已经用 Elixir 编写了,我们真的不知道如何很好地使用Rust。
Elixir 如何转向 Rust 代码以实现高性能操作?
二、解决方案
输入rustler,这个库旨在使使用 Rust 及其包生态系统变得简单。让我们开始吧!
按照入门指南,首先将rustler添加到我们的mix.exs文件中:
一旦我们运行mix deps.get使用内置的 mix 任务来生成我们的空 rust 项目:
mix rustler.new
This is the name of the Elixir module the NIF module will be registered to.
Module name > MyApp.RustImage
This is the name used for the generated Rust crate. The default is most likely fine.
Library name (myapp_rustimage) > rust_image
* creating native/rust_image/.cargo/config.toml
* creating native/rust_image/README.md
* creating native/rust_image/Cargo.toml
* creating native/rust_image/src/lib.rs
* creating native/rust_image/.gitignore
Ready to go! See /Users/me/projects/my_app/native/rust_image/README.md for further instructions
你应该去打开它README.md,但我会帮你省去麻烦,我们需要制作一个 Elixir 模块,其中lib/my_app/rust_image.ex包含以下内容:
defmodule MyApp.RustImage do
use Rustler, otp_app: :my_app, crate: "rust_image"
# When your NIF is loaded, it will override this function.
def add(_a, _b), do: :erlang.nif_error(:nif_not_loaded)
end
从那时起,我们准备好做一些 Rust。默认的生成器给了我们一个add/2实现的函数让native/rust_image/src/lib.rs我们来看看
#[rustler::nif]
fn add(a: i64, b: i64) -> i64 {
a + b
}
rustler::init!("Elixir.MyApp.RustImage", [add]);
三、什么是 NIF?
Native Implemented Functions 是 BEAM 允许进程直接调用本地函数的方法。他们通常有大量的样板文件,你需要认真清理内存、处理错误和确保安全。幸运的是,这就是 Rust 的全部!例如这里是 Erlang NIF 教程。我们不需要做任何这些!
我们的超级优化代码将添加两个大小为 i64 的整数并返回结果。请注意此处 Rustler 的特定部分:
- #[rustler::nif]是一个宏,告诉 Rustler 将此函数公开为 NIF。
- rustler::init!("Elixir.MyApp.RustImage", [add]);这将初始化 Erlang NIF 运行时,以便 beam 可以将add/2函数放在模块上Elixir.MyApp.RustImage并替换我们留下的存根。
这太棒了。看看这是否有效,让我们开火iex -S mix
iex(1)> MyApp.RustImage.add(100, 20)
12
如果第一次一切正常,你应该已经看到 cargo 在发布模式下构建应用程序并在打开 iex 术语之前成功。如果你还没有安装 Rust,它会显示一个错误,你可以按照通常的方式安装 Rust 。
Rustler 甚至很聪明,会自动重新编译,保持 iex 打开并更改我们的lib.rs
#[rustler::nif]
fn add(a: i64, b: i64) -> i64 {
a + b + 1
}
保存然后再次打开正在运行的 iex 会话:
iex(2)> r(MyApp.RustImage)
... truncated output of cargo doing it's thing an maybe some beam warnings
{:reloaded, [MyApp.RustImage]}
iex(3)> MyApp.RustImage.add(1,1)
3
极好的!我们得到了相同的工作流程和与 Elixir 一起工作的好处,而对 Rust 的烦恼最少。
四、图片
首先将我们的图像依赖项添加到我们的Cargo.toml文件中:
[dependencies]
rustler = "0.27.0"
image = "0.24.6"
然后改变我们lib.rs创建一个函数,它接受一个input路径,一个output路径,quality并将任何图像更改为具有我们设置质量的 JPEG。
use image::io::Reader as ImageReader;
use image::codecs::jpeg::JpegEncoder;
use std::fs::File;
#[rustler::nif]
fn jpg(input: String, output: String, quality: i64) -> Result<String, String> {
let img = ImageReader::open(&input).unwrap().decode().unwrap();
let out_file = std::fs::File::create(&output).unwrap();
let mut jpg = JpegEncoder::new_with_quality(&out_file, quality as u8);
jpg.encode_image(&img).unwrap();
Ok(output.to_string())
}
// add code...
rustler::init!("Elixir.MyApp.RustImage", [add, jpg]);
我们还想更新我们的 RustImage 模块以包含一个存根jpg/3,但这留给读者作为练习。
现在让我们试试吧!iex -S mix
iex(1)> MyApp.RustImage.jpg("input.png", "output.jpeg", 75)
{:ok, "output.jpeg"}
和繁荣!我们已将 PNG 转换为 JPEG,质量为 75%。
五、做一个良好的 BEAM 公民
我们还应该在这里考虑一件事,那就是 CPU 负载。虽然此功能可能会在我们的笔记本电脑上立即运行,但在部署时可能需要更长时间才能共享 CPU/RAM。
而且因为 BEAM 直接运行我们的代码,它会锁定运行时直到它完成运行。我们所说的直接意思是,当使用 NIF 时,beam 会像对待任何其他代码一样对待它,主要的警告是它不能自动抢占 Rust 代码。
在 BEAM 上,这是一个大问题,因为整个运行时都希望能够随时在数百万个进程之间切换上下文。
幸运的是 Rustler 和 BEAM 团队已经想到了这一点并给了我们一个解决方案。只需将该宏更改为此jpeg即可
-- #[rustler::nif]
++ #[rustler::nif(schedule = "DirtyCpu")]
这告诉 Rustler 和 BEAM 以一种在它工作时不会阻塞整个世界的方式自动安排它。再次令人惊叹,这被称为 DirtyNif,当你通过 C 手动使用它时,使用起来会更加困难。
六、部署
使用 Docker 将其部署到 Fly.io 并不是那么自动,我们需要进行一些小的更改,以便我们的 Docker 环境可以构建 Rust。首先,通过在我们的 Elixir 构建步骤之前添加一个构建步骤来更新 Dockerfile:
#... ARG stuff..
FROM rust:1.68.0 as rust
# install build dependencies
RUN apt-get update -y && apt-get install -y build-essential git \
&& apt-get clean && rm -f /var/lib/apt/lists/*_*
workdir /app
COPY native/rust_images ./
RUN cargo rustc --release
#..Elixir builder.....
# compile assets
RUN mix assets.deploy
#NEW STUFF
COPY --from=rust /app/target/release/librust_images.so priv/native/librust_images.so
#/NEW
# Compile the release
RUN mix compile
然后更新我们config/prod.exs添加以下行:
config :my_app, MyApp.RustImage,
crate: :rust_image,
skip_compilation?: true,
load_from: {:my_app, "priv/native/librust_image"}
我们在这里所做的是在其自己的 Docker 构建器上下文中构建库,因此它与我们其余的 Docker 步骤并行运行并且可以轻松缓存。然后我们告诉 Rustler 跳过编译并直接从我们放置它的地方加载它。
我们都准备好了,fly deploy你就可以出发了!
七、讨论
关于结合使用 NIF 和 Rust 的强大功能,我们只是真正触及了皮毛。从加载海量数据集到做科学研究再到通过 WebRTC 进行连接,Rust 社区已经构建了一套令人印象深刻的包和工具,现在我们也可以使用这些包和工具。Rustler 使之成为可能!
原文链接:https://fly.io/phoenix-files/elixir-and-rust-is-a-good-mix/