简介
image-to-latex 是一个能将 LaTeX 数学方程的图像映射到 LaTeX 代码的应用程序。
Yuntian Deng 等人在 2016 年提出并尝试了 image-to-markup 的问题。他们通过解析来自 arXiv 的 LaTeX 论文来源，提取了大约 10 万个公式。他们使用 pdflatex 渲染公式并将渲染的 PDF 文件转换为 PNG 格式。在他们的模型中，首先使用 CNN 来提取图像特征。然后使用 RNN 对特征行进行编码。
最后，编码特征由 RNN 解码器使用。该模型共有 948 万个参数。最近，Transformer 在很多语言任务上都超过了 RNN，所以作者在这个问题上进行了新的尝试。
项目地址：
https://github.com/kingyiusuen/image-to-latex
下载安装
安装
将源代码 clone 到本地文件夹：
- git clone https://github.com/kingyiusuen/image-to-latex.git
- cd image-to-latex
创建名称为 venv 的虚拟环境，并安装所需的包：
- make venv
- make install-dev
数据预处理
运行以下命令下载 im2latex 数据集并进行所有预处理，图像裁剪步骤可能需要一个多小时。
- python scripts/prepare_data.py
部署
创建 API 以使用经过训练的模型进行预测。使用以下命令启动并运行服务器：
- make api
可以通过 http://0.0.0.0:8000/docs 上生成的文档查看 API 的使用方法。
模型架构
运行例子
