译者 | 李睿
审校 | 重楼
向量数据库是专门用于处理非结构化、复杂数据（如图像、文本或音频）的高维向量表示的存储和检索的系统。通过将复杂数据表示为数值向量，这些系统理解场景和概念相似性，为查询提供明显相似而不是精确匹配的结果，从而实现高级数据分析和检索。
随着向量数据库中数据量的增加，信息的存储和检索变得越来越具有挑战性。二进制量化将高维向量简化为紧凑的二进制代码，减少了数据大小，并提高了检索速度。这种方法提高了存储效率，实现了更快的搜索，允许数据库更有效地管理规模更大的数据集。
理解二进制量化
在获得初始嵌入后，然后应用二进制量化。二进制量化将给定向量的每个特征简化为二进制数字0或1。它为正值赋值为1，为负值赋值为0，从而捕获相应数字的符号。
例如，如果一张图像由四个不同的特征表示，其中每个特征都包含一个在float32存储单元范围内的值，则对该向量执行二进制量化将把每个特征转换为一个二进制数字。这样，由4个float32值组成的原始向量将被转换成具有4个二进制数字的向量，例如[1, 0,0, 1] 仅占用4位。
通过将存储在每个维度上的数字从float32转换为1位，这大幅减少了每个向量占用的空间量，减少了32倍。然而，这个过程是不可逆的——这使其成为一种有损压缩技术。
为什么二进制量化对高维数据很有效
当在空间中定位向量时，符号表示移动的方向，而幅度指定在选定的方向上移动的距离。
在二进制量化中，通过保留每个向量分量的符号来简化数据——1表示正值，0表示负值。虽然这可能看起来很极端，因为它忽略了沿着每个轴的移动幅度，但令人惊讶的是，它对高维向量非常有效。以下对这个看似激进的方法如此有效的原因进行探讨。
向量数据库中二进制量化的优点
提升性能
二进制量化通过采用二进制代码（0和1）表示向量来增强性能，允许使用汉明距离（Hamming distance）作为相似性度量。汉明距离是使用二进制向量之间的异或（XOR）运算来计算的：XOR在位不同时的结果为1，在位相同时的结果为0。异或结果中的1的数量表示不同位的数量，提供了一种快速有效的相似性度量。
与更复杂的距离度量（如欧几里得距离）相比，这种方法简化并加快了向量比较。
提高效率
二进制量化将向量从32位浮点数压缩为1位二进制数，从而大幅减少了存储需求，如上图所示。这种压缩降低了存储成本，并加快了处理速度，对于需要存储和管理大量数据的向量数据库来说非常高效。
可扩展性
增加维度减少表示中的冲突，这使得二进制量化对高维向量来说更有效。
这种增强的功能允许对大量数据集进行有效的管理和存储，因为紧凑的二进制格式显著地减少了存储空间和计算负载。随着维数的增加，潜在区域的指数增长确保了冲突最小化，从而保持了高性能和响应性。这使得它成为可扩展向量数据库的理想选择，能够轻松处理不断增长的数据量。
挑战与考虑因素
准确度和精确度
二进制量化在显著提高搜索速度的同时，也影响了搜索结果的准确性和精确度。具有高分辨率的数据提供的细微差别和细节可能会丢失，从而导致结果不太精确。此外，二进制量化是有损压缩，这意味着一旦数据经过量化，原始信息将不可挽回地丢失。将二进制量化与高级索引技术（如HNSW）相结合，可以在保留二进制编码速度优势的同时提高搜索精确度。
实施复杂性
SIMD（单指令多数据）指令等专用硬件和软件对于加速位操作至关重要，允许同时处理多个数据点，即使在暴力计算相似性的方法中也能显著加快计算速度。
数据预处理
二进制量化假设数据处于正态分布。当数据出现偏斜或有异常值时，二进制量化可能导致次优结果，影响向量数据库的准确性和效率。
度量差异
二进制量化器使用汉明距离来准确测量基于角度的度量（如余弦相似度），但与欧几里得距离等度量相矛盾。因此，应该根据应用领域适当选择它来测量位之间的距离。
未来趋势及发展
在二进制量化方面，可以期待一些改进，例如基于数据分布调整阈值以提高准确性，并结合反馈循环以进行持续改进。此外，将二进制量化与高级索引技术相结合，有望进一步优化搜索效率。
二进制量化在向量数据库中的应用
- 图像和视频检索：图像和视频代表具有大量存储需求的高维数据。例如，一张高分辨率图像可以有数百万像素，每个像素都需要多个字节来表示颜色信息。二进制量化将这些高维特征向量压缩成紧凑的二值码，显著地减少了存储需求，提高了检索效率。
- 推荐系统：二进制量化通过将用户和项目特征向量转换为紧凑的二进制代码来增强推荐系统，从而提高速度和效率。通过与局部敏感哈希(LSH)等近似最近邻技术相结合，可以进一步优化这一点，确保通过精细搜索提供准确的推荐。
- 自然语言处理（NLP）：通过减少向量数据库中的存储需求，二进制量化有助于处理和分析文本数据，从而实现高效的性能。这种NLP技术允许更快地检索和比较文本数据，使聊天机器人在处理用户查询时响应更快、更有效。
结论
二进制量化为处理向量数据库中高维向量数据的复杂性提供了一种强大的解决方案。通过将高维向量转换为紧凑的二进制代码，该技术大幅减少了存储需求，并加快了检索时间。
此外，它与先进的索引方法相结合，进一步提高了检索的准确性和效率，使其成为信息检索的通用工具。用于存储维度数据的向量数据库可以利用快速存储硬件来加速处理工作负载，无论是人工智能训练还是基于检索增强生成（RAG）的应用程序。
原文标题：Exploring Binary Quantization in Vector Databases，作者：Martin Summer
