回复
一个轻量级RAG文本切块项目Chonkie
Chonkie:实用的RAG分块库,轻量级、速度快,可随时对文本进行分块。
图片
支持的方法
Chonkie 提供了多个分块器,可高效地为RAG应用程序拆分文本。以下是可用分块器的简要概述:
- TokenChunker:将文本分割成固定大小的标记块。
- WordChunker:根据单词将文本分成块。
- SentenceChunker:根据句子将文本分成块。
- SemanticChunker:根据语义相似性将文本分成块。
- SDPMChunker:使用语义双重合并方法分割文本。
基准(VS LangChain LlamaIndex)
尺寸
- 默认安装: 9.7MB(其他版本为 80-171MB)
- 具有语义:仍然比竞争对手更轻!
图片
速度
- token分块:比最慢的替代方案快 33 倍
- 句子分块:比竞争对手快近 2 倍
- 语义分块:比其他方法快 2.5 倍
####
pip install chonkie
# First import the chunker you want from Chonkie
from chonkie import TokenChunker
# Import your favorite tokenizer library
# Also supports AutoTokenizers, TikToken and AutoTikTokenizer
from tokenizers import Tokenizer
tokenizer = Tokenizer.from_pretrained("gpt2")
# Initialize the chunker
chunker = TokenChunker(tokenizer)
# Chunk some text
chunks = chunker("Woah! Chonkie, the chunking library is so cool! I love the tiny hippo hehe.")
# Access chunks
for chunk in chunks:
print(f"Chunk: {chunk.text}")
print(f"Tokens: {chunk.token_count}")
https://github.com/bhavnicksm/chonkie
https://pypi.org/project/chonkie/
本文转载自PaperAgent
赞
收藏
回复
相关推荐