专为企业级大模型开发的框架、工具和模型

开发
llmware 是一个专为企业级 LLM 开发的框架、工具和模型。

背景介绍

在当今的企业环境下,很多的公司都在落地大模型相关的应用。但是并不是每个公司都具备相应的专业大模型的人才,能够很好的处理大模型落地过程中碰到的问题。

今天要给大家推荐一个 GitHub 开源项目 llmware-ai/llmware,该项目在 GitHub 有超过 1.6k Star,用一句话介绍该项目就是:“Providing enterprise-grade LLM-based development framework, tools, and fine-tuned models.”。

项目介绍

llmware 是一个专为企业级 LLM 开发的框架、工具和模型。该项目在私有云中将企业知识与 LLM 安全并有效地整合,以便于创建出专业的、基于知识的企业 LLM 应用。主要功能包括:

1、提供高性能的文档解析器以快速处理多种常用文档类型;

2、提供完整的直观的查询方法,如语义查询,文本查询以及混合查询;

3、支持人类参与评估、反馈和纠正 AI 的响应;

4、可灵活地分析和审核 LLM 提示生命周期,等等。

此外,llmware 还提供快速开始使用增强型检索生成(RAG)的教程和视频,以便于让大家探索并掌握这个开源项目。

如何使用

llmware 的安装和使用十分方便,可以通过 pip 命令进行安装。

pip3 install llmware

对于 MongoDB 和 Milvus 的使用者,llmware 可以直接通过 Docker Compose 文件进行安装,以便于提供生产级的数据库和向量嵌入能力。安装完成后,只需引入 llmware 库即可开始编写代码。

from llmware.models import ModelCatalog

ModelCatalog().get_llm_toolkit()  # get all SLIM models, delivered as small, fast quantized tools 
ModelCatalog().tool_test_run("slim-sentiment-tool") # see the model in action with test script included

项目推介

llmware 构建的框架由四大主要组件组成,可以满足全面而多元的业务需要。

以下是该项目 Star 趋势图(代表项目的活跃程度):

更多项目详情请查看如下链接。

开源项目地址:https://github.com/llmware-ai/llmware

开源项目作者:llmware-ai

责任编辑:张燕妮 来源: 今日头条
相关推荐

2009-03-30 09:42:28

OSGiJavaJCP

2010-08-04 15:20:15

Flex企业级开发

2009-06-23 15:02:56

JSF和AJAX

2009-06-23 14:55:43

AJAX和JSF

2012-05-15 15:21:29

企业级

2009-03-02 09:22:39

OSGiJ2EEEclipse

2010-04-07 08:55:00

OSGiSpring

2011-12-06 14:02:27

企业级移动开发

2023-07-17 18:47:52

2022-03-02 21:53:57

Spring数据库持久化Jar包

2016-06-12 09:20:12

云计算公有云

2023-11-21 20:17:28

Kyligence

2013-08-01 00:00:00

开发企业级App出路

2012-04-01 11:11:58

MyEclipseJ2EE

2010-11-11 09:54:31

2011-12-06 10:23:42

摩托罗拉企业级移动开发

2009-12-14 20:13:57

IBM

2023-06-08 14:36:49

2023-09-13 18:39:13

大模型开发栈框架
点赞
收藏

51CTO技术栈公众号