在人工智能和机器学习领域,大语言模型(LLM)的应用日益广泛。Ollama 作为一个强大的开源 LLM 工具,不仅可以进行自然语言对话,还能生成结构化的输出数据。本文将详细介绍如何使用 Ollama 生成 JSON 格式的输出,并提供完整的 Java 实现方案。
注意:本文采用原生 HTTP 调用方式实现与 Ollama 的交互,不依赖任何第三方 SDK(如 Spring AI、LangChain4j 等)。这种方式可以让你更好地理解底层实现原理,并且可以根据实际需求自由选择是否使用其他 SDK。
为什么选择结构化输出?
在实际应用中,我们经常需要将 LLM 的输出集成到现有的系统中。这时,结构化的输出格式(如 JSON)就显得尤为重要:
- 易于解析:JSON 是一种标准的数据交换格式,可以轻松地转换为编程语言中的对象
- 结构清晰:相比于纯文本输出,JSON 的层次结构更加清晰
- 便于集成:可以轻松地集成到现有的系统和工作流程中
技术实现
1. 环境准备
首先,我们需要在本地环境中安装并运行 Ollama。
macOS 安装
# 使用 Homebrew 安装
brew install ollama
Linux 安装
# 使用官方脚本安装
curl -fsSL https://ollama.com/install.sh | sh
启动 Ollama 服务
安装完成后,在终端运行:
# 启动 Ollama 服务
ollama serve
拉取并运行模型
打开新的终端窗口,运行以下命令拉取通义千问2.5模型:
# 拉取通义千问2.5 32B参数量模型
ollama pull qwen2.5:32b
你可以通过以下命令测试模型是否正常工作:
# 测试模型
ollama run qwen2.5:32b "你好,请做个自我介绍"
验证 API 服务
确保 Ollama API 服务正常运行:
# 测试 API 服务是否正常
curl http://localhost:11434/api/version
如果返回版本信息,说明服务已经准备就绪。
2. Java 代码实现
我们将使用 Spring Boot 框架来实现一个简单的示例。首先创建必要的 POJO 类:
@Data
@Builder
public class ChatMessage {
private String role;
private String content;
}
@Data
@Builder
public class ChatCompletionRequest {
private String model;
private List<ChatMessage> messages;
private String format;
}
@Data
public class ChatCompletionResponse {
private String model;
private String createdAt;
private ChatMessage message;
private String done;
}
接下来,实现调用 Ollama API 的服务类:
@Service
@Slf4j
public class ChatCompletionService {
private static final String API_ENDPOINT = "http://localhost:11434/api/chat";
private final RestTemplate restTemplate;
public ChatCompletionService(RestTemplate restTemplate) {
this.restTemplate = restTemplate;
}
public String generateStructuredResponse(String prompt) {
ChatCompletionRequest request = ChatCompletionRequest.builder()
.model("qwen2.5:32b")
.messages(List.of(ChatMessage.builder()
.role("user")
.content(prompt)
.build()))
.format("json")
.build();
ResponseEntity<ChatCompletionResponse> response = restTemplate.postForEntity(
API_ENDPOINT,
request,
ChatCompletionResponse.class
);
return Optional.ofNullable(response.getBody())
.map(ChatCompletionResponse::getMessage)
.map(ChatMessage::getContent)
.orElse("");
}
}
实践示例
让我们通过一个具体的例子来说明如何使用这个系统。假设我们想要获取一款车型的推荐信息:
String prompt = """
请生成问界M9车型的推荐信息,返回JSON格式,结构如下:
{
"model": string,
"brand": string,
"priceRange": string,
"powerType": string,
"scenarios": string[],
"advantages": string[],
"recommendation": {
"trim": string,
"color": string,
"options": string[]
}
}
""";
String response = chatCompletionService.generateStructuredResponse(prompt);
Ollama 会返回类似这样的 JSON 响应:
{
"model": "问界M9",
"brand": "问界AITO",
"priceRange": "50-70万元",
"powerType": "增程式混动",
"scenarios": [
"商务接待",
"家庭出行",
"长途旅行",
"城市通勤"
],
"advantages": [
"华为智能座舱",
"超大空间",
"豪华舒适",
"智能驾驶",
"低油耗"
],
"recommendation": {
"trim": "旗舰版",
"color": "星际银",
"options": [
"全自动泊车辅助",
"行政座椅套件",
"全景天幕"
]
}
}
最佳实践
在使用 Ollama 生成结构化输出时,有以下几点建议:
- 明确的提示词:在提示词中明确指定你期望的 JSON 结构,并指定format json
- 错误处理:添加适当的错误处理机制,因为 LLM 的输出可能不总是完全符合预期
- 输出验证:使用 JSON Schema 验证输出的格式是否符合要求
- 性能优化:考虑添加缓存机制,避免重复请求相同的内容
结论
Ollama 的结构化输出功能为我们提供了一种强大的方式来集成 AI 能力到现有系统中。通过使用 JSON 格式,我们可以更容易地处理和使用 AI 生成的内容。本文提供的 Java 实现方案可以作为一个起点,帮助你开始使用 Ollama 的结构化输出功能。