Java AI 实战:本地模型JSON结构化输出

人工智能
Ollama 的结构化输出功能为我们提供了一种强大的方式来集成 AI 能力到现有系统中。通过使用 JSON 格式,我们可以更容易地处理和使用 AI 生成的内容。

在人工智能和机器学习领域,大语言模型(LLM)的应用日益广泛。Ollama 作为一个强大的开源 LLM 工具,不仅可以进行自然语言对话,还能生成结构化的输出数据。本文将详细介绍如何使用 Ollama 生成 JSON 格式的输出,并提供完整的 Java 实现方案。

注意:本文采用原生 HTTP 调用方式实现与 Ollama 的交互,不依赖任何第三方 SDK(如 Spring AI、LangChain4j 等)。这种方式可以让你更好地理解底层实现原理,并且可以根据实际需求自由选择是否使用其他 SDK。

为什么选择结构化输出?

在实际应用中,我们经常需要将 LLM 的输出集成到现有的系统中。这时,结构化的输出格式(如 JSON)就显得尤为重要:

  1. 易于解析:JSON 是一种标准的数据交换格式,可以轻松地转换为编程语言中的对象
  2. 结构清晰:相比于纯文本输出,JSON 的层次结构更加清晰
  3. 便于集成:可以轻松地集成到现有的系统和工作流程中

技术实现

1. 环境准备

首先,我们需要在本地环境中安装并运行 Ollama。

macOS 安装

# 使用 Homebrew 安装
brew install ollama

Linux 安装

# 使用官方脚本安装
curl -fsSL https://ollama.com/install.sh | sh

启动 Ollama 服务

安装完成后,在终端运行:

# 启动 Ollama 服务
ollama serve

拉取并运行模型

打开新的终端窗口,运行以下命令拉取通义千问2.5模型:

# 拉取通义千问2.5 32B参数量模型
ollama pull qwen2.5:32b

你可以通过以下命令测试模型是否正常工作:

# 测试模型
ollama run qwen2.5:32b "你好,请做个自我介绍"

验证 API 服务

确保 Ollama API 服务正常运行:

# 测试 API 服务是否正常
curl http://localhost:11434/api/version

如果返回版本信息,说明服务已经准备就绪。

2. Java 代码实现

我们将使用 Spring Boot 框架来实现一个简单的示例。首先创建必要的 POJO 类:

@Data
@Builder
public class ChatMessage {
    private String role;
    private String content;
}

@Data
@Builder
public class ChatCompletionRequest {
    private String model;
    private List<ChatMessage> messages;
    private String format;
}

@Data
public class ChatCompletionResponse {
    private String model;
    private String createdAt;
    private ChatMessage message;
    private String done;
}

接下来,实现调用 Ollama API 的服务类:

@Service
@Slf4j
public class ChatCompletionService {
    private static final String API_ENDPOINT = "http://localhost:11434/api/chat";
    private final RestTemplate restTemplate;

    public ChatCompletionService(RestTemplate restTemplate) {
        this.restTemplate = restTemplate;
    }

    public String generateStructuredResponse(String prompt) {
        ChatCompletionRequest request = ChatCompletionRequest.builder()
            .model("qwen2.5:32b")
            .messages(List.of(ChatMessage.builder()
                .role("user")
                .content(prompt)
                .build()))
            .format("json")
            .build();

        ResponseEntity<ChatCompletionResponse> response = restTemplate.postForEntity(
            API_ENDPOINT,
            request,
            ChatCompletionResponse.class
        );

        return Optional.ofNullable(response.getBody())
            .map(ChatCompletionResponse::getMessage)
            .map(ChatMessage::getContent)
            .orElse("");
    }
}

实践示例

让我们通过一个具体的例子来说明如何使用这个系统。假设我们想要获取一款车型的推荐信息:

String prompt = """
    请生成问界M9车型的推荐信息,返回JSON格式,结构如下:
    {
        "model": string,
        "brand": string,
        "priceRange": string,
        "powerType": string,
        "scenarios": string[],
        "advantages": string[],
        "recommendation": {
            "trim": string,
            "color": string,
            "options": string[]
        }
    }
    """;

String response = chatCompletionService.generateStructuredResponse(prompt);

Ollama 会返回类似这样的 JSON 响应:

{
    "model": "问界M9",
    "brand": "问界AITO",
    "priceRange": "50-70万元",
    "powerType": "增程式混动",
    "scenarios": [
        "商务接待",
        "家庭出行",
        "长途旅行",
        "城市通勤"
    ],
    "advantages": [
        "华为智能座舱",
        "超大空间",
        "豪华舒适",
        "智能驾驶",
        "低油耗"
    ],
    "recommendation": {
        "trim": "旗舰版",
        "color": "星际银",
        "options": [
            "全自动泊车辅助",
            "行政座椅套件",
            "全景天幕"
        ]
    }
}

最佳实践

在使用 Ollama 生成结构化输出时,有以下几点建议:

  1. 明确的提示词:在提示词中明确指定你期望的 JSON 结构,并指定format json
  2. 错误处理:添加适当的错误处理机制,因为 LLM 的输出可能不总是完全符合预期
  3. 输出验证:使用 JSON Schema 验证输出的格式是否符合要求
  4. 性能优化:考虑添加缓存机制,避免重复请求相同的内容

结论

Ollama 的结构化输出功能为我们提供了一种强大的方式来集成 AI 能力到现有系统中。通过使用 JSON 格式,我们可以更容易地处理和使用 AI 生成的内容。本文提供的 Java 实现方案可以作为一个起点,帮助你开始使用 Ollama 的结构化输出功能。

责任编辑:武晓燕 来源: JAVA架构日记
相关推荐

2018-04-03 14:00:03

结构化数据非结构化数据数据库

2021-12-12 08:37:18

结构化数据非结构化数据数据

2023-12-25 15:00:18

结构化布线光纤

2024-05-27 00:32:45

2024-08-08 12:44:40

2024-07-17 09:47:18

2023-05-13 00:06:33

2012-02-08 15:54:05

ibmdw

2009-10-16 12:55:27

结构化布线系统

2009-10-21 15:20:28

结构化布线技术

2011-03-01 09:39:51

结构化布线

2009-10-15 13:49:23

结构化布线系统

2022-07-04 22:08:52

结构化数据谷歌

2023-07-25 17:21:20

综合布线结构化布线

2021-12-29 10:51:19

JavaSPL架构

2023-12-26 09:00:00

Java结构化并发开发

2024-08-07 12:34:29

2019-07-13 15:00:17

结构化SQLNOSQL数据库

2009-07-28 11:44:37

布线系统结构化
点赞
收藏

51CTO技术栈公众号