Google AI 推出 Gemini 1.5 Pro API 全面提升开发者体验原创

发布于 2024-6-22 17:44

浏览

0收藏

Gemini 1.5 Pro 现已在全球公测，带来多项关键更新

Gemini 1.5 Pro 现已在超过 180 个国家或地区的 Gemini API 公测环境中提供，引入了官方改进的音频/视频（语言）理解能力和新的文件 API，以便于实时大文件访问。此外，还增加了多套综合的 JSON 解析器架构，给予开发者更多控制与调试的功能。最后，发布了性能优越的下一代文本嵌入模型。
Google AI 推出 Gemini 1.5 Pro API 全面提升开发者体验-AI.x社区

主要更新内容

全球可用性：
Gemini 1.5 Pro 现已在超过 180 个国家或地区的 Gemini API 公测环境中提供，使得全球开发者都能访问并利用这一新型模型。

官方音频/视频（语言）理解能力：
引入了官方改进的音频（语言）理解能力，意味着 Gemini 1.5 Pro 能够更精确地解析和理解音频输入，为开发者提供更丰富的语言识别和处理工具。

新的文件 API：
新增的文件 API 使得文件大小不再成为限制，开发者能够更高效地处理应用中的大文件传输，视频和音频文件的处理。

JSON 解析：
升级了 JSON 能力，包括多套综合的 JSON 解析器架构，极大地提高了数据解析的精度和性能。

功能和接口：
改进了功能和接口调用，开发者可以选择不同的接口实现功能调试，增强了系统接口的灵活性和适用性。

新的文本嵌入模型：
推出了性能优越的最新一代文本嵌入模型（text-embedding-004），在 MTEB 基准测试中显示出比前几代模型更优越的综合性能，为文本分析和语义理解提供了强大的支持。

更广泛的输入格式支持：
Gemini 1.5 Pro 扩展了对不同输入格式的支持，包括音频和视频，并计划很快支持图片内容和语言（语言）跨模态转换的 API 交互，为开发者提供更多元化的应用可能。

这些更新不仅展示了 Google 对 AI 技术不断创新的承诺，也为开发者提供了更多工具和资源，以便更好地构建和优化他们的应用程序和服务。
Google AI 推出 Gemini 1.5 Pro API 全面提升开发者体验-AI.x社区

如何使用 Gemini 1.5 Pro？

创建 API 密钥：
在 Google AI Studio 创建或申请测试的 API 密钥，开始构建。

查看和使用扩展的音频/视频（语言）能力：
在 Gemini API 和 Google AI Studio 中查看扩展的音频和视频（语言）理解能力。支持通过上传到 Google AI Studio 的视频和音频自动翻译的音频输入，API 交互的潜力巨大。

配置 API 调用：
在 Google AI Studio 的 Gemini API 中，通过交互式的分析与管理控制台创建、定义角色、格式、时间和规则，以便于理解不同的输入格式和行为。

JSON 解析：
查看和使用改进的 JSON 解析功能和新的文本嵌入模型，使你可以更灵活地处理大文本数据和结构化的 JSON 响应。你可以使用 cURL 或 Python SDK 支持的交互功能。

import requests

url = "https://gemini.api.google.com/v1/json-parser"
headers = {
    "Authorization": "Bearer YOUR_API_KEY",
    "Content-Type": "application/json"
}
payload = {
    "json_input": {"example_key": "example_value"}
}
response = requests.post(url, headers=headers, json=payload)
print(response.json())

跨模态转换的使用：
现在可以与 Gemini API 互动，将音频、视频和文本，甚至图片进行交互，功能适用范围大大扩展。