Ollama的介绍与测试

开源 人工智能
Ollama是一个开源工具,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。它提供了一个简洁高效的界面,让用户能够轻松地创建、执行和管理这些复杂的模型。

一、Ollama介绍

Ollama是一个开源工具,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。

它提供了一个简洁高效的界面,让用户能够轻松地创建、执行和管理这些复杂的模型。此外,Ollama还配备了一个丰富的预构建模型库,使得这些模型能够无缝集成到各种应用程序之中,大大提升了开发效率和用户体验。

二、Ollama安装

2.1  官方网站

Ollama官方网址:https://ollama.com/

此网站可放心打开,没有墙,打开后如下:

图片

2.2  Ollama下载

点击【Download】,会跳转到下载页面,如下:

图片

根据自己的系统选择下载,我们以Windows系统为例进行安装。

点击【Download for Windows】,然后等待下载即可。

图片

2.3  Ollama安装

2.3.1  双击【OllamaSetup.exe】开始安装。

图片

2.3.2  点击【Install】开始安装。

图片

等待安装即可,可以看到,目前Ollama版本为0.3.6。

图片

2.3.3  注意事项

安装完成后,不会有提示,需要在开始里面找到Ollama。

图片

并且一定要注意,如果没有成功添加环境变量,需要自己手动添加,否则无法在命令行内启动ollama。

图片

2.4  Ollama快速应用

2.4.1  打开命令行窗口

通过wins+R,输入cmd,点击确定,打开命令行窗口。

图片

图片

2.4.2  通过Ollama配置大模型

输入  ollama  list ,查看当前大模型情况,首次安装显示应如下图:

图片

2.4.3  下载预训练模型

(1)点击  Models ,会来到Ollama支持的预训练模型页面。

图片

图片

(2)以下载 【yi】模型为例,我们在搜索框输入【yi】,然后点击进入【yi】模型的详细页面:

图片

图片

yi模型简介:

yi是一系列大型语言模型,在支持英语和汉语的3万亿标记的高质量语料库上训练。可以看到有不同的yi模型提供了6b、9b和34b的预训练模型,b表示10亿参数量,6b就是60亿参数量。

(3)在命令行窗口输入:ollama run yi:6b-chat  ,这个命令本来是运行yi模型的命令,但是它在运行前会先检查是否有yi模型,如果没有,就会先下载yi模型,如果有,则会运行yi模型。

正规的下载命令应为:ollama pull yi:6b-chat

yi模型下载截图:

图片

目前比较好的一点是,Ollama还没有被墙,所以我们可以在线下载,网速也是比较快的,能道道20MB/s以上,但是不排除将来被墙。

(4)下载完成后,会直接启动yi模型,我们可以在直接输入问题与yi模型进行交互。

图片

2.4.4  与yi模型对话

图片

可以看到,在回答第一个问题时,还是有理有据。但是在回答第二个逻辑问题时,6b的模型还是不准确的,没有很好地理解问题。

三、Ollama命令总结

为了方便大家对Ollama进行操作,这里列举了常用的一些ollama操作命令:

ollama serve:启动 Ollama 服务,是后续操作的基础。
ollama create:从模型文件创建模型,适用于自定义模型或本地已有模型文件的情况。
ollama show:显示模型信息,可查看模型架构、参数等详细信息,辅助模型分析。
ollama run:运行模型,如ollama run qwen2,若本地无该模型会自动下载并运行,可用于快速测试模型。
ollama pull:从注册表中拉取模型,如ollama pull llama3,方便获取官方或其他来源的模型。
ollama push:将模型推送到注册表,便于共享模型。
ollama list:列出本地已有的模型,方便管理和选择。
ollama cp:复制模型,可用于备份或创建模型副本。
ollama rm:删除模型,释放存储空间。
ollama help:获取任何命令的帮助信息,方便用户快速查询命令用法。
责任编辑:庞桂玉 来源: Python伊甸园
相关推荐

2010-09-16 16:08:46

2024-10-30 11:06:59

SpringAI模型

2020-11-30 10:15:00

Python突变测试编程语言

2011-07-04 18:16:42

单元测试

2014-04-09 11:13:37

测试驱动开发

2011-07-04 18:12:09

功能测试故障模型

2023-12-24 10:00:35

Java单元测试

2017-09-06 16:08:45

JmeterJenkins自动化测试

2018-01-10 08:30:10

移动应用智能设备智能手机

2018-01-10 13:56:40

移动应用测试策略测试架构

2011-02-22 15:00:17

ProFTPD启动测试

2009-07-20 15:37:26

JRuby安装JRuby配置

2021-06-30 07:19:36

Netty简单使用

2010-08-14 21:59:35

2010-06-10 17:08:38

2010-08-16 11:30:16

路由交换测试技术

2010-06-17 15:25:10

Linux测试工具

2009-08-31 18:40:01

Java 7新功能

2011-07-15 15:47:02

JAVA

2009-12-25 17:11:40

ADO方法
点赞
收藏

51CTO技术栈公众号