一、Ollama介绍
Ollama是一个开源工具,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。
它提供了一个简洁高效的界面,让用户能够轻松地创建、执行和管理这些复杂的模型。此外,Ollama还配备了一个丰富的预构建模型库,使得这些模型能够无缝集成到各种应用程序之中,大大提升了开发效率和用户体验。
二、Ollama安装
2.1 官方网站
Ollama官方网址:https://ollama.com/
此网站可放心打开,没有墙,打开后如下:
2.2 Ollama下载
点击【Download】,会跳转到下载页面,如下:
根据自己的系统选择下载,我们以Windows系统为例进行安装。
点击【Download for Windows】,然后等待下载即可。
2.3 Ollama安装
2.3.1 双击【OllamaSetup.exe】开始安装。
2.3.2 点击【Install】开始安装。
等待安装即可,可以看到,目前Ollama版本为0.3.6。
2.3.3 注意事项
安装完成后,不会有提示,需要在开始里面找到Ollama。
并且一定要注意,如果没有成功添加环境变量,需要自己手动添加,否则无法在命令行内启动ollama。
2.4 Ollama快速应用
2.4.1 打开命令行窗口
通过wins+R,输入cmd,点击确定,打开命令行窗口。
2.4.2 通过Ollama配置大模型
输入 ollama list ,查看当前大模型情况,首次安装显示应如下图:
2.4.3 下载预训练模型
(1)点击 Models ,会来到Ollama支持的预训练模型页面。
(2)以下载 【yi】模型为例,我们在搜索框输入【yi】,然后点击进入【yi】模型的详细页面:
yi模型简介:
yi是一系列大型语言模型,在支持英语和汉语的3万亿标记的高质量语料库上训练。可以看到有不同的yi模型提供了6b、9b和34b的预训练模型,b表示10亿参数量,6b就是60亿参数量。
(3)在命令行窗口输入:ollama run yi:6b-chat ,这个命令本来是运行yi模型的命令,但是它在运行前会先检查是否有yi模型,如果没有,就会先下载yi模型,如果有,则会运行yi模型。
正规的下载命令应为:ollama pull yi:6b-chat
yi模型下载截图:
目前比较好的一点是,Ollama还没有被墙,所以我们可以在线下载,网速也是比较快的,能道道20MB/s以上,但是不排除将来被墙。
(4)下载完成后,会直接启动yi模型,我们可以在直接输入问题与yi模型进行交互。
2.4.4 与yi模型对话
可以看到,在回答第一个问题时,还是有理有据。但是在回答第二个逻辑问题时,6b的模型还是不准确的,没有很好地理解问题。
三、Ollama命令总结
为了方便大家对Ollama进行操作,这里列举了常用的一些ollama操作命令:
ollama serve:启动 Ollama 服务,是后续操作的基础。
ollama create:从模型文件创建模型,适用于自定义模型或本地已有模型文件的情况。
ollama show:显示模型信息,可查看模型架构、参数等详细信息,辅助模型分析。
ollama run:运行模型,如ollama run qwen2,若本地无该模型会自动下载并运行,可用于快速测试模型。
ollama pull:从注册表中拉取模型,如ollama pull llama3,方便获取官方或其他来源的模型。
ollama push:将模型推送到注册表,便于共享模型。
ollama list:列出本地已有的模型,方便管理和选择。
ollama cp:复制模型,可用于备份或创建模型副本。
ollama rm:删除模型,释放存储空间。
ollama help:获取任何命令的帮助信息,方便用户快速查询命令用法。