LM Studio 下载模型失败怎么办

发布于 2024-5-7 12:13
浏览
0收藏

LM Studio 简介

LM Studio是一款免费本地模型部署、应用软件, 主要功能:

• 模型部署

• Chat 应用

• 兼容OpenAI的Local Server, 支持以下接口

• GET /v1/models

• POST /v1/chat/completions

• POST /v1/embeddings

• POST /v1/completions

LM Studio vs ollama

LM Studio 功能上比  ollama + Open WebUI 弱不少(Open WebUI的缺点就是比较难安装) ,有兴趣OpenWebUI的,建议看看这两篇文章

• 一行代码让你免魔法部署Open-WebUI

• ollama 使用技巧集锦

没有魔法,无法下载huggingface.co的模型, 另外 LM Studio 不支持设置镜像,导致每次下载模型都会报错。今天就介绍两个方法来下载(部署)模型,无需魔法。

手工修改下载地址

LM Studio 下载模型失败怎么办-AI.x社区

选择要下载的模型,报错,就是上图的结果,把程序关闭,用编辑器打开~/.cache/lm-studio/downloads.json​,下面的例子就是下载gemma-2b-it-q8_0.gguf 的信息,

{
    "downloadsMap": [
        [
            "https://huggingface.co/lmstudio-ai/gemma-2b-it-GGUF/resolve/main/gemma-2b-it-q8_0.gguf",
            {
                "status": {
                    "type": "paused",
                    "pauseReason": {
                        "type": "error",
                        "errorMessage": "read ECONNRESET"
                    }
                },
                "url": "https://huggingface.co/lmstudio-ai/gemma-2b-it-GGUF/resolve/main/gemma-2b-it-q8_0.gguf",
                "filename": "gemma-2b-it-q8_0.gguf",
                "targetPath": "/Users/m2max/.cache/lm-studio/models/lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q8_0.gguf",
                "tempDownloadPath": "/Users/m2max/.cache/lm-studio/models/lmstudio-ai/gemma-2b-it-GGUF/downloading_gemma-2b-it-q8_0.gguf.part",
                "sha256": "ec68b50d23469882716782da8b680402246356c3f984e9a3b9bcc5bc15273140",
                "totalSizeBytes": null,
                "downloadedSizeBytes": 0,
                "downloadRequest": {
                    "url": "https://huggingface.co/lmstudio-ai/gemma-2b-it-GGUF/resolve/main/gemma-2b-it-q8_0.gguf",
                    "filename": "gemma-2b-it-q8_0.gguf",
                    "sha256checksum": "ec68b50d23469882716782da8b680402246356c3f984e9a3b9bcc5bc15273140",
                    "subpath": "lmstudio-ai/gemma-2b-it-GGUF"
                }
            }
        ]
    ],
    "endedDownloadsMap": [],
    "mergeTasks": []
}

看到这里,大家想到咋办了吗?把huggingface.co​ 替换成hf-mirror.com保存再次打开LM Studio

链接变了

LM Studio 下载模型失败怎么办-AI.x社区

换镜像

点Try Resume 就可以愉快地继续了

LM Studio 下载模型失败怎么办-AI.x社区

可以愉快下载模型了

手工下载模型

下载gguf

记得下载GGUF格式,如果不是,你得自己转。 至于哪里下载,hf-mirror.com 或者魔搭[1]都可以。 

当然也可以用 ollama 下载, 这个更方便,当然你既然选择了LM Studio,我不确定你还会下载 ollama 了,但万一你有 ollama 下载的模型,可以参考这篇文章得到gguf ollama 使用技巧集锦

手工安装

只需要把gguf按照指定的目录结构copy过去即可 让我们看看刚刚下载的gemma-2b-it-q8_0.gguf 是如何保存的吧?

lmstudio-ai
|____gemma-2b-it-GGUF
    |____gemma-2b-it-q8_0.gguf

对比下我的下载路径

https://hf-mirror.com/lmstudio-ai/gemma-2b-it-GGUF/resolve/main/gemma-2b-it-q8_0.gguf

现在明白两层目录怎么来的了吧, 比如我们同时下载了

FAQ

不知道自己的模型目录和配置信息在哪里?点这里就可以了,donwloads.json就在这个的上一级目录。

LM Studio 下载模型失败怎么办-AI.x社区

模型信息

本文转载自​ alitrack​,作者: alitrack


收藏
回复
举报
回复
相关推荐