简介

LM Studio 是一个桌面应用程序，它允许你轻松下载、管理和运行各种GGUF格式的开源 LLM，无需连接互联网。 它提供了一个非常友好的配置界面，让你能够探索huggingface，快速体验不同模型的特性，并根据自己的需求进行调整。 在对各类新型模型的支持中，LM Studio 总是非常迅速完美的。 不过 LM Studio 是一个免费的专有软件，并不开放源代码。

安装

官网的下载页面提供Windows、Linux和MacOS的下载，除了x86还支持arm64架构的CPU。 安装包是离线的，包含需要的各类运行库，安装过程完全无需联网。 第一次运行的时候会提示选项级别，默认的 Power User 即可。

准备模型

LM Studio 支持从huggingface.co搜索并直接下载运行GGUF格式的 LLM，即量化压缩后的LLM。 但本文的重点是完全离线运行，当然应避免联网功能。

一个理所当然的方法是下载GGUF模型文件放置在 LM Studio 的模型文件夹 ~\.lmstudio\models\ 中，不过这样并不能直接被软件识别。 LM Studio 的解析方式是按照 Hugging Face 模型仓库的 URI 格式来识别模型文件，所以只要按照 ~\.lmstudio\models\作者\模型名\参数文件.gguf 的方式导入 LLM 文件即可。

作者和模型名可以自己命名，也可以就按照默认方式来，如从 https://huggingface.co/bartowski/mistralai_Mistral-Small-3.1-24B-Instruct-2503-GGUF/blob/main/mistralai_Mistral-Small-3.1-24B-Instruct-2503-Q4_K_M.gguf 下载的文件放在 ~\.lmstudio\models\bartowski\mistralai_Mistral-Small-3.1-24B-Instruct-2503-GGUF\mistralai_Mistral-Small-3.1-24B-Instruct-2503-Q4_K_M.gguf

将模型文件放置完成后，打开 LM Studio 点击左侧文件夹图表的 Models 标签页即可看到下载的文件。 列表中还会列出模型的各项参数和功能。

对话

在打开的初始界面，上方选择模型文件加载，可以配置一些参数，通常默认的就足够好了。 等待加载完成就可以在下方与 LLM 对话了。 目前支持上传图片和附件，只要LLM支持相关功能就可以使用。

提供服务

LM Studio 可以提供兼容 OpenAI v1 的API服务，可以作为局域网中便捷的LLM基础服务，与各种客户端应用程序配合使用。