简介

GPT4All是一个本地软件，用于将大语言模型(LargeLanguageModel)通过浮点优化等方法在本地离线提供服务。

在ChatGPT大火之后，很多厂商模仿推出了开源或专有的大语言对话模型，但这些模型要么以web服务方式提供要么过于需要计算资源而难以本地使用。

随着facebook的llama的泄漏，一个不错的离线替代品出现，同时llama.cpp项目通过浮点计算优化让笔记本也能勉强运行起大模型来。 GPT4All项目将相关技术和资源整合制作了QT桌面软件，让用户能方便的本地离线运行公开的大语言模型，当然它也提供OpenAI的接口以同时使用线上服务。

安装

官网会提供Windows、MacOS、Linux的安装包，但每次安装还是会联网检索信息，无法离线安装，只要官网能访问就可以简单的“下一步”安装完成。 也可以从源代码编译。

下载模型

官方会预配置一些模型可供直接使用，由于网络的封锁这一步可以离线进行。

模型列表来自官网，下载时会跳转到一个github地址 https://gpt4all.io/models/models.json 可以手动下载后放到 ~/AppData/Roaming/nomic.ai/models.json 之后点击界面左侧的 Download 按钮就可以看到可选模型列表了。

由于huggingface被彻底封锁，只能手动科学下载。 在官网首页下来可以看到模型介绍，选择想下载的模型，点击下方卡片的箭头按钮就可以下载。 下载后放到~/AppData/Local/nomic.ai/GPT4ALL/里就能被软件自动识别到。

对话

从上方的菜单选择已经下载好被识别的模型，即可像ChatGPT一样对话。 这些模型通常要求16G的内存即可。 对话效果差强人意，而且基本只支持英文输出。