搭建本地化 Gemma 4 AI大模型

原创东哥的平凡生活静听烟雨任平生

一、Gemma4 开源模型

前天Google 开源了Gemma4，采用和“双子座3”（Gemini 3）模型相同的技术体系，性能很好，这次发布了四款不同规格模型 E2B、E4B、26B MoE、31B Dense ，覆盖边缘设备到高性能服务器全场景。最轻量化版本可在安卓手机、树莓派等硬件上离线运行，兼顾多模态理解与语音能力，让本地 AI 部署门槛大幅降低。

谷歌这次有很大的诚意，全面改用 Apache 2.0 开源协议，支持无限制的商用、修改与分发，彻底放开商业使用限制。这次的改动让企业和开发者不用在顾虑授权的风险，直接对标 Llama、通义千问等主流开源模型，也就是全免费，全本地化。

所以我就想着借此机会，正式开启我的AI学习之路。毕竟经过了两个月的艰苦奋斗，基本完成了跨境 LOF基金的套利程序编写，我昨天又花了整整一天的时间，让TRAE全面梳理了数据结构、数据流向，优化了数据采集和清洗，各种估值的算法也梳理了一遍，还有一些尾巴要处理，剩下就是下周实盘看看有没有机会操练了。

那就从怎样搭建本地的模型开始吧，之前也从来没有接触过，完全从零开始，好在现在网上最新的信息、操作经验也很多，我的学习能力还行，折腾了一会，基本成功。

我研究了一下，我的老电脑最多也就能跑起来E4B，先安装 Ollama，再拉取Gemma4 的e4b 版本，中间问了豆包，坚定告诉我这个版本不适合我的电脑，给我推荐了更轻量的版本，可是那些链接都打不开，耽误了我很多时间。最后我也没听豆包的，还是官网下载颗粒这个7.8GB的e4b版本。

要学习的知识太多了，这2个月我只是使用了这几款AI的编程助手，但是对AI本身几乎是一无所知，很惭愧，我都没有用过Ollama，包括豆包还推荐我下载LM Studio（上午下载速度太慢，根本下不了，现在速度起来了，一会安装再学习）。

昨天文章发表后，很多AI的大佬留言，感谢你们的建议，我要多向你们学习

二、Codex

我之前用的3月初刚刚发布的Windows桌面版，支持的模型有：

今天安装命令行版本，直接 npm install -g @openai/codex，很快就出来：

支持的模型和桌面版的自然也是一模一样：

开场致辞：

现在运行命令 ollama launch codex --model gemma4:e4b ，把命令行版本的CODEX，成功加载了我本机的 Gemma4 模型上：

然后运行：codex --model gemma4:e4b，

但是提问后，出错：

■ {"detail":"The 'gemma4:e4b' model is not supported when using Codex with a ChatGPT account."}

转到codex桌面版，发现Gemma4的模型没有成功加载，也不知道什么原因。我上周在海鲜市场买过一个日抛型的KEY，按照店主给的说明文档，我依葫芦画瓢。打开配置文件 "C:\Users\用户\.codex\config.toml"，发现里面已经增加上了Ollama ，但是第一行默认的还是gpt-5.4，于是我就改为了 Ollama，这样应该就能定向到Ollama，而在那里已经launch 了Gemma4.