01功能特性
优点
- 2,5B actifs : débit élevé sur GPU grand public
- 262k 上下文，可处理大型代码仓库
- Apache 2.0, usage commercial libre
- Ollama 官方标签
需了解的局限性
- —~23 GB VRAM en Q4 : carte 24 GB ou Mac 32 GB conseillé
- —Spécialisé code : moins adapté au chat généraliste
- —我们的来源中没有公开评分：性能需要根据您的使用场景进行验证
架构
MoE 39,8B total / 2,5B actifs · 262k contexte
训练
Modèle open de production de RecursiveSI, orienté agents de code et raisonnement. Licence Apache 2.0.
最适合的场景
编程智能体Raisonnement sur gros dépôtsAssistant de dev local
04安装
安装 Ollama 适用于您的操作系统。下载前请检查模型及其量化方式。从 4096 tokens 的上下文开始，然后使用 ollama ps 检查模型的加载位置。下方列出的命令并不能证明已在您的机器上执行过测试。
$ollama pull flint
LM Studio
图形界面，无需命令行操作
→ 查看指南
llama.cpp
原始性能，从源码构建
→ 查看指南
vLLM
兼容 OpenAI 的生产级服务器
→ 查看指南
Jan / GPT4All
一体化桌面应用
→ 查看指南
⚠
首次下载：根据所选量化方式，大小在 2 到 40 GB 之间。请预留磁盘空间，建议使用稳定的网络连接。后续启动将即时完成。
02所需内存
运行此模型所需的大致 GPU 显存容量，已包含 4k tokens 的上下文开销。如需更长的上下文，每增加 8k tokens，请额外预留约 1 GB。
Q4_K_M
最轻量，损失约 5%
23 GB
Q5_K_M
质量/体积的良好平衡
28 GB
Q8_0
几乎无法与 FP16 区分
43 GB
FP16
全精度 — 服务器用途
80 GB
CPU 回退 · 如果您没有 GPU，请预留 52 GB 内存 以较低速度运行此模型的最低要求。
运行Flint 40B-A2.5B需要什么硬件？
在本地以Q4量化运行Flint 40B-A2.5B，大约需要23 GB 显存。可供比较的硬件选项：GMKtec EVO-X2 64GB / 1TB (Ryzen AI Max+ 395) — 请为系统和上下文保留余量，并确认推理引擎与GPU兼容。
当前在售产品： GMKtec EVO-X2 64GB / 1TB (Ryzen AI Max+ 395)
Amazon查看价格 →为什么选择它？我们的完整资料： GMKtec EVO-X2 64GB / 1TB (Ryzen AI Max+ 395) →
联盟链接 — 您无需承担额外费用，我们可能获得佣金，推荐独立作出。作为 Amazon 合作伙伴，哪个LLM 会从符合条件的购买中获利。
移动场景： Flint 40B-A2.5B 也可运行在一台 RTX 笔记本电脑 (24 GB 显存）→
03预期速度
Q4_K_M 量化下每秒生成的 tokens 数，上下文为 4k。超过 20 t/s，阅读体验舒适。低于 10 t/s，仅用于测试。