Hugging Face：是什么，以及如何使用 ?

#Hugging Face 是什么？

Hugging Face 是一家由三位法国企业家 Clément Delangue、Julien Chaumond 和 Thomas Wolf 于 2016 年创立的公司，在纽约和巴黎两地开展业务，注册总部仍位于美国。它最初推出了一款面向青少年的聊天机器人应用，这个项目如今已被放弃；公司的名字就取自那个面带微笑、张开双手的表情符号。随后，它转向机器学习开源工具：其 transformers 库已成为在 Python 中加载和运行语言模型的近乎标准的方式，被大多数研究实验室和业内企业采用。最后，公司构建了 Hub，这是一个基于 Git 版本控制系统的托管平台，任何人都可以免费发布模型、数据集和小型网页演示，无需事先经过编辑审核。

对于本地AI而言，Hub就像一个应用商店，但有两个不同之处：几乎一切都是免费的，且没有任何内容是为用户精选的。与传统应用商店不同，没有任何人会在发布前对模型进行测试、审核或分类：任何人都可以免费注册账户，并在几分钟内提交一个仓库，无需任何审核或质量控制。这种完全缺乏筛选机制既是Hub的优势——所有内容都会优先出现，甚至在实验室正式宣布之前就已经上线——也是新手的主要陷阱，用户可能面对数百个搜索结果，却无法判断哪个是可靠的。学会如何辨别，区分官方仓库与第三方副本、真实转换与被放弃的实验，是下载任何内容前必须掌握的技能。

#Hub 的三个分区

#阅读模型页面

每个模型都有一个形如 huggingface.co/organisation/nom-du-modele 的地址，例如 huggingface.co/Qwen/Qwen3-8B。在下载任何内容之前，该页面上有四个不同的要素值得您关注。

组织名称

Qwen，google、meta-llama、mistralai、openai、deepseek-ai 是原始实验室本身，已验证。其他任何名称均指第三方：有时表现优秀，但绝非原始实验室的官方产品。

模型卡片（model card）

README 文件：模型是什么，如何训练，预期用途，性能评分，提示词格式，以及限制。质量从非常完整到完全空白不等。

许可信息

在模型卡片顶部清晰显示，位于模型名称旁边。有关每种常见许可实际允许的内容，请参见下方专门章节。

“Files and versions”选项卡

可下载文件的完整列表。快速浏览即可立即了解当前处于何种存储库类型。

#选择哪个仓库：原始权重还是GGUF格式

实验室主要发布第一种格式，即训练结束时得到的原始权重。桌面应用所需的 GGUF 文件则由转换者另行制作：有些实验室会直接发布自己的版本，而 bartowski、unsloth 或 ggml-org 组织等社区贡献者几乎覆盖了其余所有模型，通常在备受期待的模型发布后仅几小时就能提供转换版本。要避免盲目搜索，可以打开原始模型页面，点击页面右侧模型树中的 Quantizations 链接；也可以在 Hub 搜索栏中输入模型名称，再加上 GGUF。搜索结果通常会将下载量最高的转换版本排在前面。

• GGUF和safetensors：理解模型格式
• vLLM：使用原始权重的引擎

#选择适合您显卡的文件

一个 GGUF 仓库通常会为同一个模型提供十来个文件，每个文件对应一种可用的量化级别，从压缩程度最高到保真度最高。文件大小大致相当于模型加载到内存后，其权重所占用的显存容量。请始终预留 1 至 3 GB 显存，用于对话上下文和系统运行余量。

• Q4、Q5、Q8或FP16：选择量化方式
• VRAM：了解您的显存容量，以及它能支持哪些用途
• VRAM 计算器

#三种下载方式

最简单的方法是让您使用的工具来处理。LM Studio 的搜索功能会直接查询 Hugging Face，并指出哪些文件能在您的机器上装得下。Ollama 和 llama.cpp 都能根据 GGUF 仓库的名称拉取该仓库。

# Ollama : lancer n'importe quel dépôt GGUF du Hub
ollama run hf.co/bartowski/Qwen_Qwen3-8B-GGUF:Q4_K_M

# llama.cpp : télécharger et servir
llama-server -hf bartowski/Qwen_Qwen3-8B-GGUF:Q4_K_M

pip install -U huggingface_hub
hf download bartowski/Qwen_Qwen3-8B-GGUF --include "*Q4_K_M.gguf" --local-dir ./models

--include 过滤器很重要：没有它，您会下载仓库中的所有量化版本，总大小往往超过 100 GB。第三种方式是使用浏览器：打开「Files and versions」选项卡，点击文件旁的下载箭头。这种方式适合下载单个 GGUF 文件，但不适合下载拆分成多个文件的原始权重。

• 分步操作：将 Hugging Face 的 GGUF 模型导入 Ollama

#许可：开放并不意味着无条件

有疑问时，以模型页面上标注的许可证信息为准。基于其他模型衍生、微调或融合而来的模型，通常会继承其基础模型的义务，即使衍生模型的 README 没有明确说明。对于企业部署或商业产品，花两分钟仔细阅读许可证，可以避免基于商业用途实际上受限的模型搭建整套集成。这类错误很常见，事后纠正的代价也很高。

• 开放权重与开源：关键区别

#是否安全？

优先选择 .safetensors 和 .gguf

这些是纯数据格式。早期的 PyTorch .bin 和 .pt 文件基于 Python 的 pickle 机制，加载时可能执行代码。Hub 会对此发出警告。

警惕“trust remote code”

部分仓库，尤其是针对尚未集成到 transformers 库中的新架构的仓库，会包含自定义 Python 代码；加载器在继续之前会要求您明确授权执行这些代码。只有在您认识并信任相关组织时，才应授予此类授权：这些代码与您的 Python 程序其余部分拥有相同的运行权限，没有任何特殊限制。

查看谁在发布

累计下载次数、同一组织发布的其他仓库列表，以及实验室官网上指向该仓库的链接，都是良好的可信度信号。Hub 上和其他网站一样，也存在冒充账号：它们使用与知名组织相近的名称，只是多了一个拼写错误或下划线。通常，查看一下下载次数和账号的注册时间，就足以识别它们。

模型始终保留在您本地

下载完成后，通过 llama.cpp 或 Ollama 运行的 GGUF 模型不会再向 Hugging Face 或任何其他方发起网络请求，这与通过云端托管 API 使用模型不同。您的提示词和数据始终不会离开自己的电脑；对于选择本地 AI 而非在线服务的人来说，这是一个核心的隐私优势。

• Hugging Face Hub 官方文档
• QuelLLM 目录：按硬件分类的 249 个模型
• 来源：维基百科，公司历史
• 来源：新版 hf 命令行工具的官方公告

#FAQ