🦙Llama3微调
type
status
date
slug
summary
tags
category
icon
password
只需要 250 美元！即可在消费级显卡上微调 Llama3 70B，来自Huggingface 的技术主管@_philschmid的手把手教程发布
英文教程地址：
1. 包括环境准备、准备微调数据集、使用 PyTorch FSDP 和 Q-Lora 微调、评测微调结果和部署用于推理
2. 可在 RTX 3090 或 4090 上运行
此外 _philschmid 还发布了如何基于 Huggingface 微调 LLM 的端到端的教程，非常值得学习：
1. 基于实际可用的 text-to-sql 任务进行微调
2. 收集开源数据集，如 Spider、Alpaca、Dolly、Orca
3. 参考 InstructGPT 构建微调数据集
4. 基于 SFTTrainer 微调5. 评测 & 部署
地址：
微调背后的 QLora 技术已经比较成熟，可以很方便的微调 Mistral、Llama3、Jamba 等开源模型：
https://arxiv.org/pdf/2305.14314
他还发布了，如何使用Langchain以及huggface来实现对大模型和RAG的评测：
1. GPT 作为打分器，https://arxiv.org/abs/2306.05685
2. 模型使用 Llama2-70b：
微调并评测模型之后，接下来就是部署模型：
1. 基于 text-generation-inference 部署 https://github.com/huggingface/text-generation-inference 一个 8K Star ⭐️ 的开源项目
2. 部署在 Amazon SageMaker：
3. 部署在 Huggingface Infer Endpoints：
Philipp 的 Blog 有非常多不错的文章 🥳：
1. 包括使用 vLLM 来部署 LLM 👍
2. 微调 Llama3，使用 TRL 微调 Google Gemma、ChatML 👍
3. 加速 Mixtral 8x7B 👍
4. 评估 LLM 与 RAG
5. DPO、RLHF 等训练技术
https://www.philschmid.de/
目前比较流行的微调技术或框架如下：
在消费级显卡上微调 Llama3-70B
测试过用unsloth只需要几分钟就可以微调llama3，但需要注意数据集，70B应该也是类似的。教程到处都有，我跟着这个走的，用的弱智吧素材，让llama3中文效果出奇的好
补充一下：70B微调的数据量需要
- 使用 FSDP 进行全微调需要约 16 块 80GB 内存的 GPU
- FSDP+LoRA 需要约 8 块 80GB 内存的 GPU
- FSDP+Q-Lora 需要约 2 块 40GB 内存的 GPU
- FSDP+Q-Lora+CPU offloading 技术需要 4 块 24GB 内存的 GPU，以及一块具备 22 GB 内存的 GPU 和 127 GB 的 CPU RAM
欢迎您在底部评论区留言，一起交流~
Loading...