1. 显卡需求和推荐模型

使用 int4 + QLora 训练（效果并不会比Full-finetuning差多少，lora rank设置较大且应用到所有层） 8K 上下文时，显存16GB的显卡则可以训练 20B 以下模型，显存24GB的显卡则可以训练 32B（含）以下模型。

推荐微调 1-7B 模型。推荐性价比显卡：4090，计算能力和显存带宽都足够好，比L40等商业卡还好用。

2. 服务商

• https://colab.research.google.com/ 【需翻墙】免费提供 T4 等显卡，显存16GB
• https://modelscope.cn/ 新用户赠送 100h GPU 时间（16G、24G显卡）
• https://aistudio.baidu.com/ 每日签到可以领取免费 GPU 时间，但是限制框架只能使用 Paddle
• https://console.ebcloud.com/ 注册送 50元，4090显卡 2元/小时
• https://www.autodl.com/ 显卡型号众多（适合测试模型在不同显卡上的性能），4090 2-3元/小时
• https://www.suanlix.cn/ 有香港节点，下载模型和安装环境比较方便，4090 2-3 元/小时
• https://www.runpod.io/ 国外较大服务商，下载模型和安装环境比较方便，4090 折约 4元/小时

3. 其他

建议开通对象存储服务（百度云、阿里云等），将打包好的 Docker 训练镜像、训练结果、数据集、工作目录等持久化到对象存储中。

国内节点配置要点：

• pip源：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
• conda源：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
• Huggingface 代理：https://hf-mirror.com/