1. 显卡需求和推荐模型
使用 int4 + QLora 训练（效果并不会比Full-finetuning差多少，lora rank设置较大且应用到所有层）
8K 上下文时，显存16GB的显卡则可以训练 20B 以下模型，显存24GB的显卡则可以训练 32B（含）以下模型。
推荐微调 1-7B 模型。推荐性价比显卡：4090，计算能力和显存带宽都足够好，比L40等商业卡还好用。
2. 服务商
https://colab.research.google.com/
【需翻墙】
免费提供 T4 等显卡，显存16GB
https://modelscope.cn/
新用户赠送 100h GPU 时间（16G、24G显卡）
https://aistudio.baidu.com/
每日签到可以领取免费 GPU 时间，但是限制框架只能使用 Paddle
https://console.ebcloud.com/
注册送 50元，4090显卡 2元/小时
https://www.autodl.com/
显卡型号众多（适合测试模型在不同显卡上的性能），4090 2-3元/小时
https://www.suanlix.cn/
4090 2-3 元/小时
有香港节点，下载模型和安装环境比较方便
https://www.runpod.io/
国外较大服务商，下载模型和安装环境比较方便
4090 折约 4元/小时
3. 其他
建议开通对象存储服务（百度云、阿里云等），将打包好的 Docker 训练镜像、训练结果、数据集、工作目录等持久化到对象存储中。
国内节点配置要点：
pip源：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
conda源：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
Huggingface 代理：https://hf-mirror.com/