ai模型训练工具有哪些 主流工具一览

AI 模型训练工具有很多，常见的工具有Hugging Face Transformers、Deepspeed、Accelerate等等。

Deepspeed：微软推出的深度学习优化库，专为大规模模型训练设计，支持 zero 优化，能够提供大规模分布式训练和显存优化，适合超大规模模型训练，可帮助减少训练时间和成本。

Hugging Face Transformers：提供大量预训练模型及训练、推理接口，支持 PyTorch 和 TensorFlow，是一个功能强大的模型训练与推理工具库，广泛应用于各种 NLP 任务的模型训练。

Accelerate：Hugging Face 推出的分布式训练框架，简化了多 GPU/TPU 训练流程，方便用户进行分布式训练操作，提高训练效率。

Llama - factory：可使用零代码命令行与 webui 轻松训练百余种大模型，提供高效的训练和评估工具。支持多种模型，如 llama、llava 等，以及多种训练方式，包括预训练、指令监督微调等，还支持 16 - bit 全参微调、lora/qlora 微调等多种精度，具备 galore、badam 等先进算法。

Axolotl：旨在简化各种人工智能模型微调的工具，支持多种常见开源大模型，涵盖全参微调、lora/qlora 等多种训练方式。可通过 yaml 或 cli 自定义配置，还能集成 xformer、flashattention 等技术，并且支持多种数据集格式以及自定义格式，可使用 docker 在本地或云端轻松运行。

阿里云 PAI：面向开发者和企业的机器学习 / 深度学习工程平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的 AI 开发全链路服务，内置 140 + 种优化算法，具备丰富的行业场景插件，为用户提供低门槛、高性能的云原生 AI 工程化能力。

Amazon SageMaker：亚马逊提供的一项完全托管的机器学习服务，可减少大规模训练和调整机器学习模型的时间和成本，无需管理基础架构。它能自动扩展或缩减基础设施，还可自动监控和修复训练集群，支持多种模型训练技术。

Xtuner：由上海人工智能实验室发布，是一个高效、灵活、全能的轻量化大模型微调工具库。支持大语言模型 LLM、多模态图文模型 VLM 的预训练及轻量级微调，能在 8GB 显存下微调 7B 模型，也支持多节点跨设备微调更大尺度模型。

TRL：通过强化学习优化模型训练，支持基于强化学习的 LLM 微调，如 PPO 等算法，可帮助开发者进一步优化模型的性能，使其更好地适应特定任务和场景。

PEFT：可帮助用户在更少的内存下快速微调 LLM，通过一些优化技术，如低秩适配等，减少微调过程中对内存的占用，提高微调效率。