更新时间：2025-02-21 17:01:16
封面
版权页
内容简介
前言
第1章 垂直领域大模型的行业变革与机遇
1.1 大模型下的行业变革
1.1.1 大模型的iPhone时刻
1.1.2 大模型的全行业重塑
1.1.3 劳动力市场的变革
1.2 垂直领域大模型迁移的动机
1.2.1 商业价值
1.2.2 行业技术护城河
1.2.3 领域数据优势
1.3 垂直领域大模型迁移的机遇
第2章 垂直领域迁移技术栈
2.1 垂直领域迁移的方式
2.1.1 提示工程
2.1.2 检索增强生成
2.1.3 参数高效微调
2.1.4 全参数微调
2.1.5 从头预训练
2.1.6 垂直领域迁移低算力技术选型
2.2 低算力微调
2.3 推理优化
2.3.1 模型编译
2.3.2 模型压缩
2.3.3 模型分区
第3章 大模型的开源生态
3.1 大模型的开源社区
3.1.1 Meta
3.1.2 Hugging Face
3.1.3 微软
3.1.4 英伟达
3.2 开源生态下基座模型选择的关键指标
3.2.1 参数规模
3.2.2 训练Token
3.2.3 上下文窗口
3.2.4 综合评测
3.2.5 商业许可
3.3 开源基座模型LLaMA系列
3.3.1 LLaMA 2
3.3.2 LLaMA 3
3.3.3 商用限制
第4章 自举领域数据的获取
4.1 指令自举标注
4.2 自举无监督标注
4.2.1 指令生成阶段
4.2.2 答案生成阶段
4.2.3 过滤和修剪阶段
4.3 自我策展
4.3.1 初始化阶段
4.3.2 自我增强阶段
4.3.3 自我策展阶段
4.4 自我奖励
4.4.1 种子数据
4.4.2 自我指令创建
4.4.3 指令遵循训练
4.4.4 迭代训练
第5章 数据处理
5.1 数据处理的挑战
5.2 数据质量
5.2.1 文本提取
5.2.2 数据去重
5.2.3 质量过滤
5.2.4 内容毒性过滤
5.3 高效数据集访问
5.3.1 数据集来源
5.3.2 列式内存格式
5.3.3 向量化计算
5.3.4 零复制数据交换
5.3.5 虚拟内存
第6章 大模型抽象
6.1 计算图
6.2 静态计算图
6.3 动态计算图
6.4 算子优化与调度
6.4.1 计算图与算子优化
6.4.2 计算图与算子调度
6.4.3 串行调度与并行调度
6.5 大模型中的张量与算子
6.5.1 输入层
6.5.2 自注意力层
6.5.3 前馈网络层
6.5.4 输出层
6.6 大模型的序列化
6.6.1 序列化文件的类型
6.6.2 TensorFlow模型序列化
6.6.3 PyTorch模型序列化
6.6.4 Safetensors序列化格式
第7章 LoRA低算力微调
7.1 LoRA的原理
7.2 LoRA的重参数化方法
7.3 秩的选择
7.4 LoRA的多任务处理策略
7.5 LoRA量化版本QLoRA
7.6 LoRA微调类型
7.6.1 继续预训练
7.6.2 RLHF
7.6.3 DPO
第8章 大模型的分布式训练
