大语言模型(LLM)综述(三)：大语言模型预训练的进展

A Survey of Large Language Models 前言 4. PRE-TRAINING 4.1数据收集 4.1.1 数据源 4.1.2 数据预处理 4.1.3 预训练数据对LLM的影响 4.2 模型架构 4.2.1 典型架构 4.2.2 详细配置 4.2.3 预训练任务 4.2.4 解码策略 4.2.5 总结和讨论 4.3 模型训练 4.3.1 优化设置 4.3.2 可扩展的训练技术 A Survey of Large Language Models 前言 4. PRE-TRAIN