LLM Course是什么？
LLM Course提供了一个关于LLMs课程的集合，包含学习路线图和Colab笔记本，帮助用户从基础到高级逐步掌握LLMs的知识和应用，课程包括数学、Python编程、神经网络、自然语言处理（NLP）、LLM架构、预训练、微调、偏好对齐、评估、量化以及部署等内容。
LLM Course主要内容
LLM Fundamentals
-
数学基础：线性代数、微积分、概率和统计。
-
Python编程：Python基础、数据科学库、数据处理、机器学习库。
-
神经网络：神经网络的基础知识、训练和优化、过拟合及其解决方法。
-
自然语言处理（NLP）：文本预处理、特征提取技术、词嵌入、循环神经网络（RNNs）。
LLM Scientist
-
LLM架构：Transformer架构、注意力机制、采样策略。
-
预训练模型：数据准备、分布式训练、训练优化、监控。
-
后训练数据集：数据结构、存储与聊天模板、合成数据生成、数据增强、质量过滤。
-
监督微调（SFT）：训练技术、参数设置、分布式训练、监控。
-
偏好对齐：直接偏好优化（DPO）、近端策略优化（PPO）、监控。
-
评估：自动化基准测试、人工评估、模型评估、反馈信号。
-
量化：基础技术、GGUF & llama.cpp、GPTQ & AWQ、SmoothQuant & ZeroQuant。
-
新趋势：模型合并、多模态模型、可解释性、测试时计算。
LLM Engineer
-
运行LLMs：LLM API、开源LLMs、提示工程、结构化输出。
-
构建向量存储：文档加载、分割、嵌入模型、向量数据库。
-
检索增强生成（RAG）：编排器、检索器、记忆、评估。
-
高级RAG：查询构造、代理和工具、后处理、程序化LLMs。
-
推理优化：Flash Attention、键值缓存、推测解码。
-
部署LLMs：本地部署、演示部署、服务器部署、边缘部署。
-
保护LLMs：提示注入、后门攻击、防御措施。
工具和资源
-
工具：LLM AutoEval、LazyMergekit、LazyAxolotl、AutoQuant、Model Family Tree、ZeroSpace。
-
资源：3Blue1Brown视频、StatQuest教程、Khan Academy课程、Real Python教程、freeCodeCamp视频等。
项目链接
Github：https://github.com/mlabonne/llm-course
Blog：https://mlabonne.github.io/blog/
