在本文中，我们梳理了开源模型 Function Calling 能力的相关信息，包括采用的 chat template，function call 训练方案等。涉及模型 LlaMa 3.1， Mistral Large 2，glm-4-9b-chat，Qwen 2。

Llama 3.1

推荐官方指南：https://llama.meta.com/docs/model-cards-and-prompt-formats/llama3_1/

对话协议（Chat Protocal)

Llama 3.1 中采用了以下 special tokens 来辅助多轮对话和工具的调用。。

Qwen 1.5 系列

开源模型，官方博客 1，官方博客 2

在本文中，我们梳理了近期 （24 年 7 月前）部分 MOE 大模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mixtral 8x7B，Mixtral 8x22B，DeepSeek-MoE，Qwen1.5-MoE，DeepSeek-V2

混合专家模型的 Transformer 模型

对于 MOE 的基础，相比 dense model，MOE 的预训练速度更快，推理速度更快，但需要大量的显存。此外，MOE 的训练也有一些独有的 tips，详细的 MOE 混合专家模型基础，推荐参考：

混合专家模型基础（推荐）

在本文中，我们梳理了 24 年 7 月前 Mistral 系列模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mistral 7B， Mixtral 8x7B，Mixtral 8x22B，Mistral Nemo, Mistral Large 2

mistral 7B

官方博客 ，mistral 7B 论文

本文梳理了 DPO，GRPO 的主要特点、亮点以及相关资源链接。

DPO

论文：Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290, 2023

先来回顾以下 PPO，采用 PPO 的 RLHF 会经过 reward model tuning 和 Reinforcement Learning 2 个步骤：

AUTOGEN 是一个开源平台，主要用于创建和管理自动化对话代理（agents）。这些代理可以完成多种任务，比如回答问题、执行函数，甚至与其他代理进行交互。

本文旨在介绍 Autogen 中的关键组件 Conversation Agent，并对其中的 Multi-Agent 功能实现做简单的源码分析。

参考官网文档，参考代码 Autogen 源码5a5c0f2 。

Semantic Kernel

本文对 Semantic Kernel 中的 Kernel，Plugin，KernelFunction，Semantic Memory，Planner，Services，reliability 等进行概念介绍。

1. Kernel

本文基于 HuggingFace 推出的 Reinforcement Learning Course 进行了整理，旨在记录强化学习的基础知识，为理解 RLHF（Reinforcement Learning from Human Feedback）打下基础。需要强调的是，以下内容仅涵盖强化学习的基础概念及 RLHF 基础，并非全面的强化学习教程。

大模型上下文在前段时间有点火，TODO 里堆积的论文也越来越多（。

本文记录了 LLM 在长度外推方面的文章笔记，包括位置编码相关的 ALiBi 、 ROPE 和 线性插值（PI） ， NTK ；注意力相关的 GQA , SWA ， LM-INFINITE ， StreamingLLM ；以及 meta 的综述 Effective Long-Context Scaling of Foundation Models 记录。