DeepSeek-MoE

相关资源：github， 论文 DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models

MCP github 主页， MCP 官方文档

MCP Server

# server.py
from mcp.server.fastmcp import FastMCP
from mcp.server.fastmcp.prompts import base

# Create an MCP server
mcp = FastMCP("Demo")


# Add an addition tool
@mcp.tool()
def add(a: int, b: int) -> int:
    """Add two numbers"""
    return a + b


# Add a dynamic greeting resource
@mcp.resource("greeting://{name}")
def get_greeting(name: str) -> str:
    """Get a personalized greeting"""
    return f"Hello, {name}!"

在本文中，我们梳理了开源模型 Function Calling 能力的相关信息，包括采用的 chat template，function call 训练方案等。涉及模型 LlaMa 3.1， Mistral Large 2，glm-4-9b-chat，Qwen 2。

Llama 3.1

推荐官方指南：https://llama.meta.com/docs/model-cards-and-prompt-formats/llama3_1/

对话协议（Chat Protocal)

Llama 3.1 中采用了以下 special tokens 来辅助多轮对话和工具的调用。。

Qwen 1.5 系列

开源模型，官方博客 1，官方博客 2

在本文中，我们梳理了近期 （24 年 7 月前）部分 MOE 大模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mixtral 8x7B，Mixtral 8x22B，DeepSeek-MoE，Qwen1.5-MoE，DeepSeek-V2

混合专家模型的 Transformer 模型

对于 MOE 的基础，相比 dense model，MOE 的预训练速度更快，推理速度更快，但需要大量的显存。此外，MOE 的训练也有一些独有的 tips，详细的 MOE 混合专家模型基础，推荐参考：

混合专家模型基础（推荐）

在本文中，我们梳理了 24 年 7 月前 Mistral 系列模型的关键信息，包括它们的主要特点、亮点以及相关资源链接。涉及模型 Mistral 7B， Mixtral 8x7B，Mixtral 8x22B，Mistral Nemo, Mistral Large 2

mistral 7B

官方博客 ，mistral 7B 论文

本文梳理了 DPO，GRPO 的主要特点、亮点以及相关资源链接。

DPO

论文：Direct preference optimization: Your language model is secretly a reward model. arXiv preprint arXiv:2305.18290, 2023

先来回顾以下 PPO，采用 PPO 的 RLHF 会经过 reward model tuning 和 Reinforcement Learning 2 个步骤：

AUTOGEN 是一个开源平台，主要用于创建和管理自动化对话代理（agents）。这些代理可以完成多种任务，比如回答问题、执行函数，甚至与其他代理进行交互。

本文旨在介绍 Autogen 中的关键组件 Conversation Agent，并对其中的 Multi-Agent 功能实现做简单的源码分析。

参考官网文档，参考代码 Autogen 源码5a5c0f2 。

Semantic Kernel

本文对 Semantic Kernel 中的 Kernel，Plugin，KernelFunction，Semantic Memory，Planner，Services，reliability 等进行概念介绍。

1. Kernel

本文基于 HuggingFace 推出的 Reinforcement Learning Course 进行了整理，旨在记录强化学习的基础知识，为理解 RLHF（Reinforcement Learning from Human Feedback）打下基础。需要强调的是，以下内容仅涵盖强化学习的基础概念及 RLHF 基础，并非全面的强化学习教程。