# open-r1
huggingface  开源的 DeepSeek-R1 复现

## Develop

复现步骤：

-   第一步：**复现 R1-Distill 模型**：从 DeepSeek-R1 中提取高质量语料库，以此复现 R1-Distill 模型。
-   第二步：**复现纯 RL 流程**：重现 DeepSeek 创建 R1-Zero 的纯强化学习（RL）流程，这可能需要为数学、推理和代码领域构建新的大规模数据集。
-   第三步：**多阶段训练验证**：展示通过多阶段训练，能将基础模型转化为经过 RL 调整的模型。

代码结构：

-   **src/open_r1 文件夹**：包含用于训练和评估模型以及生成合成数据的脚本。

-   -   `grpo.py`负责运用 GRPO 算法在特定数据集上训练模型；
    -   `sft.py`用于执行模型的监督微调（SFT）；
    -   `evaluate.py`对模型进行 R1 基准测试评估；
    -   `generate.py`借助 Distilabel 从模型生成合成数据 。


开发：

* linux
* CUDA 12.1
* PyTorch v2.5.1
* vllm
*

```
uv venv openr1 --python 3.11 && source openr1/bin/activate && uv pip install --upgrade pip

uv pip install vllm==0.6.6.post1

# 下载模型
huggingface-cli loginwandb login

```



https://github.com/huggingface/open-r1