RM-R1 项目学习笔记

1
2

RLHF 流程：
人类偏好数据 → 训练奖励模型 → 奖励模型指导策略模型训练（PPO/GRPO）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

RM-R1/
├── demo/                          # 推理演示
│   ├── demo.py                   # 单条推理示例
│   ├── demo.ipynb                # Jupyter 演示笔记本
│   └── convert_fsdp_to_hf.py    # 将训练好的FSDP检查点转为HuggingFace格式
│
├── rm_r1/                         # 核心代码
│   ├── dataset/
│   │   └── mix_data/             # 客服训练数据（中文电商场景）
│   │       ├── train.jsonl       # 3000条训练样本
│   │       ├── test.jsonl        # 400条测试样本
│   │       ├── train_with_sys.jsonl  # 注入系统提示词后的版本
│   │       └── preprocess_data.py    # 数据预处理脚本
│   │
│   ├── scripts/
│   │   └── RLVR/
│   │       ├── local/            # 本地单机训练脚本
│   │       └── slurm/            # 集群训练脚本
│   │
│   └── verl/                      # 定制化训练框架（基于 verl）
│       ├── trainer/
│       │   ├── main_ppo.py       # 训练入口
│       │   ├── ppo/ray_trainer.py # Ray分布式训练器
│       │   └── config/ppo_trainer.yaml # 训练配置
│       ├── utils/
│       │   ├── dataset/rl_dataset.py     # 数据集类
│       │   └── reward_score/lm_as_judge.py # 奖励函数
│       └── workers/fsdp_workers.py       # FSDP分布式worker
│
├── generate_customer_service_data.py  # 数据生成脚本
└── merge_and_split_dataset.py         # 数据合并切分工具

1
2
3
4
5
6
7
8
9

{
  "context_messages": [
    {
      "role": "user",
      "content": "[客户问题]\n我的包裹已经7天没有更新物流了，请问怎么回事？\n\n[客服A的回答开始]\n您好，物流信息需要等待更新，请您耐心等待。\n[客服A的回答结束]\n\n[客服B的回答开始]\n您好！非常抱歉给您带来困扰。7天未更新确实需要核查。我已帮您提交了物流查询申请，预计24小时内反馈结果，如有需要我们会主动联系您。\n[客服B的回答结束]"
    }
  ],
  "winner": "model_b"
}

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

{
  "context_messages": [
    {
      "role": "system",
      "content": "你是一个专业的客服质量评估专家。请按照以下步骤评估两个客服回答：\n1. 为该客户问题生成评估标准\n2. 为各评估标准分配权重\n3. 分别分析两个回答\n4. 给出最终判断，格式：<answer>[[A]]</answer> 或 <answer>[[B]]</answer>"
    },
    {
      "role": "user",
      "content": "..."
    }
  ],
  "winner": "model_b"
}

1
2
3
4
5

核心思路：
1. 用当前策略（policy）生成样本
2. 计算这些样本的奖励
3. 更新策略，使高奖励的行为概率增大
4. 但限制每次更新幅度（clip），防止策略崩溃

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

def lm_as_judge_match(solution_str, ground_truth):
    """
    检查模型输出是否包含正确的答案标记
    """
    # 只检查最后80个字符，避免中间推理过程的干扰
    last_part = solution_str[-80:]

    # 提取 <answer>[[X]]</answer> 中的 X
    predicted = extract_answer(last_part)

    if predicted == ground_truth:
        return 1.0   # 答对了，给正奖励
    else:
        return -1.0  # 答错了，给负奖励

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

# 来自 train_rm_r1_rlvr_dpsk_distilled_7b.sh
学习率: 1.0e-6          # 极低，精细调整
rollout批大小: 32        # 每步收集32个提示
PPO mini-batch: 8       # 梯度更新批大小
训练轮数: 1              # 单轮训练防过拟合
最大输入长度: 4096 token  # 提示词上限
最大输出长度: 8192 token  # 生成内容上限（推理链需要大空间）
保存频率: 每100步         # 检查点保存
KL系数: 0.001           # KL散度惩罚权重（很小）
n（每提示样本数）: 7      # GRPO采样数量

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

from transformers import AutoModelForCausalLM, AutoTokenizer

# 1. 加载模型
model_path = "/path/to/your/trained/model"
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_path)

# 2. 构建输入
question = "我的订单已经超过预计送达时间3天了，请问怎么处理？"
answer_a = "您好，物流偶尔会有延误，请继续等待。"
answer_b = "您好！非常抱歉！我马上为您核查订单状态，如确认延误将为您申请补偿或重新发货，请稍等。"

# 3. 应用聊天模板（含系统提示词）
conversation = [
    {"role": "system", "content": "你是客服质量评估专家..."},
    {"role": "user", "content": f"[客户问题]\n{question}\n\n[客服A]\n{answer_a}\n\n[客服B]\n{answer_b}"}
]

input_ids = tokenizer.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

# 4. 生成（贪婪解码，确保确定性输出）
output = model.generate(
    input_ids=input_ids,
    max_new_tokens=8192,
    do_sample=False
)

# 5. 解码并打印
response = tokenizer.decode(output[0][len(input_ids[0]):], skip_special_tokens=True)
print(response)
# 预期输出包含：<answer>[[B]]</answer>

1
2
3

python demo/convert_fsdp_to_hf.py \
    --input_dir /path/to/fsdp_checkpoint \
    --output_dir /path/to/hf_model