INFO:
[RLHF] 从 PPO rlhf 到 DPO,公式推导与原理分析