96.什么是重要性采样呢？
作者: 文言AI
作者简介:
描述: 25.什么是重要性采样，使用重要性采样时需要注意什么问题？ 什么是重要性采样？ 在强化学习中，重要性采样（Importance Sampling） 是一种通过调整样本权重来修正不同策略分布差异的技术。它主要用于解决离线策略（Off-Policy）学习中的核心问题：如何利用行为策略（Behavior Policy）采集的数据，准确估计目标策略（Target Policy）的性能。 使用重要性采样时需要注意什么问题？ 在重要性采样中将 b 替换为任意的 $$\pi$$ ，但是本质上要求两者的分布不能差太多。 当采样次数足够多且分布相差不大时，最终的结果会是较为接近的。 但是通常我们不会取理想数量的采样数据，所以如果两者的分布相差较大，最后结果的方差将会很大。
![[veRL] 从原理层面理解训练参数，PPO & GRPO，batch size，kl & entropy](/image/b232c7e74a4d3da91b4ba8b008249f8f82f0848b.jpg@336w_190h_!web-video-rcmd-cover.avif)
![[LLM+RL] 理解 GRPO 公式原理及 TRL GrpoTrainer 代码实现（advantage 与 loss 计算）](/image/2b9b232ee0c47db6a7e0913d7eafa6176c6ec588.jpg@336w_190h_!web-video-rcmd-cover.avif)
