Deconfounding Duration Bias in Watch-time Prediction for Video Recommendation

Abstract

观看时间预测仍然是通过视频推荐加强用户粘性的关键因素。然而，观看时间的预测不仅取决于用户与视频的匹配，而且经常被视频本身的持续时间所误导。为了提高观看时间，推荐总是偏向于长时间的视频。在这种不平衡的数据上训练的模型面临着偏差放大的风险，这会误导平台过度推荐长时间的视频。

本文首次对视频推荐中观看时间预测中的时长偏差进行了研究。我们使用了一个因果图来说明时长是同时影响视频曝光和观看时间预测的混淆因素——对视频的第一个影响导致了偏差问题，应该被消除，而对观看时间的第二个影响源于视频的内在特征，应该被保留。为了消除不希望的偏差，同时利用自然效应，我们提出了一个基于持续时间-去基础分位数(D2Q)的观察时间预测框架，该框架允许在工业生产系统上执行可扩展性。通过广泛的离线评估和现场实验，我们通过显着优于最先进的基线，展示了这种持续时间反建立框架的有效性。

Introduction

观看时长主要受两个因素的影响：取决于用户对视频的兴趣程度和视频本身的持续时间。
从图2可以看出，视频本身时长小于100秒时，用户观看时间与视频时长呈正相关。

因此，标准的观看时间预测模型通常使用时长和其他视频特征作为特征输入进行预测。然而，不幸的是，这种做法在许多推荐系统中导致了偏见问题。
图3表明，随着时间的推移，推荐逐渐基于持续时间较长的视频。

因此，持续时间较长的视频可能会过度曝光，从而在推荐中低估了用户的真正兴趣。更严重的是，在这种不平衡数据上训练的模型由于链路反馈将放大视频时长的偏差。这损害了理想推荐的多样性和个性化。

尽管流行率很高，但与推荐研究中由项目受欢迎程度或位置引起的许多其他偏差相比，对视频时长偏差的探索要少得多。以最大化用户观看时间为目标，推荐系统可能会学习到视频时长和观看时间之间的虚假相关性；因此，长时间的视频更有可能被播放，即使它们可能无法很好地匹配用户的兴趣。另一方面，由于存在曝光不平衡，长时间的视频通常样本量较大，这可能会影响模型学习。

本文首次对观看时间预测中的持续偏差进行了研究。我们采用直接无环图(称为因果图)来表征观看时间预测中与视频时长有关的因果关系，如图4(a)所示。具体来说，时长作为一个混淆因素，同时影响观看时长预测和视频曝光。

时长对观看时间的第一个影响表明，用户倾向于花更多的时间观看本质上时长较长的视频，这是一种自然效应，应该通过观看时间预测模型来捕捉。然而，从视频时长到视频的第二个影响是困扰许多观看时间预测模型的一个偏差项。这样的效应说明时长影响视频曝光的可能性，这代表了模型对时长较长的视频的不公平偏好，应该消除。这种对视频时长效应的明确建模，与之前只使用视频时长作为观看时间预测特征的工作相反，使我们能够消除不希望的偏差，但保留真正的影响。
为了处理视频时长偏差，我们遵循后门调整的原则，对观看时间预测的因果图进行干预，以消除视频时长对视频曝光的不良影响，如图4(b)所示。我们注意到，从持续时间到观看时间的影响是保留的，因为这种关系是内在的，应该在预测中加以利用。

在操作上，我们根据视频时长将训练数据分成相等的部分；对于每个视频时长组，我们学习了一个回归模型来预测分组的观看时间分位数，其中标签由原始观看时长值和相应组中观看时间的经验累积分布确定。这样的分位预测支持跨视频时长组共享模型参数，从而带来可伸缩性方面的好处。总结我们的贡献如下：

• 观看时间预测中视频时长偏差的因果公式。我们采用因果图来形式化观看时间预测中被忽视但广泛存在的视频时长偏差问题。我们指出时长是影响观看时间预测和视频曝光的混淆因素，前者是固有的，应该保留，后者是偏差，应该消除。
• 通过可伸缩性调整视频时间。在后门调整的指导下，我们基于视频时间对数据进行分割，并对每个视频时间组拟合观看时间预测模型，以消除视频曝光的持续时间偏差。我们根据视频时间修改观看时长label，以允许跨组共享参数并获得可伸缩性。
• 广泛的离线评估。我们对从快手App收集的数据进行了一系列线下评估，以证明我们的模型相对于现有基线的优势。我们进一步对视频时长组的数量进行了消融研究，发现随着组数量的增加，我们的模型性能首先提高(由于视频时长去偏)，然后下降(由于减少的组样容量增加了估计误差)。
• 在线实验的好处。我们进一步将我们的方法应用于快手平台上的视频推荐，结果表明，与现有策略相比，通过消除不必要的持续时间偏差，我们的方法提高了观看时间预测的准确性，并有助于优化实时视频消费。