基于点的排序算法 - 全面解读Uber人工智能客服系统

　　为了设计这个算法，我们将余弦相似度特征与其他工单信息、行程特征进行组合。每种工单类型有超过 1，000 种可能的工单解决方案，COTA 的超大的解空间使区分这些工单解决方案之间的细微差异变得很困难。
　　为了给客服提供最佳的工单解决方案，我们应用了学习排序 （learning-to-rank） 算法，并构建了基于检索的点排序算法。
　　具体而言，我们将工单解决方案和工单之间的正确匹配标记为正（1），从工单解决方案与工单不匹配的集合中，我们随机抽样形成子集，并标记为负（0）。使用余弦相似度以及工单、行程特征，我们可以建立一个二分法分类器，接下来利用随机森林算法来判断工单解决方案与工单是否匹配。利用算法对可能的匹配进行评分，我们可以对评分进行排名，并给出排名最高的三个解决方案。
　　下图比较了使用主题向量作为特征的传统多类分类算法与使用工程余弦相似特征的逐点排序算法的性能：
　　可以看到，使用余弦相似度作为特征的，基于点的排序算法优于直接使用主题向量的多类分类算法，精度提高了 25％。
　　比较是在相同的数据集上，使用相同类型的算法（随机森林）进行的，且模型的超参数相同。排序框架中使用余弦相似度作为特征可以获得很好的效果。
　　COTA 性能优异，只有应用到实际场景中才有意义。为了衡量 COTA 对客户支持体验的影响，我们对多个在线英语工单进行了受控的 A / B 对比实验。在这些实验中，我们选择了几千名客服，将他们随机分配到对照组和实验组。对照组中的客服代表使用原来的工作流程，而实验组中的客服代表使用 COTA 助理，交互界面包含问题类型和建议的工单解决方案。我们收集了两个组的工单处理结果，并测量了一些关键指标，包括模型准确性、平均处理时间和客户满意度得分。
　　我们首先测量了模型的在线表现，并将其与离线表现进行了比较。我们发现模型性能从离线到在线都是一致的。
　　然后，我们测量了客户满意度分数，并比较了对照组和实验组。总的来说，实验组的客户满意度提高了几个百分点。这一发现表明，COTA 可以提供相同或略高于人工的客户服务质量。
　　最后，为了确定 COTA 对工单处理速度的影响，我们比较了对照组和实验组的平均工单处理时间。平均而言，COTA 将工单处理时间缩短了大约 10％。
　　通过提高客服的绩效和缩短工单解决时间，COTA 帮助 Customer Obsession 团队更好地服务于用户，从而提高客户满意度。COTA 加速了工单处理过程，每年可以为 Uber 节省数千万美元。