论文导读 | 10月专题内容精选：人的预测
编者按
本次论文导读，编者选择了10月份OR和MS上与"人的预测"有关的三篇文章，分别涉及群体智慧的提取，个体序列预测的评估，以及决策者对风险的扭曲感知在分布式鲁棒优化中的应用。其中，从基于"生成式可能世界状态模型"(GPWM)进行群体预测的聚合，到使用严格的序贯检验模型来比较预测者的表现，本次选取的三篇文章对"人的预测"相关的数学建模、统计分析及其在优化问题中的应用都有一定启发，希望能引起相关读者的兴趣。
推荐文章1
● 题目：A Bayesian Hierarchical Model of Crowd Wisdom Based on Predicting Opinions of Others
基于他人意见预测的群体智慧贝叶斯层次模型
● 期刊：Management Science
● 原文链接：https://doi.org/10.1287/mnsc.2023.4955
● 发表日期：October 19, 2023
● 作者：John McCoy, Drazen Prelec
● 关键词：
◦ Wisdom of crowds 群体智慧
◦ Expertise 专家知识
◦ Bayesian hierarchical model 贝叶斯层次模型
◦ Surprisingly popular answer 令人惊讶的流行答案
● 主要内容：
-
本文的背景知识是关于群体智慧的提取方法和挑战。群体智慧是指多个人的集体智慧比单个个体更强大，可以应用于企业决策、市场研究、公共政策和医疗保健等领域。文章介绍了一些提取群体智慧的方法，如统计聚合信息和识别专业知识。然而，这些方法存在一些弱点，如无法考虑个体之间的信息差异和洞察力差异，以及无法准确获取世界先验知识和信号矩阵。文章提出了一种新的方法，称为generative possible worlds model (GPWM)，以解决这些问题。
-
本文的实现过程是通过引入、探索和实证验证generative possible worlds model (GPWM)。作者认为GPWM是将频率学派元素转化为贝叶斯群体智慧推断模型的自然而必要的一步。作者在多个实证数据集上评估了模型的性能，包括分类和概率数据，并将其与标准的单问题群体智慧方法以及现有的两个贝叶斯层次模型进行了比较。GPWM和现有的贝叶斯层次聚合模型之间的区别在于，现有的贝叶斯层次聚合模型将正确答案与共识联系起来，而GPWM则不做这个假设。现有的模型假设共识是正确答案，而GPWM允许多数信号在所有问题上都是错误的可能性。即使在这种极端情况下，GPWM原则上也可以恢复正确答案，因为人们对其他人的预测提供了关于正确信号的概率的额外信息。此外，现有的贝叶斯层次聚合模型依赖于学习受访者级别的参数，而GPWM可以使用关于他人的预测来推断问题级别的潜在参数，从而获得正确答案，而无需在多个问题上学习个体受访者的信息。
• 预测回答真的比例（即预测别人的预测）在GPWM模型中起到了重要的作用。根据论文中的信息，预测回答真的比例可以帮助揭示参与者对信息的共享程度以及谁拥有不被广泛共享的信息的信念。如果理性的参与者在预测自己处于少数派的情况下仍然给出特定的判断，那么这表明他们相信自己拥有不被广泛共享的知识或洞察力。通过比较投票预测和实际投票，可以帮助了解参与者对信息在群体中的普遍程度以及谁拥有不被广泛共享的信息的信念。此外，预测回答真的比例还可以帮助确定在不同可能的世界状态下，群体投票的分布情况。这对于正确解释群体中投票分布是必要的，因为仅仅知道群体中70%的人投票“是”并不能得出最佳答案是“是”，还需要知道在不同可能的世界状态下群体会如何投票。因此，预测回答真的比例在模型中有助于获取关于群体中投票分布的信息，从而提高群体智慧的准确性和可靠性。
-
作者在实验中采用了多个研究来评估模型的性能。根据论文中的信息，其中三个研究是关于美国州首府的问题，参与者需要判断每个问题的答案是真还是假，并预测回答真的比例。这三个研究分别在麻省理工学院和普林斯顿大学的实验室中进行。另外两个研究是关于20世纪艺术品市场价格的问题，一个研究中参与者是艺术专业人士，主要是画廊所有者，另一个研究中参与者是没有学习过艺术或艺术史课程的研究生。参与者需要判断90件20世纪艺术品的市场价格，并将其分为两个价格范围：低于30,000美元和高于30,000美元。在这些研究中，参与者除了回答问题和预测比例外，还需要给出他们的自信度。具体的实验协议和数据分析细节可以在论文的在线附录中找到。
推荐文章2
● 题目：Comparing Sequential Forecasters
比较序列时间预测者
● 期刊：Operations Research
● 原文链接：https://doi.org/10.1287/opre.2021.0792
● 发表日期：October 17, 2023
● 作者：Yo Joong Choe, Aaditya Ramdas
● 关键词：
◦ anytime valid sequential inference 任意时间有效的序贯推理
◦ confidence sequences 信心序列
◦ e-processes e-过程
◦ forecast evaluation 预测评估
◦ nonparametric statistics 非参数统计
● 主要内容：
◦ 本文的背景是关于预测能力比较的问题。文章指出，尽管预测在各个领域中非常普遍，但在如何正式比较不同预测者的预测能力方面并不明显，特别是在预测者针对一系列结果进行预测的顺序设置中。例如，文章提到了2019年世界大赛每场比赛的概率预测，但我们不清楚如何有效地建模随时间变化的棒球比赛结果，并且对于每个预测者如何得出预测也没有完整的信息。文章通过观察这些预测和结果的过程，使用置信区间序列来评估预测者之间的差异，并量化这种差异是否可以归因于偶然或运气。这种评估方法不需要对现实或预测方法做出假设。
◦ 本文设计了一种新颖的顺序推断程序，用于估计预测分数的时变差异。这些程序使用了连续监测的置信区间序列，这些序列在任意数据相关的停止时间点上都是有效的。置信区间的宽度是根据分数差异的底层方差自适应调整的。这些程序的构建基于博弈论统计框架，进一步识别了用于顺序检验弱零假设的e-processes和p-processes，即一个预测者在平均情况下是否优于另一个预测者。这些方法不对预测或结果做分布假设；主要定理适用于任何有界分数，而后续提供了针对无界分数的替代方法。
-
本文的模型主要是基于预测得分的差异来评估预测者的能力。模型定义了点预测得分差异和其经验估计。通过计算累积的差异和，可以构建一个鞅（martingale）。对于所有的时间点，通过构建指数测试超鞅（exponential test supermartingales），可以对累积的差异和进行统一且非渐近的界定，从而完成估计和覆盖。
-
停止时间的概念在本文中涉及是因为我们希望能够在任意数据依赖的停止时间上进行有效的推断和比较不同预测者的预测能力。在预测任务中，我们通常会在一定的时间范围内观察预测者的预测和实际结果。停止时间是指我们选择观察预测者的预测和实际结果的时间点。通过引入停止时间的概念，我们可以更准确地评估预测者的预测能力，并进行比较。这种方法可以避免在固定时间点上进行比较时可能出现的偏差和误导。因此，停止时间的概念在本文中起到了关键的作用。
本文使用真实数据进行了实证验证。在棒球方面，研究者比较了不同预测者对2019年世界大赛每场比赛的概率预测。在天气预报方面，研究者比较了不同预测者使用统计后处理方法的集合天气预报。此外，研究者还在模拟数据上验证了他们的方法，并与固定时间和渐近置信区间进行了比较。
推荐文章3
● 题目：Distributionally Robust Optimization Under Distorted Expectations
在扭曲期望下的分布式鲁棒优化
● 期刊：Operations Research
● 原文链接：https://doi.org/10.1287/opre.2020.0685
● 发表日期：October 10, 2023
● 作者：Jun Cai, Jonathan Yu-Meng Li, Tiantian Mao
● 关键词：
◦ distributionally robust optimization 分布式鲁棒优化
◦ distortion risk measure 扭曲的风险度量
◦ convex risk measure 凸风险度量
◦ convex envelope 凸包
● 主要内容：
◦ 本文的背景是关于分布鲁棒优化（Distributionally Robust Optimization，DRO）在处理决策优化中的分布不确定性问题的重要范式。在决策者不是风险中性的情况下，DRO中最常用的方案是使用期望效用函数来捕捉风险态度。然而，本文提出了一种替代方案，即使用双重期望效用（dual expected utility）来处理决策者的风险态度。在这种方案中，通过应用畸变函数将物理概率转化为主观概率，从而得到一个被称为畸变期望的结果，该畸变期望能够捕捉决策者的风险态度。与期望效用函数线性地依赖概率不同，在双重方案中，畸变期望通常是概率的非线性函数。
◦ 扭曲期望是一种模拟决策者风险态度的方法。与线性依赖概率的期望效用函数不同，在扭曲期望的方案中，扭曲期望通常是概率的非线性函数。这种非线性性质使得扭曲期望能够更灵活地捕捉决策者的风险态度，包括对极端结果的过度权重或偏好。这个扭曲函数是一个非递减函数，并且满足一些特定的条件。在实践中，常用的扭曲函数包括累积概率理论中的反S形扭曲函数。通过使用扭曲期望来模拟决策者的风险态度，我们可以更准确地在决策优化中反映决策者对不确定性的态度。
◦ 本文强调了基于扭曲期望构建的分布鲁棒优化问题的计算可行性，并且表明在许多情况下，可以通过求解基于某个凸扭曲函数构建的替代分布鲁棒优化问题来解决这个问题，后者通常可以通过凸优化技术来精确或近似地求解。本文的DRDRO框架的可行性是建立在分析的基础上的，该分析表明，当根据基于矩的模糊集绘制的最坏情况分布进行评估时，具有非凸扭曲函数的扭曲期望总是给出与其凸对应物等价的风险评估。此外，本文还提供了一个必要条件，用于判断模糊集合是否满足这种等价性。值得注意的是，本文还提到了对于其他类型的模糊集，如基于距离的模糊集，是否可以获得类似的等价结果，这是一个自然的问题。
◦ 数值实验的结果显示，当决策者在面对分布不确定性时过度关注极端结果时，最优决策会变得更加风险规避，并且随着对极端结果的权重增加，决策者试图对冲的最坏情况分布也会发生变化。数值实验还展示了使用扭曲期望来进行决策时的一些情况。具体来说，数值实验使用了逆S形扭曲函数，并应用于一个具体的案例，该案例涉及到运输成本的不确定性。数值实验中使用的数据来源是根据论文中提供的信息进行的模拟。