2018年3月9日
By 1月时特约编辑
专题文章

Facebook推出新的360°/VR视频质量指标

在一个博客名为“360°视频观看会议的质量评估”,“Facebook将公布两项客观质量指标——ssim360和360qvm——该公司创建了这两项指标，以帮助指导其360°视频开发工作. 这篇文章讨论了360°制作的许多固有问题, 并提供了这些指标如何帮助所有开发人员在未来简化这些问题的一瞥.

作为背景, 了解360°视频开发具有2D(或平面)视频的所有压缩相关问题, 加上许多独特的挑战. 例如，供应商使用不同的布局，如等矩形或立方体地图来存储360°视频. 量化与这些布局相关的质的差异是至关重要的, 但是非常麻烦.

除了, 许多公司部署内容依赖技术，试图预测360°视频中感兴趣的区域, 因此，视频可以被编码以优化观众观看的质量. 当然，如果观众正在寻找其他地方，这些预测实际上会降低质量. 据我们所知, 在Facebook今天公布的360QVM指标之前, 根本没有任何技术可以对这些预测的准确性进行评分和量化.

这些挑战因许多360°视频输入文件的庞大规模而加剧, 通常是4K或更大的, 并且需要以相对较低的比特率传输到移动设备. 由于头戴式显示器涉及的观看距离, 为低比特率流缩放到更低的分辨率——这对大多数平面视频都很有效——会严重降低视频质量.

简单的说, 360°视频是非常具有挑战性的, 在质量指标方面，大多数生产商一直在使用生硬的工具. 这一现实使得Facebook的公告成为所有360°视频开发者或制作人的喜讯, 但是我们会讨论, Facebook目前还没有计划将这些指标开源，以便其他人可以使用它们.

SSIM360

第一个指标叫做SSIM360. 你们可能知道, SSIM是一种广受推崇的全参考度量，它将编码后的图像与原始图像进行比较，并产生一个分数. 从技术上讲, 为视频评分时, SSIM使用多个像素块比较每个帧, 对每一帧的每个块和整个块的得分取平均值. 所有的帧都是类似的评估和总体得分平均. 完美的1.0表示两个图像完全相同，0表示两个图像完全不同. 最优质的视频速率 .95分或以上.

The problem with SSIM (and any flat metric) is that it gives equal weight to all blocks in the frame; it's a simple average. 然而, 360°显示期间, 框架中间的块比顶部和底部的块占用更多的空间, 因此，这些积木的质量应该得到更多的重视. 在本质上, SSIM360对这些块进行加权，以计算反映渲染360°图像质量的分数, 而不是那个图像的平面表示.

Facebook的360

图1. Facebook通过比较源视频和编码后的360度视频之间的多个平面区域，得出了基准分数.

在博客文章中, Facebook技术人员通过将其分数与渲染源和编码的等矩形帧所获得的分数进行比较，并在完整图像的比较块内计算数百个SSIM分数，证明了这种加权方法的准确性(图1). 这种方法对最终图像中显示的每个块进行加权, 而不是存储在压缩帧中, 本质上将二维度规转换成三维度规. 然而, 因为它涉及到每帧数百个比较, 作为一个独立的度量标准，它太麻烦了.

而不是, Facebook用数学方法对积木进行了称重, 并将分数与使用图1所示技术产生的理论完美分数(称为基础真实分数)进行比较. 研究人员发现，SSIM360的准确率比传统2D SSIM高50%.

如果您是SSIM的信仰者，那么SSIM360是一个坚实的进步. 然而, 我问陈香凝, 这篇博文的作者, Facebook是否进行了任何主观比较来证实他们的客观分析, 但他们没有. 技术上来说, Facebook的测试证明，在计算360°视频的SSIM分数时，SSIM360比2D SSIM更准确, 但这些测量并不能准确地预测主观评价.

为视角, 请注意，虽然这是我见过的第一个球面加权的基于sim的指标, 有多种基于球面加权psnr的技术可用, 包括一个加权的球形PSNR 从三星免费下载. 这些指标在学术比较中成败参半, 尽管这也适用于所有的质量指标, 它们似乎总有批评者.

那些对之前的球度规评估的介绍感兴趣的人应该看看"基准虚拟现实视频质量评估(PDF下载). 翻看文件, 您将注意到关于球形加权的好处的不同发现. 例如，在文章“全方位视觉内容的客观度量性能研究,作者指出，“专门为360度内容设计的客观指标并不优于为2D图像设计的传统方法。." In "360度视频质量指标的评估,作者总结道。, 研究发现，大多数客观质量指标与主观质量有很好的相关性. 也, 在评估的质量措施中, [传统的平面]PSNR被证明是最适合360视频通信的."

另一方面，对文章的总结全向视频的加权到球均匀质量评价”国家, “我们的方法避免了从重采样表示空间到观测空间的转换造成的误差传播，使质量评估结果更加准确和可靠.“在最近的几个咨询项目中, 我研究过球形加权三星PSNR指标, 并发现结果与平坦的PSNR几乎相同. 因此，球形称重的好处还没有定论.

在我和陈的讨论中, 我没有探讨SSIM360与这些文章中讨论的基于psnr的方法有何不同, 我希望在未来的技术文章中探讨Facebook方法的技术优点. 实际上, 考虑到有效的360度度量的潜在好处, 任何从事360°VR工作的人都希望有机会测试更好的捕鼠器. 在我看来, 《百家乐软件》最大的问题并不是关于技术上相似的前身的学术分歧, 而是我拿不到它.

360年vqm

在高水平上，SSIM360测量整个帧的质量. 与此形成鲜明对比的是, 360年vqm使用SSIM360作为工具来测量编码技术预测观众观看位置的准确性. 那些想了解这些预测技术的人应该看看Facebook上另一篇题为“增强高分辨率360流与视图预测."

让我们从一个简单的例子开始. 假设你正在观看一个360°的视频，一个模特绕着相机走一圈. 多种技术可以预测大多数观众在行走过程中会跟随模型，并优化编码帧以提高质量. 这是, 而所有帧都有相同的像素数, 而不是将整个图像均匀地分布在框架上, 您可以将90%的像素分配给模型, 剩下的10%包含帧的其余部分的低分辨率部分.

当然，当360度投影时，整个图像都会被覆盖. 但是这个模型看起来很棒，因为大部分像素都分配在他或她身上. 然而, 如果你突然回头看, 图像看起来很糟糕，因为该区域在编码帧中由更少的像素表示.

这是一篇博客文章的简介. “依赖于视图的优化技术，如偏移投影, saliency-based编码, 与内容相关的流本质上是将比特分配(在大多数情况下相当于像素分配)偏向于视频中感知上更重要的区域. 它们并没有提高整个画面的质量，而是优化了观众最有可能看到的部分."

你如何判断这些技术的质量? Facebook似乎在这方面开辟了新天地.

为了计算360年vqm, Facebook首先获得SSIM360分数. 回到我们的循环模型例子, 很明显，每帧的不同部分会有显著不同的分数. 包含模型的块会有很高的分数，因为大量的像素保留了质量. 其他地方的分数都很低，因为这些部分的存储分辨率非常低.

随着时间的推移, Facebook的玩家匿名追踪观看者实际观看的视野，并将其映射回视野中的实际像素. 如果你一直在看模型, 你会提高360年vqm的分数，因为你在看一个高分辨率的, 高质量的像素块组. 如果你一直盯着房间的另一边看, 视场中的像素密度极低, 导致惩罚因子应用于360年vqm.

Facebook的虚拟现实

图2. 测量预测观众将在画面中看到哪里的技术的准确性.

这显示在图2 从博客文章中，太阳在框架的中心是预测的视野. 在没有任何优化的情况下理解这一点, 360°技术将在框架的所有区域给予同等的权重. 无论观众看向哪里, 他或她将在视场中看到相同数量的源像素, 同样的相对质量. 与此形成鲜明对比的是, 优化技术试图预测观看者是否专注于太阳, 并将更多的像素分配到该区域.

在图2的顶部，红色圆圈表示查看者实际上正在查看预测的区域. 由于优化技术准确地预测了这一点, 观看者将获得更高分辨率的图像, 提高360年vqm分数. 在底部，情况正好相反，观众正在观看一个没有优化的区域. 在这里，V360年vqm分数在观看低分辨率内容时被扣分.

以这种方式, 360年vqm测量与视图相关的优化技术的准确性, 据我们所知，这些在规模上是无法测量的. 因为你无法改进你无法测量的东西，所以360年vqm是真正具有开创性的.

得到你的

在引言中, 这篇博文说, “我们分享我们的QA工作流程是建立行业标准的第一步，我们希望这将使更广泛的360开发者社区能够量化和分享他们在创造更沉浸式体验方面的开发成果.我问陈，Facebook是否将这些指标开源, 并回答说这不在短期计划之内.

他确实提到，开发一个类似于SSIM360的度量可以非常快速地完成，只需在众多可用的开源SSIM实现之一中添加球形权重. 希望, 像莫斯科国立大学这样的公制供应商可以承担这一任务, 因为这将对许多VR开发者非常有帮助. 另一方面, 360年vqm将很难重现，因为它需要访问玩家数据和编码工具使用的加权机制.

总的来说，Facebook的两个指标让人想起了那句老话:需求是发明之母. 360度制作所带来的挑战使得Facebook等公司的AI优化成为必要, 现在，这些指标需要衡量他们的进展. 通过如此彻底地定义这些技术, 这篇博文将帮助其他人利用这些或类似的方法. 希望, 在路上, 这将导致标准化和开源，为更大的360°开发社区带来好处.