视频前沿技术

这篇文章摘自《在线视频-技术精要》。这是一本非常适合从事多媒体工作的开发人员的手册,里面设计了非常多的方便,不单单是视频编解码,也包括其延伸和基础服务这些。

这里简要罗列下最近阅读的章节,前沿技术趋势。

10bit

我们目前主流的 8bit,其实就是我们 RGB 进行组合会有 256 (28) * 256 * 256 总可能性。而 10Bit 也就是 1024(210) * 1024 * 1024 总可能性;这大概可以提供10.71个不同颜色,这无疑将会对图像还原提供更加精准的支持。但是考虑到市场大量的设备仅仅支持 8 bit,显示设备对尚未形成普遍需求。

全面应用还需要等待更长的时间使用颜色更加清晰的活泼的图像,会给人一种更好的体验

HDR

HDR(高动态范围)频已经在照片领域广为流行,但是由于传感器所限图像和视频拍摄时,无法保留光照的完全细节需要节奏技术手段给不同种曝光,设置照片组合出HDR的图像HDR并非只影响明暗度,他们与更广的社育和更高的相处比绑在一起为了保证第二内容可以显示,设备上得到正确的渲染。

HDR对视频处理流程中带来的主要变化是显示的预处理和后处理细节,考虑到对SDR内容的兼容有两种流媒体的方案,

  • 一种方案是基于可伸缩视频编码及SDR内容为基础,增强层带有额外的动态颜色范围信息分别进行编码和传述支持需要用专门的解码及极品 HDR 重建
  • 另一种方案,这事情生产一个层流和包含额外动态范围与颜色信息的原数据,传统的播放数据则忽略这些元数据,支持HDR的设备进行重建。

目前很多设备包括手机都有对 HDR 的支持,总的来说这一块还算比较热门了。

全景视频

VR,虚拟现实其目标是利用计算机模拟产生反映三维空间的虚拟世界提供视觉,听觉等多种感觉的模拟,让使用者产生身临其境的感觉。当前大部分虚拟技术及显示器都是通过头戴设备实现。

全景视频是有 360° 全方位拍摄的视频,可随时调整视频上下左右进行观看。我们把水平视角 360°和垂直视角 180°的视域称为全景图。为处理和传输的考虑,全景图需要需要贝投影到平面。而在观看时候,而在 VR 设备观看的时候可以进行角度的还原。每种投影方式还原的方式也不一样。常见投影方式有:

  • Equirectangular(世界地图形式)
  • Meractor 投影
  • Equisolid 投影

目前普遍认可的是 CubeMap 的形式,及模拟一个由六幅图拼合成的立体盒子,而观众位于正中心。

由于传输的高要求,需要提供 2K , 4K 甚至 8K 的分辨率视频才能提供相对较好的播放画面。目前比较火的方案是对视频进行 Tile 划分,对不同的 Tile 提供不同质量的登记,并且采用分块传输和自适应传输这些技术支持。

随着 Meta 和 Apple 在 VR 领域的不断支持,相信未来一定会有合适的解决方案出炉

点云与光场

点云,只透过 3D 扫描设备获取所有点的信息集合,其中包含位置信息和强度信息。可以反映目标物体的坐标,颜色,表面材质,光的入射角等,主要的点云来源于激光扫描,也包括一些二维图像的重建和模型计算。

广场则是分布在空间所有光纤信息的集合,其最终目的是实现类似于全息显示技术的效果。如果定义一个观测对象,则所有光都可以用四维数据表示,意味着如果获得足够多的照片,就可以推测它在任意角度的图像。

扩展阅读