R8 Raytrix相机拍摄的光场视频数据集（带视差图）

智能文字提取功能测试中

R8 Raytrix相机拍摄的光场视频数据集（带视差图）摘要为了响应对沉浸式应用程序视觉测试材料[N17462，N17471]的呼吁，提出了用R8 Raytrix相机获取并转换为5x5多视图格式的视频内容。每个视图都提供有视差图。1 简介响应对沉浸式应用程序视觉测试材料[N17462，N17471]的呼吁，使用R8 Raytrix相机获取并转换为5x5多视图格式的视频内容，并与每个视图相关联的视差图。摄影机已经拍摄到三个不同的场景。下面详细介绍了视频内容、拍摄条件以及如何提取视图。然后列出可供下载的数据。2 视频内容描述使用配备35毫米镜头的R8 Raytrix摄像机拍摄了三个不同的场景。这些视频是：•ChessPieces，•Boxer-IrishMan-Gladiator，•ChessPieces Moving Camera。这些视频是用Raytrix软件RxLive 3.1以每秒30帧的速度录制的。每帧的分辨率为1920x1080。每个视频的第一帧如图1所示：图1“ChessPieces”、“Boxer IrishMan Gladiator”和“ChessPieces MovingCamera”三个视频的第一帧 配备35mm镜头的Raytrix R8相机可以精确捕捉10厘米x 10厘米x 10cm体积的场景。所提议的捕捉场景包括在这样的体积中。2.1 ChessPieces视频序列“ChessPieces”包含四个棋子、两个骑士和两个在转盘上旋转的棋子，并以日历为背景。R8 Raytrix相机位于距离场景35厘米处。它由300个框架组成。2.2 Boxer-Irish地图角斗士视频序列“Boxer-IrishMan-Gladiador”包含三个在转盘上旋转的乐高角色，背景是日历。它由300个框架组成。2.3 ChessPieces Moving Camera在视频“ChessPieces MovingCamera”中，由棋子组成的场景是静态的，但相机在移动。后者位于离现场60厘米处。视频包含300帧。3 视图提取Raytrix软件RxLive将从R8相机接收的数据存储为Raytrix序列文件。我们使用Raytrix API访问Raytrix序列文件中的每个Raytrix帧，以便提取二十五个视图，就像我们有二十五个虚拟摄影机一样（5行x 5列）。每个摄像头应该离它的邻居4毫米远。图2：每帧25个虚拟相机，每个提取的视图为此，我们利用函数Rx::ApiLF::RxSetPar。使用参数“Rx::ApiLF::EPar::VirtCamPinholeStd_ViewOffsetMM_g”调用，它允许指定虚拟相机在垂直于主镜头z轴的平面中的偏移。偏移具有4mm的水平值和4mm的垂直值，并且是从主透镜的中心测量的。提取的视图在可下载的zip文件中编号（参见可供下载的数据），如图2所示（例如：坐标（1，3）为sa_1_3.png）。4 视差图对于每个帧的每个视图，计算视差图。由于我们在每帧中提取了25个视图，因此每帧计算25个视差图：每个提取的视图一个视差图。到目前为止，我们使用了中介绍的作品的简化版本，并将其应用于提取的视图。例如，以下是我们为每个视频的第一帧获得的中心视图的视差图（即坐标（3,3））：图3：“ChessPieces”、“Boxer IrishMan Gladiator”和“ChessPieces MovingCamera”第一帧中心视图的视差图对于每个视频，下表中给出了两个相邻视图之间的最小和最大视差（以像素为单位）：表1：视差图的最小值和最大值这些值可以用于从作为PNG提供的视差图中获得视差值。可以应用Alinear转换，其中0是最小视差，255是最大视差。5 可供下载的数据可以从描述和托管每个帧的数据的网站下载几种数据：•原始图片，即由Raytrix相机的传感器捕获的原始图片，•5x5，即25个提取视图，•5x5（即25个视差图），每个视差图都与特定的提取视图相关联。所有这些数据都是为视频的300帧提供的，但第一帧的数量根据视频而不同：• ChessPieces : 1,• Boxer-IrishMan-Gladiator: 400,• ChessPieces-MovingCamera: 210. 此外，对于每个视频，都提供了一个XML文件，该文件包含在捕获期间的Raytrix相机的校准参数。附件传感器和MLA说明光线追踪API（参见https://www.raytrix.de/Rx.ApiLF.3.1/namespace_e_par.html)提供有关R8相机传感器及其微透镜阵列（MLA）的信息。下表汇总了它们：表2:Raytrix R8的传感器和MLA特性校准参数用于数据集的校准参数可以作为XML文件从每个视频的网站下载。以下是一个示例（与“ChessPieces”相关）：