当前位置: X-MOL 学术ACM Trans. Graph. › 论文详情
Our official English website, www.x-mol.net, welcomes your feedback! (Note: you will need to create a separate account there.)
Textured Mesh Quality Assessment: Large-scale Dataset and Deep Learning-based Quality Metric
ACM Transactions on Graphics  ( IF 6.2 ) Pub Date : 2023-06-05 , DOI: https://dl.acm.org/doi/10.1145/3592786
Yana Nehmé, Johanna Delanoy, Florent Dupont, Jean-Philippe Farrugia, Patrick Le Callet, Guillaume Lavoué

Over the past decade, three-dimensional (3D) graphics have become highly detailed to mimic the real world, exploding their size and complexity. Certain applications and device constraints necessitate their simplification and/or lossy compression, which can degrade their visual quality. Thus, to ensure the best Quality of Experience, it is important to evaluate the visual quality to accurately drive the compression and find the right compromise between visual quality and data size. In this work, we focus on subjective and objective quality assessment of textured 3D meshes. We first establish a large-scale dataset, which includes 55 source models quantitatively characterized in terms of geometric, color, and semantic complexity, and corrupted by combinations of five types of compression-based distortions applied on the geometry, texture mapping, and texture image of the meshes. This dataset contains over 343k distorted stimuli. We propose an approach to select a challenging subset of 3,000 stimuli for which we collected 148,929 quality judgments from over 4,500 participants in a large-scale crowdsourced subjective experiment. Leveraging our subject-rated dataset, a learning-based quality metric for 3D graphics was proposed. Our metric demonstrates state-of-the-art results on our dataset of textured meshes and on a dataset of distorted meshes with vertex colors. Finally, we present an application of our metric and dataset to explore the influence of distortion interactions and content characteristics on the perceived quality of compressed textured meshes.



中文翻译:

纹理网格质量评估:大规模数据集和基于深度学习的质量度量

在过去的十年中,三维 (3D) 图形变得非常详细以模仿现实世界,其大小和复杂性呈爆炸式增长。某些应用程序和设备限制需要对其进行简化和/或有损压缩,这会降低其视觉质量。因此,为确保最佳体验质量,评估视觉质量以准确驱动压缩并找到视觉质量和数据大小之间的正确折衷非常重要。在这项工作中,我们专注于带纹理的 3D 网格的主观和客观质量评估。我们首先建立一个大型数据集,其中包括 55 个源模型,这些源模型在几何、颜色和语义复杂性方面进行了定量表征,并通过应用于几何、纹理映射、和网格的纹理图像。该数据集包含超过 343k 个扭曲的刺激。我们提出了一种方法来选择 3,000 个刺激的具有挑战性的子集,我们在大规模众包主观实验中从 4,500 多名参与者那里收集了 148,929 条质量判断。利用我们的主题评级数据集,提出了一种基于学习的 3D 图形质量指标。我们的指标在我们的纹理网格数据集和具有顶点颜色的扭曲网格数据集上展示了最先进的结果。最后,我们展示了我们的指标和数据集的应用,以探索失真交互和内容特征对压缩纹理网格感知质量的影响。我们提出了一种方法来选择 3,000 个刺激的具有挑战性的子集,我们在大规模众包主观实验中从 4,500 多名参与者那里收集了 148,929 条质量判断。利用我们的主题评级数据集,提出了一种基于学习的 3D 图形质量指标。我们的指标在我们的纹理网格数据集和具有顶点颜色的扭曲网格数据集上展示了最先进的结果。最后,我们展示了我们的指标和数据集的应用,以探索失真交互和内容特征对压缩纹理网格感知质量的影响。我们提出了一种方法来选择 3,000 个刺激的具有挑战性的子集,我们在大规模众包主观实验中从 4,500 多名参与者那里收集了 148,929 条质量判断。利用我们的主题评级数据集,提出了一种基于学习的 3D 图形质量指标。我们的指标在我们的纹理网格数据集和具有顶点颜色的扭曲网格数据集上展示了最先进的结果。最后,我们展示了我们的指标和数据集的应用,以探索失真交互和内容特征对压缩纹理网格感知质量的影响。提出了一种基于学习的 3D 图形质量度量。我们的指标在我们的纹理网格数据集和具有顶点颜色的扭曲网格数据集上展示了最先进的结果。最后,我们展示了我们的指标和数据集的应用,以探索失真交互和内容特征对压缩纹理网格感知质量的影响。提出了一种基于学习的 3D 图形质量度量。我们的指标在我们的纹理网格数据集和具有顶点颜色的扭曲网格数据集上展示了最先进的结果。最后,我们展示了我们的指标和数据集的应用,以探索失真交互和内容特征对压缩纹理网格感知质量的影响。

更新日期:2023-06-05
down
wechat
bug