由于计算机渲染技术和生成对抗网络(generative adversarial networks, gan)的快速发展，计算机生成图像（computer-generated, cg）的质量越来越高也越来越逼真，与相机拍摄获取的真实图像（photographic, pg）之间的区别越来越小。高质量cg图像一旦被恶意使用，将会带来严重的信息安全隐患，例如，利用逼真的cg图像制造的虚假新闻可能会引起群众恐慌等。 因此，研究计算机生成（cg）图像鉴别方法具有重要意义。
近期，实验室视频内容安全团队构建了一个包含14万张图片的大规模计算机生成图像数据集（large-scale cg images benchmark, nlpr-lscgb）并提出一种鲁棒的基于纹理感知的cg图像鉴别方法（robust texture-aware computer-generated image forensic）。相比于现有数据集数据量小、内容单一，nlpr-lscgb图像数据集具有三方面优势，1)规模大：数据集包含71168张生成图像和71168 张自然图像，比以往的数据集大两个数量级；2)多样性高：我们从245种不同的场景中收集不同的渲染技术生成的计算机图像；3)偏差小：该数据集中生成图像和自然图像在颜色、亮度、色调和饱和度分布上都非常接近。图1展示了数据集中的部分cg图像。
图1：计算机生成图像（cg）
基于该数据集，团队通过大量实验发现，自然图像和计算机生成图像区别存在于图像的纹理细节中。由此，团队进一步提出了一种多尺度纹理感知的计算机生成图像鉴别模型（图2）。该模型首先基于图像特征之间的相关性进行纹理增强，再通过gram矩阵进一步提取纹理特征，然后将多个纹理提取模块应用于特征提取网络的不同层以提取多尺度纹理特征。最后基于多尺度纹理特征进行计算机生成图像的判别。该方法在已有的数据库及nlpr-lscgb大规模数据集中性能都超过了现有的方法，充分证明了算法的有效性。
图2：多尺度纹理感知模型
相关工作robust texture-aware computer-generated image forensic: benchmark and algorithm于2021年10月发表于ieee transactions on image processing（tip）期刊。本研究属于多媒体内容智能理解技术及产业化应用2035创新任务，获得科技创新2030"新一代人工智能”重大项目、国家自然科学基金联合基金重点项目支持。
论文链接：https://ieeexplore.ieee.org/document/9559870
数据集链接：https://github.com/wmbai/lscgb
|
