课题描述
课题背景
传统的材质建模依赖于Disney或微表面(Microfacet)等参数化物理模型,虽然稳健,但受限于参数维度,难以捕捉真实世界中复杂的非局部交互和多层视觉效果。神经材质(如NeuMIP)利用小型多层感知机(MLP)和潜在特征贴图,实现了高保真、实时且分辨率无关的复杂外观表示。然而,创作高质量神经材质门槛极高,往往需要专业的测角反光仪实验室或昂贵的艺术加工。随着多模态大语言模型(MLLM)和扩散模型的发展,利用文本或单张照片引导材质生成已成为可能。目前的前沿研究(如VideoNeuMat)正尝试将大型视频模型作为“虚拟测角反光仪”,从中提取被解耦的、可重用的神经材质资产,从而开启了从生成式合成转向高质量物理重构的新范式
课题价值
1、内容创作的平民化与高效化: 该管线允许非专业用户通过文本指令或随手拍摄的照片生成电影级精度的PBR材质,极大降低了3D内容生产的成本;
2、实现真正的资产解耦与重用: 相比于传统的“烘焙”式贴图,该管线强调物理一致性重构,能将材质属性从光照和几何中彻底解耦,使其能够适应任何新场景的重光照需求;
3、实时渲染性能的跨越式提升: 神经材质在保持高保真度的同时,其评估成本不随材质复杂程度增加,如果能加以利用,将有可能实现高复杂度材质的高性能实时渲染;
4、工业管线的无缝集成: 我们预期该管线生产的神经材质资产将可以直接用于高品质游戏生产管线中
课题挑战
1、物理规律的强制约束: 神经网络本质上并不天然遵循能量守恒定律,如何在重构过程中引入硬性的物理结构约束,而非仅靠软性的损失函数,是确保渲染真实性的关键;
2、数据稀缺性瓶颈: 训练高质量材质生成模型缺乏大规模、具备真实感且标注完善的PBR/神经材质数据集,依赖视频先验进行知识蒸馏是目前的蓝海但也极具技术难度;
3、可编辑性与语义控制: 神经材质目前多为“黑盒”表示,一旦生成,艺术家难以像传统贴图那样进行“增加锈迹”等语义级的交互式修改,构建语义可解释的潜空间是管线落地的痛点。
科研挑战
1、突破多模块生成与编辑神经材质的理论瓶颈,最终从理论走向落地;
2、突破神经材质运行时效果与效率,突破硬件瓶颈;
3、在图形学与 AI 顶级会议发表高水平论文并申请核心专利,形成完整的智能游戏制作解决方案。
课题要求
1、包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程、统计学、应用数学、物理学/量子计算、信息安全、信号与信息处理等专业的博士和优秀硕士;
2、有图形学相关的基本算法及应用游戏;
3、较强的工程实现能力,熟练掌握 C/C++ 编程,熟悉 Shell/Python/Matlab 至少一种编程语言。
职位方向
IEG
工作地点
上海
参加面试的城市
远程面试
招聘部门和工作地
IEG互动娱乐事业群
游戏前沿技术
游戏前沿技术,聚焦腾讯游戏技术预研和实现,通过提供产品化服务来提升整体游戏研发效率,助力腾讯成为全球游戏研发技术领先者。行业技术大牛及全球顶尖院校大咖云集于此,我们着眼于「人工智能技术」与游戏研发深入结合,探索新玩法和交互方式;引入AIGC、图形学、程序化内容生成、动捕等前沿技术,提升「数字内容」制作效率和能力;研究「游戏引擎」核心技术并致力于图形学前沿探索,同时开发完全自主知识产权的「自研引擎」;研发业界领先的游戏在线服务及基础服务框架,聚焦提升「游戏GaaS化服务」能力;探索语音前沿领域,引领「游戏语音」行业技术演进;把握行业未来趋势,设计并实现高性能、高效能且安全的「编译编程系统」及工具链……
加入我们,以领先技术赋能业务,提升用户娱乐品质!
加入我们,以领先技术赋能业务,提升用户娱乐品质!
工作地点上海
内容来自「腾讯校招」官方招聘页面