上海在招岗位岗位信息聚合

优图实验室—面向刷掌支付的多模态大模型研究

腾讯 · 转正未明
面议
工作城市 上海学历 博士 / 硕士专业要求 福利待遇 岗位类型 实习实习分类 暑期未明确转正

课题描述

课题背景
刷掌支付在业务落地中面临多方面的约束与挑战:多样的环境与用户使用习惯、严格的法律法规限制。在这些前提下,刷掌问题排查与优化面临巨大的挑战。随着大语言模型(LLM)及多模态大模型(MLLM)技术的突破性发展,通过多模态大模型进行刷掌问题排查与优化成为一种可能,本课题聚焦多模态大模型在刷掌支付场景中的深度应用,解决支付现场理解与身份识别可靠性的核心业务痛点。

课题挑战

1、支付现场理解:基于多模态大模型对支付现场进行综合理解,包括用户行为意图、设备环境状态、手掌质量等因素,并进行综合推理确定问题和优化方案。
2、身份识别可靠推理:将多模态大模型的语义理解能力与掌纹识别管线深度结合,结合上下文提供可靠的识别结果与可解释的识别结论。
3、生成识别统一框架构建: 将AIGC生成机制与掌纹识别深度融合,利用生成模型的内在特性反哺识别任务,实现高效率的识别问题修复;
4、模型轻量化与端侧部署:面向刷掌支付终端的算力与时延约束,研究低延时的多模态大模型技术,在保证现场理解与推理能力的前提下实现多模态大模型的高效端侧部署

具体工作

你将参与面向刷掌支付的多模态大模型研发,包括多模态大模型训练与微调、可解释推理能力增强(DPO、GRPO等)、模型轻量化研究等,推动多模态大模型在刷掌支付真实业务中的落地应用。

课题要求

1、计算机科学、人工智能、模式识别等相关专业的博士及优秀硕士;具有目标检测、Grounding,MLLM等研究背景者优先;
2、熟悉VLM/MLLM前沿进展,熟悉 CLIP/InternVL等技术路径;精通 PyTorch,在 CVPR/ICLR/NeurIPS/ICCV等顶会有相关成果者优先;
3、对多模态理解技术有强烈研究热情,对技术有较强的好奇心,具备较好的研究能力;沟通协作能力强,逻辑性强,具备独立解决问题的能力。

职位方向

CSIG

工作地点

上海

参加面试的城市

远程面试

招聘部门和工作地

CSIG云与智慧产业事业群
优图实验室
腾讯优图实验室——离产业最近的AI。我们专注于人工智能领域的前沿技术研究和产业实践落地,涵盖了视觉感知理解、多模态理解、大语言模型、计算加速、AIGC等技术研究领域;作为腾讯顶级的人工智能实验室,优图实验室在多个领域开展技术研究和应用落地,同时为腾讯内外部超500+产品和业务提供技术支持和服务;优图实验室汇聚来自国内外的顶尖人才,并与世界顶级院校和机构合作,我们拥有超过1800项全球专利,1000余篇论文被国际顶会收录。
工作地点上海
内容来自「腾讯校招」官方招聘页面