上海在招岗位岗位信息聚合

面向多模态生成的理解算法研究

腾讯
面议
工作城市 深圳 / 北京 / 上海 / 杭州专业要求 福利待遇 岗位类型 校招

职位描述

多模态生成大模型的训练和推理离不开多模态理解算法,且生成任务对于理解有其独特的需求。该项目希望能够研究最适合多模态生成大模型的理解能力,重点包括但不限于:
1. 对多模态音视频进行有重点、准确的文本描述(Caption能力),提升多模态生成的效果;
2. 精准理解多模态上下文(比如图像、视频、动作、身份ID、镜头等)的关联关系,构建高质量的参考、编辑等指令;
3. 将用户的Prompt和意图通过理解模型准确转化为多模态生成模型的输入,提高多模态生成系统整体的效果和智能。
1. 熟悉多模态理解技术,有VLM模型的核心经验;
2. 具备大模型训练、调参、实验分析和问题排查能力;
3. 对数据有感觉、认同数据价值,能够深入分析数据、构建数据方案;
4. 好奇心强,思路灵活,做事认真负责,愿意挑战开放问题;
5. 熟练使用 AI 工具提升研发效率。

加分项

1. 有大规模预训练、VLM模型训练直接经验;
2. 有顶会论文、开源项目、产品落地经验等;
3. 在ACM、NOI等竞赛中取得优秀成绩。
内容来自「腾讯校招」官方招聘页面