课题描述
随着人工智能技术的快速发展,多模态大模型已成为当前学术界与工业界的核心研究方向之一。本课题依托海量的图文等多模态数据资源与业务场景,聚焦于构建能够在统一框架下同时完成多模态理解与生成任务的大模型。
研究目标涵盖以下核心方向
1、统一架构设计:探索将图像、文本多种模态在统一的模型架构下进行联合建模,打破理解与生成任务之间的割裂,实现端到端的多模态能力融合。
2、多模态理解:研究跨模态语义对齐、细粒度视觉-语言理解、多模态推理等关键技术,提升模型对复杂场景的认知、问答、翻译能力。
3、多模态生成:探索高质量图像及多模态内容的生成技术,包括文生图、图文互生等方向,满足微信生态多模态翻译场景需求(包括端到端图片翻译、游戏图片翻译、多语言图片编辑等)。
4、大规模高效后训练:研究适用于超大规模数据的后训练RL算法,以及参数高效的微调方法(如 LoRA、Adapter 等),支撑模型在实际产品中的快速落地。
课题要求
基本条件
1、计算机科学、人工智能、电子信息、统计学等相关专业,本科及以上学历(优秀硕士或博士);
2、对多模态大模型、视觉-语言模型、生成式 AI 等方向有浓厚兴趣,具备扎实的深度学习理论基础;
3、熟练掌握 Python,熟悉 PyTorch 或 JAX 等主流深度学习框架;
4、具备良好的科研素养,能够独立阅读和复现顶会论文。
优先条件(具备以下任一者优先考虑)
1、在 NeurIPS、ICML、ICLR、CVPR、ICCV、ECCV、ACL、EMNLP 等顶级学术会议或期刊发表过论文;
2、有多模态模型(如 LLaVA、Flamingo、DALL-E、Stable Diffusion、Sora、QwenImage 等)复现或改进经验;
3、参与过大规模预训练项目(百亿参数及以上),熟悉分布式训练框架(如 Megatron-LM、DeepSpeed、verl);
4、有图像/视频生成、视觉问答(VQA)、图文检索等方向的项目经验;
5、熟悉 RLHF、DPO、GRPO、OPD 等后训练技术在多模态场景下的应用。
职位方向
WXG
工作地点
上海
参加面试的城市
远程面试
招聘部门和工作地
WXG微信事业群
技术架构团队
作为微信后台的奠基团队,我们集基础研究与应用开发于一体,深耕底层架构与前沿 AI 引擎,全力支撑全球 14 亿+ 用户的超大规模社交连接。
海量服务基建:打造 WXG 核心 ABC 平台(AI 日均百亿级调用、BigData 日均百万级任务、Cloud 每秒百亿级 TPS),保障微信全线业务的极致稳定。
前沿 AI 探索:主导自研基座大模型 WeLM,在预训练、多模态及 Agent 等方向持续突破,全面赋能微信 AI 助手“小微”、AI 搜索等核心场景,并积极反哺学术界与开源社区。
欢迎加入微信技术架构团队,在 SuperApp 的真实生态中,打造下一代海量服务和 AI 基础能力!
海量服务基建:打造 WXG 核心 ABC 平台(AI 日均百亿级调用、BigData 日均百万级任务、Cloud 每秒百亿级 TPS),保障微信全线业务的极致稳定。
前沿 AI 探索:主导自研基座大模型 WeLM,在预训练、多模态及 Agent 等方向持续突破,全面赋能微信 AI 助手“小微”、AI 搜索等核心场景,并积极反哺学术界与开源社区。
欢迎加入微信技术架构团队,在 SuperApp 的真实生态中,打造下一代海量服务和 AI 基础能力!
工作地点上海
内容来自「腾讯校招」官方招聘页面