内容概览
本文围绕“美团开源LongCat-2.5,长序列SFT单卡吞吐较DDP提升86%”整理核心信息、适用场景与使用条件,便于读者快速了解重点,再决定是否进一步体验或查阅项目资料。
详细信息
美团11月10日开源LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练,无需额外授权。模型面向长程智能体任务,为原生多模态架构,总参数1.6万亿、每个token激活约480亿参数,支持一百万上下文,在复杂代码库开发、完整项目构建、Visual Coding与专业办公场景的端到端交付能力明显提升,权重上线HuggingFace,同步开放技术博客与API平台。

能力提升源于整条训练链路的扩展。视觉表征层将视觉信号表示为多层级离散token,与文本同由主干统一处理而非外挂视觉模块,对原生分辨率特征做残差向量量化、逐级补足细节,视觉码本与主干联合训练,视觉token可离线缓存。专业办公侧强化材料处理与专业判断,报告、演示文稿及办公工具可端到端交付。

推理采用W4A4方案,将专家权重与激活量化至4bit,由原生INT4矩阵乘法单元执行,以FlatQuant优化MoE量化精度,下游表现与量化前相当,配合专用融合算子降低成本。训练与监督微调均采用长序列训练,针对国产AI加速器单卡显存不足80GB,以FSDP双重分片、混合词表并行分散显存压力,该配置在长序列SFT中单卡吞吐量较DDP基线提升86%,为万亿参数MoE开源部署提供效率基础。
美团表示,MIT协议意在支持模型自由使用、修改与再分发,后续将持续开放模型与工程经验。在显存与带宽受限条件下承载万亿参数MoE,延续了大模型竞争从参数规模转向工程落地与国产算力适配的趋势。
编辑整理:阅读要点
- 功能和价格可能随版本或地区变化,使用前应查看最新说明。
- 安装软件或启用服务时,优先使用项目官方渠道并检查所需权限。
- 是否适合长期使用,应结合自身设备、工作流和实际体验判断。
延伸阅读
资料来源:news.aibase.com。本文依据公开资料整理,不是独立采访或独家报道。
