阶跃星辰首次开源 为开源世界贡献多模态力量
2月19日,大模型创业公司阶跃星辰开源了两款阶跃Step系列多模态大模型——Step-Video-T2V 视频生成模型和 Step-Audio 语音模型。
上证报中国证券网讯(记者 宋薇萍 谭镕)2月19日,大模型创业公司阶跃星辰开源了两款阶跃Step系列多模态大模型——Step-Video-T2V视频生成模型和Step-Audio语音模型。
阶跃星辰表示,AGI的实现离不开全球开发者的共同努力,阶跃星辰开源的初心,是希望与市场分享最新的多模态大模型技术成果,为全球开源社区贡献一份来自中国的力量。
根据企业官方技术报告中的评测结果,阶跃Step-Video-T2V的参数量和模型性能目前在全球开源视频生成领域都处于领先水平;阶跃Step-Audio是业内首款产品级的开源语音交互模型。目前,市场各方已经可以在跃问App内体验。
其中,阶跃Step-Video-T2V模型的参数量达到300亿,可以直接生成204帧、540P分辨率的高质量视频,这意味着能确保生成的视频内容具有极高的信息密度和强大的一致性。
在生成效果上,Step-Video-T2V在复杂运动、美感人物、视觉想象力、基础文字生成、原生中英双语输入和镜头语言等方面具备强大的生成能力,且语义理解和指令遵循能力突出,能够高效助力视频创作者实现精准创意呈现。同时,Step-Video-T2V 对复杂运动场景具有优异的把控能力,无论是高雅优美的芭蕾舞、对抗激烈的空手道、紧张刺激的羽毛球,还是高速翻转的跳水,都能展现。
阶跃Step-Audio是行业内首个产品级的开源语音交互模型,能够根据不同的场景需求生成情绪、方言、语种、歌声和个性化风格的表达,能和用户自然地进行高质量对话。模型生成的语音具有自然流畅、情商高等特征,同时也能支持不同角色的音色克隆,满足影视娱乐、社交、游戏等行业场景下应用需求。
据介绍,由于目前行业内语音对话测试集相对缺失,阶跃星辰自建并开源了多维度评估体系StepEval-Audio-360基准测试,从角色扮演、逻辑推理、生成控制、文字游戏、创作能力、指令控制等9项基础能力的维度对开源语音模型进行全面测评。通过人工横评后的结果显示,Step-Audio的模型能力十分均衡,且在各个维度上均超过了此前市面上效果最佳的开源语音模型。