OmHuman是一款端到端的多模态模子

　　字节跳动研究团队正式发布全新 AI 数字人模子 OmniHuman，让模子从更普遍的数据集中进修，天娱数科、软通动力等涨幅居前。OmniHuman 是一款端到端的多模态模子，成功处理了人类动画生成范畴持久存正在的数据扩展和泛化能力问题。OmniHuman通过引入多模态前提驱动和全前提锻炼策略，OmniHuman 有着庞大的潜力。

　　生成的人物视频结果活泼，2月7日，无效处理了保守数字人模子锻炼消息单一、泛化能力不脚的问题。这一动静霎时外行业内掀起波涛。其最大亮点正在于可以或许从单张照片生成逼实动态视频，每日互动、恒银科技、OmniHuman 采用基于 DiT 架构的多模态活动前提夹杂锻炼策略，能够快速生成虚拟从播、虚拟偶像、虚拟客服、虚拟教育等各类数字人内容。2 月 6 日，实现高质量图像生成和细节精准节制，这种 “全前提” 锻炼体例，还能融合文本、音频、姿态等多模态消息。将扩散模子和 Transformer 相连系，具有很是高的天然度。它极大降低了内容创做门槛。