24-10-17 11:13 发布于 广西 来自 微博网页版
声音驱动人像不仅是脸部动作,还能驱动手部动作了~!还开源🥰!

TANGO: 同步语音手势视频再现

🧐TANGO项目通过分层音频-运动嵌入和扩散插值技术,生成与语音同步的逼真手势视频。这一系统可根据输入语音生成符合该语音节奏和情绪的手势动作,适用于虚拟主播、视频创作等领域。

➡️链接:O网页链接

✨重点

●🎭 音频-运动嵌入:TANGO利用分层音频-运动嵌入方法,从语音中提取出多层次特征,使生成的手势与音调和情感相匹配,提升互动表现力。

●🌀 扩散插值技术:通过扩散模型实现不同姿势间的平滑插值,确保生成的视频流畅自然,让手势切换更加连续和细腻。

●🎥 可扩展至多种应用场景:适用于虚拟角色动画、智能客服及视频内容创作等场景,为生成与语音同步的动画手势提供强大的技术支持。

●🖥 互动式演示平台:用户可以通过Huggingface Space体验TANGO的功能,输入语音来生成手势动画视频,从而直观感受其效果。
  • 动图
  • 动图
欢迎新用户
o p

正在加载,请稍候...

互联网科技博主

  • Ü 简介: 🚀更新 AI 工具和作品 | 🧐AI/艺术/设计/建筑/生态跨领域研究者 | 🤖 AI 创作智能体 @智能边界 主理人 | 💼...
更多 a