Stable Video Diffusion 可使用图片生成视频

2023年 11月 26日 54.9k 0

Stability AI 宣布 Stable Video Diffusion 基于现有 Stable Diffusion 文字到图像 AI 模型可以使用图片生成视频,模型处于研究预览阶段,使用者需同意特定使用条款。

Stable Video Diffusion 有两种模型,SVD 和SVD-XT。SVD 能将静态图像转为 14 帧576 × 1024 的视频。

SVD-XT 使用相同架构,但帧数提高到 24 帧,两者均能以每秒 3~30 帧速度生成视频。根据白皮书,SVD 和 SVD-XT 最初以数百万视频数据库训练,然后用数十万至百万小型视频数据微调。

但视频数据来源不清楚,可能造成 Stability AI 及用户使用权的法律和道德挑战。

尽管如此,Stable Video Diffusion 技术仍有限制,如无法产生静态或慢动作影片,不能用文字控制,无法清晰渲染文字,也不能正确产生人脸和人物。

Stable Video Diffusion 推出也引发担忧,尤其可能滥用的风险。模型似乎没有内建内容过滤器,可能拿去制作不当内容。

Stability AI 表示,模型有很高扩展性,并可适用产生物体 360 度图等。计划推出一系列基于 SVD 和 SVD-XT 的新模型,最终目标似乎是商业化,潜在应用领域有广告、教育、娱乐等。

相关文章

塑造我成为 CTO 之路的“秘诀”
“人工智能教母”的公司估值达 10 亿美金
教授吐槽:985 高校成高级蓝翔!研究生基本废了,只为房子、票子……
Windows 蓝屏中断提醒开发者:Rust 比 C/C++ 更好
Claude 3.5 Sonnet 在伽利略幻觉指数中名列前茅
上海新增 11 款已完成登记生成式 AI 服务

发布评论