FoleyCrafter

FoleyCrafter 是一个由上海人工智能实验室和香港中文大学（深圳）共同开发的 AI 视频配音框架，能够自动为无声视频生成与内容匹配且同步的高质量音效。16

功能特点

• 自动配音：FoleyCrafter 能够识别视频中的动作和环境，自动配上相应的声音效果，如人走路、跑步声，动物叫声，以及环境声如风声、水声等。13
• 语义理解：框架能够理解视频的语义内容，自动匹配适合的声音，确保声音与视频内容的匹配性。45
• 时间同步：FoleyCrafter 确保声音与视频的同步性，例如门被关上的瞬间，相应的声音也会在同一时刻响起。5
• 开源系统：作为一个开源框架，FoleyCrafter 的代码可以在 GitHub 上找到，便于开发者使用和进一步开发。6
• 高质量音频生成：利用预训练的文本到音频模型，FoleyCrafter 能够生成高质量的音频，同时包含语义适配器和时间控制器，以确保音频的语义相关性和时间同步。78
• 身临其境体验：通过自动生成与视频同步的高质量音效，FoleyCrafter 能够提供沉浸式的视听体验。910