RobustVideoMatting整合包

RobustVideoMatting是一个开源项目，专门用于实时人像抠图，支持多个框架。

RVM 整合包

• 多框架支持：RVM 支持 PyTorch、TensorFlow、TensorFlow.js、ONNX 和 CoreML 等多个框架，方便在不同平台上部署使用。4
• 实时性能：RVM 能够在普通 GPU 上实现实时处理，例如 Nvidia GTX 1080 Ti 可达到 4K 76FPS 和 HD 104FPS 的处理速度。10
• 高分辨率处理：RVM 直接支持 4K 等高分辨率视频处理，无需降采样。10
• 鲁棒性：利用时序信息，RVM 在处理复杂背景和快速运动场景时表现出色。10
• 无需额外输入：RVM 可以直接处理普通视频，无需绿幕或其他辅助输入。10

使用 RVM

• PyTorch 示例：

  import torch
  from model import MattingNetwork
  
  model = MattingNetwork('mobilenetv3').eval().cuda()
  model.load_state_dict(torch.load('rvm_mobilenetv3.pth'))
  
  from inference import convert_video
  
  convert_video(
      model,
      input_source='input.mp4',
      output_type='video',
      output_composition='output.mp4',
      output_alpha="alpha.mp4",
      output_foreground="foreground.mp4",
      output_video_mbps=4,
      downsample_ratio=None,
      seq_chunk=12,
  )
  

• TorchHub 使用：

  model = torch.hub.load("PeterL1n/RobustVideoMatting", "mobilenetv3")
  convert_video = torch.hub.load("PeterL1n/RobustVideoMatting", "converter")
  

• 其他平台：RVM 还提供了 TensorFlow、ONNX 等版本的模型，方便在不同平台上使用。11