如何用代码查看大模型推理用了多少显存

显存使用监控方法

• 使用 nvidia-smi 命令：通过命令行工具 nvidia-smi 可以查看当前GPU的显存使用情况。使用 watch -n 1 nvidia-smi 可以每隔1秒刷新显存占用情况。1

代码示例

• PyTorch 显存监控：在PyTorch中，可以使用 torch.cuda.memory_stats() 函数来获取当前GPU的内存使用情况，包括已分配和未分配的内存。6

显存估算工具

• HuggingFace Model Memory Calculator：通过输入模型地址，可以估计模型运行所需的显存。3
• accelerate estimate memory 工具：这个工具可以帮助了解大模型所需的显存大小。10

显存优化策略

• 推理时禁用梯度计算：使用 torch.no_grad() 上下文管理器避免梯度存储，减少显存占用。1
• 模型参数和batch size 估算：根据模型参数量、参数设置及batch size来推理所需的GPU显存。2

显存使用优化

• 使用Fabric降低内存：使用Fabric库来降低大模型训练时的内存使用。7
• 模型参数大小查看：使用PyTorch的 torch.Tensor.numel() 来查看模型参数大小。8

显存估算示例

• Llama-2-7b-hf模型显存估算：文章提供了不同精度下模型推理和训练所需的显存大小估算，并推荐了优化显存使用的策略。5

通过上述方法和工具，可以有效地监控和估算大模型在推理过程中的显存使用情况，从而进行相应的优化。