2025年2月3日 星期一

使用 accelerate 將部分參數 offload 到 CPU 上

 有時手上的 GPU memory 不夠跑模型,舉例:eva-clip-8b,可以使用 accelerate 將部分參數 offload 到 CPU 上。

https://github.com/baaivision/EVA/issues/147

https://blog.csdn.net/qq_42363032/article/details/139597486