我的學習紀錄。
有時手上的 GPU memory 不夠跑模型,舉例:eva-clip-8b,可以使用 accelerate 將部分參數 offload 到 CPU 上。
https://github.com/baaivision/EVA/issues/147
https://blog.csdn.net/qq_42363032/article/details/139597486