2025年2月3日 星期一

使用 accelerate 將部分參數 offload 到 CPU 上

 有時手上的 GPU memory 不夠跑模型,舉例:eva-clip-8b,可以使用 accelerate 將部分參數 offload 到 CPU 上。

https://github.com/baaivision/EVA/issues/147

https://blog.csdn.net/qq_42363032/article/details/139597486

2025年1月29日 星期三

刪除本地端下載的 huggingface 模型

 https://stackoverflow.com/questions/65037368/remove-downloaded-tensorflow-and-pytorchhugging-face-models


pip install huggingface_hub["cli"]

huggingface-cli delete-cache

2025年1月13日 星期一

Windows 壓縮 vhdx

 https://answers.microsoft.com/en-us/windows/forum/all/optimize-vhd-not-found-in-windows-10-home/a727b760-0f82-4d0f-8480-d49eeaeb11a2


照做即可。