由于GFW的存在,使用unsloth、hermes等AI工具时,经常会遇到网络中断或者超时的问题。就unsloth来说,与著名的AI托管平台hugging face深度互补集成,Unsloth 构建在 Hugging Face 生态之上,Unsloth 在 Hugging Face Hub 上发布优化模型,Hugging Face 官方将 Unsloth 列为社区集成,训练后的模型可以无缝推回 Hugging Face Hub。所以如果你在用 Unsloth,你本质上还是在用 Hugging Face 的生态,只是 Unsloth 在背后帮你把计算优化到了极致。HF官网在CN被墙,可以在unsloth设置镜像。
但本地运行和维护unsloth仍然需要设置powershell的魔法工具,具体如下
cd ~
$env:HTTP_PROXY = "http://127.0.0.1:7890"
$env:HTTPS_PROXY = "http://127.0.0.1:7890"
python -m pip install --upgrade unsloth unsloth_zoo
临时全局代理 $env:HTTP_PROXY = "http://127.0.0.1:7890"
永久全局代理 [Environment]::SetEnvironmentVariable(..., "User")
仅 pip 代理 pip install xxx --proxy http://...
仅 Git 代理 git config --global http.proxy http://...
取消代理 Remove-Item Env:\HTTP_PROXY
这里7890是本地魔法工具的端口,可按实际设置。
powershell运行命令,安全的方法是首先切换目录,不要在system32内运行
cd ~
