我找到了一種方法,可以在 RTX 4090 GPU 上製作無審查的 AI 代理(!!!),使用本地 30B 模型權重 這是 GLM-4.7-Flash,經過消融處理,需要 24GB VRAM,安全對齊已從權重中手術移除,該模型具有原生工具調用,實際執行 bash,編輯文件,運行 git (1)使用 ollama 下載 GLM 的權重 > ollama pull huihui_ai/glm-4.7-flash-abliterated:q4_K (2)通過 ollama 將其代理到任何編碼代理 > ollama launch claude --model huihui_ai/glm-4.7-flash-abliterated:q4_K > ollama launch codex --model huihui_ai/glm-4.7-flash-abliterated:q4_K > ollama launch opencode --model huihui_ai/glm-4.7-flash-abliterated:q4_K (3)好好享受