Chạy LLM local trên MacBook M3 36GB để code: được và mất

Description and use

Testing local LLM 26–31B on a MacBook Pro M3 36 GB showed that Gemma 4 26B and gemma4:31b‑mlx run well for small tasks, but for multi‑step planning and testing they are slower than API services, so use them as a supplemental environment.

Problem

Đánh giá khả năng chạy LLM 26–31B trên MacBook Pro M3 36GB RAM để hỗ trợ công việc lập trình, so sánh hiệu suất với dịch vụ API như GitHub Copilot/Codex.

Outcome

Model Gemma 4 26B chạy ổn, gemma4:31b-mlx cung cấp trải nghiệm local tốt nhất; qwen3-coder:30b cũng phù hợp cho coding. Đối với tác vụ nhỏ, local nhanh và tiện lợi; đối với vòng lặp lập kế hoạch và kiểm thử repo, local chậm hơn API, nên dùng local như môi trường phụ.

Workflow

• Cài đặt Ollama trên MacBook Pro M3
• Chạy model (Gemma 4 26B hoặc gemma4:31b-mlx, qwen3-coder:30b) trong Ollama
• Kết nối VS Code từ laptop Lenovo qua Wi‑Fi
• Gửi yêu cầu code, sửa, giải thích tới Ollama
• Nhận phản hồi và thực hiện sửa code
• Lặp lại quá trình cho vòng lặp lập kế hoạch và kiểm thử

Evidence

Gemma 4 26B chạy tốt, còn gemma4:31b-mlx cho trải nghiệm local tổng thể tốt nhất

Source

đối với một project độ phức tạp trung bình cần lặp lại việc lập kế hoạch, đọc quét repo, sửa code rồi kiểm chứng, nó "was too slow for the way I wanted to work"

Source