Chạy LLM local trên MacBook M3 36GB để code: được và mất

Описание и применение

Тестирование локального запуска LLM 26–31B на MacBook Pro M3 36 GB показало, что модели Gemma 4 26B и gemma4:31b‑mlx работают стабильно для небольших задач, но при многократных циклах планирования и тестирования они медленнее API‑сервисов, поэтому лучше использовать как вспомогательное окружение.

Задача

Đánh giá khả năng chạy LLM 26–31B trên MacBook Pro M3 36GB RAM để hỗ trợ công việc lập trình, so sánh hiệu suất với dịch vụ API như GitHub Copilot/Codex.

Результат

Model Gemma 4 26B chạy ổn, gemma4:31b-mlx cung cấp trải nghiệm local tốt nhất; qwen3-coder:30b cũng phù hợp cho coding. Đối với tác vụ nhỏ, local nhanh và tiện lợi; đối với vòng lặp lập kế hoạch và kiểm thử repo, local chậm hơn API, nên dùng local như môi trường phụ.

Рабочий процесс

• Cài đặt Ollama trên MacBook Pro M3
• Chạy model (Gemma 4 26B hoặc gemma4:31b-mlx, qwen3-coder:30b) trong Ollama
• Kết nối VS Code từ laptop Lenovo qua Wi‑Fi
• Gửi yêu cầu code, sửa, giải thích tới Ollama
• Nhận phản hồi và thực hiện sửa code
• Lặp lại quá trình cho vòng lặp lập kế hoạch và kiểm thử

Доказательства

Gemma 4 26B chạy tốt, còn gemma4:31b-mlx cho trải nghiệm local tổng thể tốt nhất

Источник

đối với một project độ phức tạp trung bình cần lặp lại việc lập kế hoạch, đọc quét repo, sửa code rồi kiểm chứng, nó "was too slow for the way I wanted to work"

Источник