How I Run a Full Content Pipeline on a $7 VPS With 2GB of RAM (And the 3am Crash That Taught Me Why)
Описание и применение
Поток обработки изображений на недорогом VPS с 2 ГБ ОЗУ изначально завершался крашем из‑за одновременной обработки нескольких задач. Переписав пайплайн так, чтобы обрабатывать изображения по одному, логировать пик памяти, ограничивать размер входов и явно вызывать сборщик мусора, удалось снизить пиковое потребление памяти до 29 МБ и стабилизировать работу.
Задача
A cron job on a 1 vCPU, 2 GB RAM VPS crashed at 3 am, leaving no output and a corrupted swap file.
Результат
The refactored pipeline runs unattended on the cheap VPS, completing batches without crashes and staying within memory limits.
Рабочий процесс
- Process one image at a time
- Log peak RSS per step
- Cap input size and resize before expensive steps
- Call gc.collect() after heavy steps
Доказательства
The mistake was concurrency. I processed everything at once, because that is the default when you write a loop.
After the rewrite, generating a full batch of images peaked at 29MB of RSS.
- Дата записи: 2026-10-01T07:22:57.892Z