Fíjate también en la configuración de PHP. A veces los VPS baratos tienen límites bajos en memoria y tiempo de ejecución. Subí un poco esos valores si podés. Además, optimizá las imágenes, muchas veces eso es clave. Si tenés muchos plugins, desactivá los que no usás. Eso también suma.