Άνοιξε το startGameServer.bat με κάποιον επεξεργαστή κειμένου (π.χ notepad), πήγαινε στο μενού Επεξεργασία -> Εύρεση ή CTRL + F.
Από εκεί ψάξε για το εξής: "-Xms1024m -Xmx1024m" (χωρίς quotes)
Όταν είναι xmx1024m, η Java μπορεί να χρησιμοποιήσει μέχρι 1024 megabytes RAM, δηλαδή είναι το max.
Απλά λοιπόν άλλαξε π.χ το 1024m σε 4096m και αν θες πιο παραπάνω. (εφόσον έχει 8GB RAM ο υπολογιστής)