Als der Krieg begann ging Gilels zunächst an die Front. Nachdem man ihn auf Befehl von oben zurückgeholt hatte, gab er Konzerte an der Front und in den Lazaretten. Anfang 1943 spielte er im belagerten Leningrad für die erschöpften Menschen „Petruschka“ von Strawinsky.
In jener Zeit begann er viele Kompositionen von Rachmaninow und Prokofjew zu spielen. Das dritte Klavierkonzert und die Préludes von Rachmaninow wurden zum festen Bestandteil seines Repertoires. Nachdem er bereits die Toccata, die zweite und die dritte Sonate sowie unzählige weitere Stücke Prokofjews gespielt hatte, bat der Komponist ihn, der Öffentlichkeit seine neue Komposition vorzustellen – die gerade fertiggestellte achte Klaviersonate. Gilels präsentierte sie am 30. Dezember 1944 im Großen Saal des Moskauer Konservatoriums mit großem Erfolg.
Die Kriegsjahre waren schicksalhaft für die Beziehung zwischen Gilels und Neuhaus. Im November 1944 wurde Neuhaus verhaftet und in der Lubjanka untergebracht. Sein Tod schien unabwendbar, doch Gilels nutzte seine persönlichen Beziehungen zu Stalin um seinem ehemaligen Lehrer zu helfen. Stalin lud ihn gelegentlich ein, bei Regierungs- und anderen diplomatischen Anlässen zu spielen und so bat Gilels ihn nach einem Konzert, Neuhaus freizulassen. Nach anfänglichem Zögern erfüllte Stalin ihm diese Bitte. Neuhaus wurde ins Exil geschickt. Gilels, B. S. Marantz und S. S. Benditzkij, allesamt Schüler von Neuhaus, setzten durch, dass er nach Swerdlowsk versetzt werden sollte und ihm gestattet wurde, am dortigen Konservatorium zu unterrichten. Gilels besuchte ihn regelmäßig in Swerdlowsk und musizierte mit ihm. So kompensierte er den Mangel an Verständigung mit dem großen Musiker, den er während seines Studiums bei ihm verspürt hatte.
