Im Herbst 1935 absolvierte Gilels sein Studium am Konservatorium in Odessa und kam anschließend nach Moskau in die Aufbauklasse von Heinrich Neuhaus. Gleichzeitig nahm er seine Konzerttätigkeit wieder auf. Diese Zeit sollte sich für den jungen Pianisten als sehr schwierig erweisen. Neuhaus nahm demonstrativ keine Rücksicht darauf, dass Gilels bereits ein bekannter und anerkannter Pianist war. Stattdessen machte er sich über kleinere Fehler lustig; aus seiner Sicht eine pädagogische Maßnahme um zu vermeiden, dass der junge Mann überheblich oder gar nachlässig wurde. Aber bei Gilels, der von Natur aus ein sehr bescheidener, schüchterner und selbstkritischer Mensch war, bestand die Gefahr der Überheblichkeit nicht. Vielmehr benötigte er einen sensiblen und fürsorglichen Mentor, der ihn bei der Suche nach seinem künstlerischen Ich unterstützte.
In erster Linie hielt ihn Neuhaus, trotz seines Wettbewerbserfolges, weiterhin für einen Virtuosen, der hart an sich und der Bildung seines Allgemeinwissens und Musikverständnisses arbeiten musste. Neuhaus war nicht der Meinung, dass die Klarheit und „Wortkargheit“ von Gilels’ Interpretationen Ausdruck höchster Abgeklärtheit waren, sondern hielt sie für eine Folge mangelnder Entwicklung des jungen Pianisten. Obwohl Gilels viel Wertvolles bei Neuhaus lernte, fehlte beiden das gegenseitige Verständnis.
Die größte Herausforderung dieser Jahre war, dass er von einem Jugendlichen, der in vielen Dingen auf die Intuition vertraute, zu einem erwachsenen Mann heranwuchs, bei dem ein klares Verständnis von allem Musikalischen die Intuition ersetzen sollte. Für Gilels war dies besonders schwer. Seine musikalische Intuition war einzigartig, da sie das ganze Spektrum an Empfindungen und alle musikalischen Stile umfasste. Die Wandlung einer derartigen Intuition in ein klares Bewusstsein war mit erheblicher Anstrengung und komplizierter Geistesarbeit verbunden. Da er bei Neuhaus nicht das notwendige Verständnis dafür fand, bewältigte Gilels diese Wandlung alleine, oder wendete sich gelegentlich an K. N. Igumnow und S. E. Feinberg.
Am Konservatorium in Moskau fand er einige wenige Freunde, darunter Jakow Flier und Jakow Sak, lebte aber eher zurückgezogen. Die Pianisten des Konservatoriums fanden es damals modern, „interessant“ zu spielen und sich immer etwas „auszudenken“. Gilels hielt diese Art des Spiels für Ausdruck schlechten Geschmacks. Seine Interpretationen hielten die anderen Pianisten wiederum für zu “einfach”. Gilels’ brillante Virtuosität entwickelte sich in jenen Jahren weiter, seine Kunst errang eine außergewöhnliche Qualität und sein Repertoire wuchs. Seine Interpretationen der b-Moll-Sonate und der g-Moll-Ballade von Chopin, des ersten Konzerts von Tschaikowsky, des ersten Konzerts und der Spanischen Rhapsodie von Liszt und der Toccata von Schumann wurden zu regelrechten Ereignissen. Das Publikum vergötterte Gilels, obwohl die Kritiker weiterhin nicht müde wurden, ihn zu belehren. Die einfachen Zuhörer fühlten dagegen intuitiv das, was die großen Musiker gewusst hatten und was viele Fachleute nicht begreifen konnten: Die edle Einfachheit und die tiefe Natürlichkeit seiner Kunst.
1936 kam der Dirigent Otto Klemperer nach Moskau und führte mit Gilels das erste Konzert von Beethoven auf. Klemperer war von dem jungen Musiker sofort begeistert. Über dieses Konzert, das einige, nicht besonders weitsichtige Mitglieder des Konservatoriums als „Interpretation eines Erstsemesters“ bezeichneten, schrieb H. Neuhaus später, dass es eine „wunderbare Interpretation“ war, die eine unglaubliche Qualität, Natürlichkeit und Einfachheit ausstrahlte.
1936 nahm Gilels erstmals an einem internationalem Wettbewerb, dem Wettbewerb der Wiener Musikakademie, teil und gewann den zweiten Preis. Den ersten Preis erhielt sein Freund Jakow Flier. Obwohl der Preis eine große Errungenschaft war und man dadurch auch in Europa auf den jungen Pianisten aufmerksam wurde, betrachtete Gilels den zweiten Preis als Misserfolg.
