Emil Gilels wurde am 19. (nach dem alten Kalender am 6.) Oktober 1916 in Odessa geboren. Seine Eltern hatten nichts mit Musik zu tun. Der Vater arbeitete im Büro einer Zuckerfabrik, die Mutter führte den Haushalt der kinderreichen Familie. Dennoch brachte die Begegnung zwischen Esfirija Samojlowna und Grigorij Grigorjewitsch Gilels zwei herausragende Musiker hervor. Drei Jahre nach Emil wurde seine Schwester Elisabeth geboren, die eine wunderbare Geigerin werden sollte.
In Odessa war Musik, trotz aller Schwierigkeiten der damaligen Zeit, sehr beliebt. Das außerordentliche Talent der musikalisch hochbegabten Kinder wurde früh gefördert. In der bescheidenen Wohnung der Gilels’, in einem armen Viertel an der berühmten Moldawanka, stand ein Flügel. Der kleine Emil zeigte bereits mit zwei Jahren ein großes Interesse an Musik, probierte verschiedene Klänge aus und lauschte ihnen nach. Er reagierte auch auf alle anderen Höreindrücke wie das Spiel des Blasorchesters, Gesang oder Glockengeläut. Mit der Zeit stellte sich heraus, dass der Junge ein absolutes Gehör von seltener Präzision besaß; fehlerfrei stellte er die Tonhöhe auch nicht musikalischer Töne fest.
Mit fünfeinhalb Jahren brachte man Emil zu dem berühmten Klavierpädagogen Jakob Tkatsch nach Odessa, der ihn fortan unterrichtete. Mit unglaublicher Geschwindigkeit und Leichtigkeit absolvierte Emil die erste Periode seiner Ausbildung. Die Haltung seiner Hände bedurfte gar keiner „Einstellung“, sie glitten vielmehr wie von selbst über die Tasten. Sein hervorragendes Gehör und Gedächtnis halfen ihm, alle Grundlagen der Musik mit Leichtigkeit und innerhalb kürzester Zeit zu ergründen und nur wenige Monate später spielte er bereits alle drei Hefte der Löschhorn-Etüden und bald darauf Sonatinen von Clementi und Mozart.
J. I. Tkatsch war seinerzeit Schüler des berühmten französischen Pianisten Raoul Pugno, dessen musikalischer Stammbaum bis zu Chopin zurückreicht. Tkatsch legte großen Wert auf die Entwicklung der technischen Fähigkeiten seines Schülers. Der kleine Emil, der zu Hause von einer liebevollen Atmosphäre umgeben war, litt unter der Strenge des Lehrers.
Die pianistische Entwicklung von Gilels schritt jedoch in unglaublichem Tempo voran. Je technisch schwieriger und musikalisch komplizierter das Stück war, umso mehr Spaß hatte er daran. Heimlich improvisierte er und kompensierte so den Mangel an Aufmerksamkeit, die der Lehrer der kreativen und schöpferischen Begabung des Kindes schenkte. Er interessierte sich auch für das Theater, komponierte und liebte es, sich selbst als Dirigenten vorzustellen. Der strenge Drill von Tkatsch legte den Grundstein für die Ausbildung seiner herausragenden Virtuosität. Mit 11-12 Jahren spielte er bereits die Etüden von Chopin und Liszt.
Tkatsch erkannte als erster das wirkliche Ausmaß der Begabung des kleinen Emil. Als der Junge neun Jahre alt war, schrieb Tkatsch in einem Empfehlungsschreiben, dass Milja Gilels ein Kind von überdurchschnittlicher Begabung sei und dass, würde man ihm die entsprechende Aufmerksamkeit widmen, die UdSSR mit ihm um einen Pianisten von Weltrang reicher werden würde. Tkatsch bewahrte seinen Schüler davor, sein außergewöhnliches Talent durch Auftritte als Wunderkind zu verschwenden, was in Odessa zu jener Zeit gern gesehen war. Der Junge liebte es, vor Publikum zu spielen und sehnte sich nach der Bühne, aber sein Lehrer schränkte seine Auftritte klugerweise ein.
Im Mai 1929, im Alter von 12 Jahren, gab Gilels sein erstes Konzert, in welchem er die „Pathetique“ von Beethoven, die Des-Dur Etüde von Liszt, Scarlatti-Sonaten, ein Mendelssohn-Scherzo, Chopin-Etüden und -Walzer und weitere Werke spielte. Die erfahrenen Kritiker die ihn hörten waren fasziniert; nicht nur von der grandiosen Virtuosität des Jungen, sondern vielmehr von der Tiefe und Ernsthaftigkeit seiner Interpretation, der erstaunlichen Klarheit und Geschlossenheit seines Spiels und dem Fehlen alles Oberflächlichen, Schlampigen oder Zufälligen. Diese Merkmale sollten Gilels’ Spiel Zeit seines Lebens charakterisieren und waren der Garant für seine erfolgreiche künstlerische Laufbahn.
Allen, die Gilels’ Entwicklung verfolgten, war klar, dass er seinen Lehrer bereits überholt hatte. Emil selbst träumte davon, in Zukunft bei F. M. Blumenfeld zu studieren, der jedoch bald darauf starb. Im Herbst 1930 bestand Gilels die Aufnahmeprüfungen für das Konservatorium in Odessa und besuchte fortan die Klasse von Prof. Berta Reingbald.