Nachdem er 1944 die High School abgeschlossen hatte, zog Davis nach New YorkCity, um an der Juilliard School of Music zu studieren.
Als er in New York ankam, verbrachte er die meiste Zeit damit, Kontakt mit Charlie Parker aufzunehmen, obwohl ihm einige Leute gesagt hatten, dass er das nicht tun sollte. Als er Parker fand, wurde Davis in Jamsessions verwickelt, die jeden Abend in zwei Nachtclubs in Harlem stattfanden, im Minton's Playhouse und im Monroe's. Andere berühmte Musiker wie Thelonious Monk und Kenny Clarke nahmen ebenfalls an diesen Sessions teil.
Davis verließ Juilliard vorzeitig, nachdem er zuerst die Erlaubnis seines Vaters eingeholt hatte. Er mochte den Unterricht in Juilliard nicht, weil er der Meinung war, dass sie sich zu sehr auf klassische europäische und "weiße" Musik konzentrierten. Er sagte auch, seine Juilliard-Kurse hätten ihm geholfen, die Musiktheorie zu verstehen.
Er begann professionell in vielen Jazzgruppen zu spielen und trat in mehreren Clubs der 52nd Street mit Coleman Hawkins und Eddie "Lockjaw" Davis auf. 1945 ging er zum ersten Mal in ein Aufnahmestudio, als Mitglied der Gruppe von Herbie Fields. 1946 machte er seine erste Aufnahme als Bandleader mit einer Gruppe namens "Miles Davis Sextett plus Earl Coleman und Ann Hathaway". Zu dieser Zeit machte er nicht viele Aufnahmen als Bandleader.
Um 1945 hörte Dizzy Gillespie auf, mit Parker zusammenzuarbeiten, und Parker stellte Davis als Gillespies Ersatz in seinem Quintett ein. Ebenfalls in der Gruppe waren Max Roach am Schlagzeug, Al Haig (später ersetzt durch Sir Charles Thompson und Duke Jordan) am Klavier und Curley Russell (später ersetzt durch Tommy Potter und Leonard Gaskin) als Bassist.
Mit Parkers Quintett hat Davis mehrere Aufnahmen gemacht. Er hatte ein Solo auf Parkers Erkennungslied "Now's the Time". Dieses Solo führte zum Beginn eines Jazzstils namens "Cool Jazz". Die Gruppe tourte auch durch die Vereinigten Staaten. Während einer Tournee in Los Angeles hatte Parker einen Nervenzusammenbruch und ging für mehrere Monate ins Camarillo State Mental Hospital. Davis saß in L.A. fest. Er blieb dort und musizierte mit dem Jazzmusiker Charles Mingus. Später bekam er einen Job bei Billy Eckstine auf einer Kalifornien-Tournee, die ihn zurück nach New York brachte. 1948 kehrte Parker aus Los Angeles zurück, und Davis schloss sich seiner Gruppe wieder an.
Die Musiker in Parkers Gruppe verstanden sich nicht besonders gut. Parkers Verhalten war wegen seiner Drogenabhängigkeit unberechenbar. Davis und Roach waren nicht damit einverstanden, dass Parker Duke Jordan als Pianisten anheuerte und hätten Bud Powell vorgezogen). Im Dezember 1948 verließ Davis die Gruppe nach einem Streit mit Parker am Royal Roost. Er begann, unabhängiger mit verschiedenen Gruppen in New York zu arbeiten.