Yamagata wurde am 14. Juni 1838 in Hagi geboren. Hagi war die Hauptstadt der feudalen Domäne Chōshū (heutige Präfektur Yamaguchi). Er wurde von seinem Vater unterrichtet. Yamagata studierte klassische japanische und chinesische Literatur. Er erlernte die Kampfkünste des Jujutsu. Yamagata erlernte auch den militärischen Gebrauch des Speers und das Fechten.
Er besuchte Shokasonjuku, eine von Yoshida geführte Privatschule Shōin. Dort half er 1868 beim Sturz des Tokugawa-Shogunats. Er war Befehlshaber in der Kiheitai. Dabei handelte es sich um eine halbmilitärische Organisation, die nach halbwestlichem Vorbild von der Domain Chōshū gegründet wurde. Er war Stabsoffizier im Boshin-Krieg (1867 bis 1868).
Nachdem die Tokugawa gestürzt worden waren, reisten Yamagata und Saigō Tsugumichi 1869 ins Ausland. Sie wurden geschickt, um die militärischen Systeme der westlichen Länder zu erforschen. Yamagata war vom preußischen Militär beeindruckt. Nach einem Jahr kehrte Yamagata zurück und berichtete direkt an Kaiser Meiji in Tokio. Er wurde zum "Stellvertretenden Vizeminister für militärische Angelegenheiten" ernannt. Er benutzte die militärischen Theorien von Carl von Clausewitz und preußische Kriegsspiele, um Japans Armee zu verändern. 1873 wurde er Kriegsminister. Er modernisierte die kaiserlich japanische Armee und machte sie der preußischen Armee gleich. Er begann 1873 mit der Wehrpflicht.