Japan war das erste Land, das Eisenbahnlinien für den Hochgeschwindigkeitsverkehr gebaut hat. Da Japan viele Berge hat, bestand das bereits bestehende Netz aus Schmalspurbahnen mit einer Spurweite von 3'6" (1067 mm), die dazu neigten, nicht-direkte Strecken zu nehmen, und nicht an höhere Geschwindigkeiten angepasst werden konnten. Aus diesem Grund bestand in Japan ein größerer Bedarf an neuen Hochgeschwindigkeitsstrecken als in Ländern, in denen das bestehende Normalspur- oder Breitspur-Eisenbahnsystem leicht umgerüstet werden konnte. Im Gegensatz zu den älteren Strecken haben die Shinkansen-Strecken Normalspur und benutzen Tunnel und Viadukte, um durch und über Hindernisse zu fahren, und nicht um sie herum.
Der Bau des ersten Abschnitts des Tokaido Shinkansen zwischen Tokio und Osaka begann 1959. Die Strecke wurde am 1. Oktober 1964 eröffnet, gerade rechtzeitig zu den Olympischen Spielen in Tokio. Die Linie war ein sofortiger Erfolg, erreichte am 13. Juli 1967 in weniger als drei Jahren die Marke von 100 Millionen Passagieren und 1976 eine Milliarde Passagiere.
Die ersten Shinkansen-Züge fuhren mit Geschwindigkeiten von bis zu 200 km/h (125 mph), die später auf 220 km/h (135 mph) erhöht wurden. Einige dieser Züge mit ihrem klassischen kugelrunden Aussehen sind noch immer im Einsatz, um den Verkehr zwischen Hakata und Osaka anzuhalten. Ein Steuerwagen aus einem der Originalzüge befindet sich heute im British National Railway Museum in York.
Auf den ersten Typ folgten viele fortschrittlichere Zugmodelle, im Allgemeinen jedes mit seinem eigenen unverwechselbaren Aussehen. Shinkansen-Züge fahren heute regelmässig mit Geschwindigkeiten von bis zu 300 km/h (185 mph) und gehören damit neben dem französischen TGV und den deutschen ICE-Zügen zu den schnellsten Zügen der Welt.
Ursprünglich für die Beförderung von Personen- und Güterzügen bei Tag und Nacht vorgesehen, werden auf den Shinkansen-Linien nur Personenzüge befördert. Das System wird jeden Tag zwischen Mitternacht und 6:00 Uhr abgeschaltet, um Wartungsarbeiten, einschließlich des Betriebs von Testzügen des Typs Doktor Gelb, zu ermöglichen. Die wenigen Nachtzüge, die in Japan noch verkehren, fahren auf dem alten Schmalspurnetz, zu dem der Shinkansen parallel verläuft.
Im Jahr 2003 berichtete JR Tokai, dass die durchschnittliche Ankunftszeit des Shinkansen innerhalb von 6 Sekunden nach der geplanten Zeit lag. Dies schließt alle natürlichen und menschlichen Unfälle und Fehler ein und errechnet sich aus etwa 160.000 Fahrten, die der Shinkansen unternommen hat. Der vorherige Rekord stammt aus dem Jahr 1997 und betrug 18 Sekunden.
Die erste Entgleisung eines Shinkansen-Zuges im Personenverkehr ereignete sich während des Erdbebens von Chuetsu am 23. Oktober 2004. 6 der insgesamt 8 Wagen des Zuges auf dem Joetsu Shinkansen entgleisten in der Nähe des Bahnhofs Nagaoka in Nagaoka, Niigata.