Thant begann seine Tätigkeit als amtierender Generalsekretär am 3. November 1961, als er auf Empfehlung des Sicherheitsrats von der Generalversammlung einstimmig zum stellvertretenden Generalsekretär für die noch nicht abgelaufene Amtszeit von Dag Hammarskjöld ernannt wurde. Am 30. November 1962 wurde er dann von der Generalversammlung einstimmig zum Generalsekretär für eine Amtszeit ernannt, die am 3. November 1966 endete. Während dieser ersten Amtszeit wurde ihm weithin Anerkennung für seine Rolle bei der Entschärfung der Kubakrise und für die Beendigung des Bürgerkriegs im Kongo zuteil.
U Thant wurde am 2. Dezember 1966 auf einstimmige Empfehlung des Sicherheitsrates von der Generalversammlung der Vereinten Nationen für eine zweite Amtszeit als Generalsekretär der Vereinten Nationen ernannt. Seine Amtszeit dauerte bis zum 31. Dezember 1971, als er in den Ruhestand trat. Während seiner Amtszeit beaufsichtigte er den Eintritt Dutzender neuer asiatischer und afrikanischer Staaten in die UNO und war ein entschiedener Gegner der Apartheid in Südafrika. Er baute auch viele der Entwicklungs- und Umweltorganisationen, Fonds und Programme der UNO auf, darunter das Entwicklungsprogramm der Vereinten Nationen (UNDP), die UNO-Universität, die UNCTAD, UNITAR und das Umweltprogramm der Vereinten Nationen.
Er hatte auch viele erfolgreiche, wenn auch inzwischen weitgehend vergessene Friedensbemühungen geleitet, z.B. 1962 im Jemen und 1968 in Bahrain. In jedem Fall hätte ein Krieg einen größeren regionalen Konflikt provoziert, und es war Thants stille Vermittlung, die einen Krieg verhinderte.
Im Gegensatz zu seinen beiden Vorgängern trat Thant nach zehn Jahren in den Ruhestand, nachdem er mit allen Großmächten gesprochen hatte. Als er 1961 zum ersten Mal ernannt wurde, hatte die Sowjetunion versucht, auf einer Troika-Formel von drei Generalsekretären zu bestehen, von denen einer jeden Block des Kalten Krieges vertreten sollte, was die Gleichberechtigung der Supermächte in den Vereinten Nationen gewährleistet hätte. 1966, als Thant erneut ernannt wurde, bekräftigten alle Großmächte in einem einstimmigen Votum des Sicherheitsrates die Bedeutung des Generalsekretärs und seiner guten Dienste, eine klare Würdigung von Thants Arbeit.
Der Sechstagekrieg zwischen arabischen Ländern und Israel, der Prager Frühling und die anschließende sowjetische Invasion in die Tschechoslowakei sowie der indisch-pakistanische Krieg von 1971, der zur Entstehung von Bangladesch führte, fanden alle während seiner Zeit als Generalsekretär statt.
Er wurde in den USA und Israel weithin kritisiert, weil er 1967 auf Ersuchen des ägyptischen Präsidenten Nasser zugestimmt hatte, die UN-Truppen aus dem Sinai abzuziehen. U Thant versuchte Nasser davon zu überzeugen, keinen Krieg mit Israel zu führen, indem er in letzter Minute nach Kairo flog, um dort Friedensbemühungen zu unternehmen.
Sein einst gutes Verhältnis zur US-Regierung verschlechterte sich rapide, als er das amerikanische Verhalten im Vietnamkrieg öffentlich kritisierte. Seine heimlichen Versuche, direkte Friedensgespräche zwischen Washington und Hanoi zu führen, wurden schließlich von der Johnson-Regierung abgelehnt.
Thant verfolgte die Berichte über nicht identifizierte Flugobjekte mit einigem Interesse; 1967 veranlasste er den amerikanischen Atmosphärenphysiker Dr. James E. McDonald, vor der Gruppe für Weltraumfragen der UNO über UFOs zu sprechen.
Am 23. Januar 1971 kündigte U Thant kategorisch an, dass er "unter keinen Umständen" für eine dritte Amtszeit als Generalsekretär zur Verfügung stehen werde. Viele Wochen lang war der UN-Sicherheitsrat bei der Suche nach einem Nachfolger in eine Sackgasse geraten, bevor er sich am 21. Dezember 1971 - Waldheims 53. Geburtstag - und nur zehn Tage vor dem Ende von U Thants zweiter Amtszeit endgültig auf Kurt Waldheim als Nachfolger von U Thant als Generalsekretär festlegte.
In seiner Abschiedsrede an die Generalversammlung der Vereinten Nationen erklärte Generalsekretär U Thant, er fühle eine "große, an die Befreiung grenzende Erleichterung" über die Aufgabe der "Lasten des Amtes". In einem um den 27. Dezember 1971 veröffentlichten Leitartikel, in dem U Thant gelobt wurde, erklärte die New York Times, dass "der weise Rat dieses engagierten Mannes des Friedens auch nach seiner Pensionierung noch gebraucht wird". Der Leitartikel trug den Titel "Die Befreiung von U Thant".