Die politische Karriere von Profumo wurde durch eine Kombination von Ereignissen ruiniert. Er und seine Frau nahmen eine Einladung von Lord Astor an, ein Wochenende auf seinem Landsitz Clivedon zu verbringen. Während dieses Wochenendes sah er Christine Keeler nackt aus dem Schwimmbad steigen. Profumo fragte nach ihrer Telefonnummer, und sie wurden ein Liebespaar. Unglücklicherweise für Profumo hatte sie auch eine Affäre mit dem russischen Marineattaché und Spion Jewgenij Iwanow. Als der MI5 dies durch einen Hinweis herausfand, beendete Profumo die Affäre. Es kursierten Gerüchte, und er wurde direkt über seine Beziehung im Unterhaus angefochten. In einer persönlichen Erklärung vor dem Unterhaus bestritt Profumo die Anschuldigung. Dies war vielleicht sein größter Fehler. Er gestand schließlich seine Affäre und trat aus der Regierung und dem Parlament aus.
Profumo wurde später (1975) mit dem CBE für Verdienste um die Wohltätigkeit ausgezeichnet.