Leahy wurde 1974 zum ersten Mal in den Senat der Vereinigten Staaten gewählt, als Nachfolger des 34-jährigen Amtsinhabers George Aiken, der in den Ruhestand ging. Mit 34 Jahren war er der jüngste Senator in der Geschichte Vermonts. Leahy wurde 1980 beinahe vom Republikaner Stewart Ledbetter geschlagen und gewann inmitten des erdrutschartigen Sieges von Ronald Reagan mit nur 2.700 Stimmen. 1986 stand er mit dem ehemaligen Gouverneur Richard Snelling einem auf dem Papier noch stärkeren Herausforderer gegenüber, doch Leahy lehnte diese Herausforderung ab und gewann 63 Prozent der Stimmen. 1992 traf er mit dem Außenminister von Vermont, Jim Douglas, auf einen weiteren Gegner und gewann mit 11 Punkten.
Leahy war der erste nicht-republikanische Senator aus Vermont seit 1856. Bis heute ist er der einzige Demokrat, der je aus Vermont in den Senat gewählt wurde. Technisch gesehen ist er einer von nur drei Demokraten, die Vermont seit dem Ende des Bürgerkriegs in beiden Häusern des Kongresses vertreten.
Spätere Karriere
Im März 2004 führten Leahy und Orrin Hatch das von der RIAA unterstützte Piratengesetz ein. Im Juli 2004 führten Leahy und Hatch das INDUCE-Gesetz ein. Beide zielten auf die Bekämpfung von Urheberrechtsverletzungen ab.
Am 2. November 2004 besiegte Leahy seinen Gegner, den Geschäftsmann Jack McMullen, mit 70,6 Prozent der Stimmen mit Leichtigkeit. Am 5. Januar 2005 wurde Leahy von Cheney für seine sechste Amtszeit im Senat vereidigt.
Am 21. September 2005 kündigte Leahy seine Unterstützung für John Roberts als Obersten Richter des Obersten Gerichtshofs der Vereinigten Staaten an. Am 19. Januar 2006 kündigte Leahy an, dass er gegen Richter Samuel Alito als Richter am Obersten Gerichtshof stimmen werde.
Am 18. Januar 2007 wurde Leahy wegen seines Kreuzverhörs mit Generalstaatsanwalt Alberto Gonzales über die Maher-Arar-Affäre und die außerordentliche Überstellung von Arar an Syrien ausführlich interviewt.
Präsident pro tempore
Nach dem Tod des Senatspräsidenten pro tempore Daniel Inouye am 17. Dezember 2012 wurde Leahy zum ranghöchsten Senator der Mehrheitspartei und wurde mit einstimmigem Beschluss zum neuen Präsidenten pro tempore gewählt.
Am 3. Januar 2015 trat Orrin Hatch die Nachfolge Leahys als Präsident pro tempore des Senats der Vereinigten Staaten an. Kurz danach wurde er mit dem Titel Präsident pro tempore emeritus geehrt.