Im Dezember 2001 trat Perdue als Staatssenator zurück, damit er für das Gouverneursamt kandidieren konnte. Er gewann 2002 die Gouverneurswahlen in Georgien und schlug den demokratischen Amtsinhaber Roy Barnes mit 51% zu 46%, wobei der libertäre Kandidat Garrett Michael Hayes 2% der Stimmen erhielt. Er wurde der erste republikanische Gouverneur Georgiens seit über 130 Jahren seit Benjamin F. Conley.
Als Gouverneur leitete Perdue Reformen zur Verringerung der Verschwendung in der Regierung, insbesondere den Verkauf überschüssiger Fahrzeuge und Immobilien. Er verhalf Georgien zu einem Aufstieg vom letzten Platz im Land bei den SAT-Ergebnissen. Obwohl es 2005 wieder auf den letzten Platz zurückkehrte, stieg Georgien 2006 im kombinierten Mittelwert aus Mathematik und Lesen, einschließlich des in jenem Jahr zum Test hinzugefügten Schreibanteils, auf Platz 49 auf. Perdue schuf auch zusätzliche Möglichkeiten für Charterschulen und Privatschulen. Im Jahr 2006 unterzeichnete Perdue ein Gesetz, das Georgien "einige der härtesten Maßnahmen der Nation gegen illegale Einwanderung" bescherte.
Im Jahr 2006 wurde Perdue bei den Gouverneurswahlen in Georgien 2006 für eine zweite Amtszeit wiedergewählt und gewann fast 58% der Stimmen. Sein demokratischer Gegner war Lieutenant-Gouverneur Mark Taylor. Auch der Libertäre Garrett Michael Hayes stand auf dem Wahlzettel.
2007 Gebet für Regen
Während Georgien am 13. November 2007 unter einer der schlimmsten Dürreperioden seit mehreren Jahrzehnten litt, führte Perdue am 13. November 2007 eine Gruppe von mehreren hundert Menschen in einem Gebet auf den Stufen des Staatskapitols an. Perdue wandte sich an die Menge mit den Worten: "Wir sind hier nur aus einem einzigen Grund und nur aus einem einzigen Grund zusammengekommen: Um sehr ehrfürchtig und respektvoll einen Sturm heraufzubeten" und "Gott, wir brauchen dich; wir brauchen Regen".
