Haut-Rhin ist eines der ursprünglich 83 Departements, die während der Französischen Revolution am 4. März 1790 gegründet wurden. Es war in drei Distrikte aufgeteilt: Altkirch, Belfort und Colmar, mit Colmar als Hauptstadt.
Im Jahr 1800 wurden mit der Schaffung der Arrondissements in Frankreich die drei Distrikte in fünf Arrondissements umgewandelt: Colmar, Altkirch, Belfort, Delémont und Porrentruy. Die Arrondissements Delémont und Porrentruy wurden 1814 aufgehoben und in die Schweiz verlegt.
Die Unterpräfektur Altkirch wurde 1857 nach Mulhouse verlegt.
Das Departement Haut-Rhin wurde 1871 abgeschafft, als das Gebiet mit Ausnahme eines Teils, der das Territoire de Belfort bildet, Teil Deutschlands wurde.
Im Jahr 1919 ist das Departement Haut-Rhin wieder ein Departement, als das Gebiet mit den Arrondissements Colmar-Ville, Colmar-Campagne, Altkirch, Guebwiller, Mulhouse, Ribeauvillé und Thann Teil Frankreichs wurde. Die Hauptstadt des Departements ist Colmar.
Die Arrondissements Colmar-Ville und Colmar-Campagne wurden 1934 zum Arrondissement Colmar zusammengelegt.
Das Arrondissement Guebwiller wurde 2015 abgeschafft und sein Gebiet mit Tharn zum Arrondissement Thann-Guebwiller zusammengefasst. Im selben Jahr wurde auch das Arrondissement Ribeauvillé eliminiert und sein Gebiet mit Colmar zum Arrondissement Colmar-Ribeauvillé zusammengelegt.
