Kolumbien befindet sich auf der Falllinie von den Appalachen. Die Falllinie ist die Stelle, an der Boote nicht weiter flussaufwärts fahren können, und sie ist auch die Stelle am weitesten flussabwärts, wo fallendes Wasser eine Mühle sinnvoll antreiben kann.
Die Landeshauptstadt vor 1790 war Charleston an der Küste des Atlantischen Ozeans. Im Jahr 1786 beschloss der Gesetzgeber, die Hauptstadt ins Zentrum des Bundesstaates zu verlegen, und der Standort Columbia wurde wegen seiner Lage am Fluss, nur 21 km (13 Meilen) nordwestlich des geografischen Zentrums von South Carolina, gewählt. Die Legislative des Bundesstaates trat dort erstmals 1790 zusammen. Nachdem Columbia in den ersten beiden Jahrzehnten seines Bestehens unter der direkten Regierung der Legislative geblieben war, wurde es 1805 als Dorf und 1854 als Stadt eingemeindet. Columbia erhielt einen großen Entwicklungsimpuls, als es durch den Santee-Kanal über eine direkte Wasserstraße mit Charleston verbunden wurde. Dieser Kanal verband die Flüsse Santee und Cooper in einem 22 Meilen (35 km) langen Abschnitt. Er wurde 1786 erstmals gechartert und 1800 fertiggestellt, wodurch er zu einem der frühesten Kanäle der Vereinigten Staaten wurde. Mit zunehmendem Eisenbahnverkehr stellte er um 1850 seinen Betrieb ein.
Kolumbien war eine der ersten Planstädte in den Vereinigten Staaten. Sie ist bekannt für ihre breiten Straßen.
Am 17. Februar 1865, während des Bürgerkriegs, zerstörte ein Feuer einen Großteil Kolumbiens, während es von Unionstruppen unter dem Kommando von General William Tecumseh Sherman besetzt war.
Im 20. Jahrhundert entwickelte sich Kolumbien zu einem regionalen Zentrum der Textilherstellung. In den 1920er Jahren errichteten kolumbianische Geschäftsleute einen großen Damm am Saluda-Fluss, um Wasserkraft zu nutzen. Der Damm, der die einheimische rote Tonerde und das Grundgestein nutzte, war bei seiner Fertigstellung 1930 der größte Erddamm der Welt. Der Murray-See, der durch den Damm entstanden ist, ist 66 km (41 Meilen) lang und an seiner breitesten Stelle 23 km (14 Meilen) breit. Als der See fertiggestellt wurde, war er das größte von Menschenhand geschaffene Reservoir der Welt. Das Unternehmen, das den Damm baute, wuchs zu SCANA Corporation, einem der größten Arbeitgeber Kolumbiens, heran.
Die Stadt Kolumbien hat in letzter Zeit eine Reihe von Sanierungsprojekten durchgeführt und weitere geplant. Das historische Congaree Vista, ein 5 km2 großer Bezirk, der sich vom zentralen Geschäftsviertel in Richtung des Congaree-Flusses erstreckt, weist eine Reihe von historischen Gebäuden auf, die saniert wurden.