1920 trafen sich Sportfunktionäre von sechs HBCUs aus Texas - C.H. Fuller vom Bishop College, Red Randolph und C.H. Patterson vom Paul Quinn College, E.G. Evans, H.J. Evans und H.J. Starns von Prairie View A&M, D.C. Fuller vom Texas College und G. Whitte Jordan vom Wiley College - in Houston, Texas, um gemeinsame Interessen zu besprechen. Bei diesem Treffen kamen sie überein, eine neue Liga zu gründen, die SWAC.
Paul Quinn war das erste der ursprünglichen Mitglieder, das die Liga 1929 verließ. Als die Langston University of Oklahoma zwei Jahre später in die Konferenz aufgenommen wurde, begann die Migration von staatlich geförderten Institutionen in den SWAC. Die Southern University trat 1934 in die Liga ein. Arkansas AM&N traten 1936 und die Texas Southern University 1954 bei.
Als die staatlich geförderten Schulen größer wurden, wurde es für die kirchlich geförderten Schulen schwierig, ihre Sportmannschaften zu bezahlen. Bald begannen die kirchlich geförderten Schulen, die Konferenz zu verlassen. Bishop zog sich 1956, Langston 1957 und Huston-Tillotson (ehemals Samuel Huston) 1959 aus der Konferenz zurück. Dies geschah ein Jahr, nachdem zwei weitere staatlich unterstützte Schulen in die Liga aufgenommen worden waren (Grambling College und Jackson State College). Der Eintritts- und Austrittszyklus setzte sich 1961 fort, als das Texas College sich zurückzog, gefolgt vom Eintritt von Alcorn A&M im Jahr 1962. Wiley verließ die Liga 1968, im selben Jahr, als das Mississippi Valley State College in die Liga eintrat. Arkansas AM&N verließ das College 1970 und die Alabama State University trat 1982 ein. Arkansas-Pine Bluff (ehemals Arkansas AM&N) trat der SWAC am 1. Juli 1997 wieder bei und erlangte ein Jahr später wieder den Status eines Vollmitglieds. Die Alabama A&M University wurde das zehnte Mitglied der Konferenz, als sie im September 1999 Vollmitglied wurde, nachdem sie ein Jahr lang als angeschlossenes SWAC-Mitglied tätig war.
Der SWAC bietet derzeit Meisterschaftswettbewerbe für Männer in den Disziplinen Baseball, Basketball, Cross Country, Fußball, Golf, Leichtathletik in der Halle, Leichtathletik im Freien und Tennis an. Für die Frauen werden Wettbewerbe in den Sportarten Basketball, Bowling, Cross Country, Golf, Hallenbahn, Leichtathletik im Freien, Fußball, Softball, Tennis und Volleyball angeboten.
