Foster heiratete Jane Denny McDowell (1829 - 1903) am 22. Juli 1850 in der Trinity Episcopal Church, Pittsburgh. Sie war die Tochter von Andrew N. McDowell, einem Arzt aus Pittsburgh, und Jane Denny Porter. Die Anziehungskraft zwischen Foster und McDowell bleibt ein Rätsel: Jane stand am Rande des Foster-Freundeskreises und hatte keine besonderen musikalischen Talente oder Interessen. Sie könnte eine Verlobung mit einem anderen Mann gelöst haben, um Foster zu heiraten. Das einzige Kind des Paares, Marion, eine Tochter, wurde am 18. April 1850 geboren.
Die Ehe war aus unbekannten Gründen gestört, und das Paar lebte getrennt. Im Frühjahr 1853 hatten sie sich zum ersten Mal getrennt. Jane nahm Marion mit nach Lewistown, Pennsylvania, wo ihre Mutter und ihre Schwester lebten. Stephen ging nach New York City, um dem Songschreiben nachzugehen. Das Paar kam innerhalb eines Jahres wieder zusammen, trennte sich aber immer wieder.
Jane und Marion kehrten im Juli 1861 nach einem Aufenthalt in New York mit Stephen nach Pennsylvania zurück. Er hatte Geldschwierigkeiten, und sein Alkoholismus wurde immer schlimmer. Jane zog nach Greensburg, Pennsylvania, wo sie als Telegrafistin für die Pennsylvania Railroad arbeitete. Ihre Tochter wurde wahrscheinlich bei Verwandten anderswo zurückgelassen. Jane besuchte Stephen im September 1861 und danach mehrere Male in New York City.
Zu einem unbekannten Zeitpunkt nach Stephens Tod im Jahr 1864 heiratete Jane Matthew D. Wiley, einen Gepäckabfertiger und Expressagenten. Sie arbeitete als Telegrafistin im Depot Allegheny der Pennsylvania Railroad. Sie unterstützte mehrere Verwandte, darunter ihre Tochter, ihre Mutter und ihre Enkelkinder. Sie starb 1903 an Verbrennungen, die sie erlitt, als ein Funke ihre Kleidung in Brand setzte, während sie in der Nähe einer Feuerstelle döste. Bis zu diesem Zeitpunkt hatten sie und ihre Tochter mehr als 4.100 Dollar an Tantiemen aus Stephens Liedern erhalten. Sie ist auf dem Allegheny-Friedhof begraben.
Marion Foster (1850 - 1935) heiratete William Welsh und hatte drei Kinder. Nachdem sie in St. Louis und Chicago gelebt hatte, zog sie 1914 in ein Herrenhaus (als Hausmeisterin) auf dem Gelände des Hauses ihrer Großeltern in Lawrenceville. Sie war arm, gab bis in ihre Siebzigerjahre Klavierunterricht und kämpfte erfolglos gegen die Regierung um die Wiederinbesitznahme eines Grundstücks, das einst ihrem Großvater gehörte.