Sarrazin wurde in Gera, Deutschland, geboren. Sein Vater war Arzt und die Mutter eine Tochter eines westpreußischen Grundbesitzers. Seine väterliche Familie, eine französische Hugenottenfamilie, stammt ursprünglich aus Burgund. Seine Großmutter war Engländerin und Italienerin. Er hat erklärt, dass sein Name sarazenisch (d.h. muslimisch) bedeutet und in Südfrankreich weit verbreitet ist. Er stammt von den arabischen Piraten ab, die im Mittelalter "Sarazenen" genannt wurden. Seine Mutter ist polnischer Herkunft. Er hat sich selbst als "europäischer Mischling" bezeichnet.
Er ist in Recklinghausen aufgewachsen. Mit sieben Jahren kam er in ein Waisenhaus in Bayern. Er absolvierte das örtliche Gymnasium und diente dann von 1967 bis 1971 beim Militär. Danach studierte er Wirtschaftswissenschaften an der Universität Bonn und promovierte zum Dr. rer. pol. Von November 1973 bis Dezember 1974 arbeitete er für die Friedrich-Ebert-Stiftung und engagierte sich in der SPD.
1975 nahm Sarrazin seine Tätigkeit im Bundesministerium der Finanzen auf. Bis 1981 war er als Referatsleiter im Ministerium für Arbeit und Soziales tätig. 1981 kehrte er ins Bundesfinanzministerium zurück. Im Oktober 1981 nahm er seine Tätigkeit als Referatsleiter auf und war ein enger Mitarbeiter von Bundesfinanzminister Hans Matthöfer und seinem Nachfolger Manfred Lahnstein. Auch nach dem Ende der sozialistisch-liberalen Koalition im Oktober 1982 blieb Sarrazin im Finanzministerium. Dort leitete er mehrere Referate, darunter (von 1989 bis 1990) die "Innerdeutschen Beziehungen", die die deutsche Währungs-, Wirtschafts- und Sozialunion vorbereiteten. Während seiner Zeit als Leiter des Bundesfinanzministeriums war er mitverantwortlich für die Deutsche Bahn.
Von 1990 bis 1991 arbeitete Sarrazin für die Treuhand. Danach war er bis 1997 Staatssekretär im rheinland-pfälzischen Finanzministerium.
Sarrazin ist mit Ursula Sarrazin (geb. Breit) verheiratet und hat zwei Söhne.
