Am 1. Dezember 2016 gab der designierte Präsident Donald Trump bekannt, dass Mattis in der kommenden Regierung für das Amt des Verteidigungsministers der Vereinigten Staaten nominiert wird. Er wurde vom Senat der Vereinigten Staaten mit 98:1 Stimmen bestätigt. Am selben Tag wurde er von Vizepräsident Mike Pence vereidigt.
Am 5. April 2017 bezeichnete Mattis den chemischen Angriff von Khan Shaykhun als "eine abscheuliche Tat" und sagte, man werde ihn entsprechend behandeln. Am 10. April warnte Mattis die syrische Regierung vor einem erneuten Einsatz chemischer Waffen.
Mattis hat sich für eine von Saudi-Arabien geführte Militärkampagne gegen schiitische Rebellen im Jemen ausgesprochen. Er forderte Trump auf, die Beschränkungen der militärischen Unterstützung der USA für Saudi-Arabien aufzuheben.
Mattis bestand darauf, dass die USA nach der Niederlage des ISIS in Syrien bleiben würden, um sicherzustellen, dass sie sich nicht neu formieren würden. Trump kündigte jedoch am 19. Dezember den Rückzug der USA aus Syrien an. Am nächsten Tag reichte Mattis seinen Rücktritt ein, nachdem es ihm nicht gelungen war, Trump zum Überdenken des Rückzugs zu bewegen. In seinem Rücktrittsschreiben kritisierte Mattis Trump dafür, dass sie die verbündeten Nationen nicht respektierte, während er gleichzeitig die autoritäre Herrschaft Chinas und Russlands kritisierte. Als Antwort auf das Schreiben ordnete Trump die Entlassung Mattis' am 1. Januar an, fast zwei Monate früher als Mattis seinen geplanten Rücktritt vom Amt geplant hatte.
