Die kanonischen Schriften des Neuen Testaments sowie andere schriftliche Quellen aus der Alten Kirche geben einige Einblicke in das Leben des Heiligen Jakobus und seine Rolle in der Alten Kirche. Die Synoptiker erwähnen seinen Namen, aber sonst nichts über ihn, während im Johannes-Evangelium und in den frühen Kapiteln der Apostelgeschichte Jakobus nicht einmal erwähnt wird.
Die Apostelgeschichte liefert in späteren Kapiteln Beweise dafür, dass Jakobus eine wichtige Figur in der christlichen Gemeinde von Jerusalem war. Als Petrus, der auf wundersame Weise aus dem Gefängnis entkommen ist, aus Jerusalem fliehen muss, bittet er darum, dass Jakobus informiert wird (12,17). Als die Christen in Antiochien besorgt darüber sind, ob Heidenchristen beschnitten werden müssen, um gerettet zu werden, und sie Paulus und Barnabas entsenden, um mit der dortigen Jerusalemer Kirche zu konferieren, spielte Jakobus eine herausragende Rolle bei der Formulierung des Konzilsbeschlusses (15:13ff). Nachdem Petrus und Paulus ihre Argumente vorgebracht haben, ist es in der Tat Jakobus, der schließlich das, was er sein "Urteil" nennt - der ursprüngliche Sinn liegt nahe an "meinem Urteil" - und danach akzeptieren es alle. Mit anderen Worten: Jakobus wird als Verantwortlicher für die Jerusalemer Gruppe dargestellt, was im Widerspruch zu späteren Ansprüchen auf den Vorrang des Petrus in Jerusalem steht. Und als Paulus in Jerusalem ankommt, um das Geld zu überbringen, das er für die dortigen Gläubigen gesammelt hat, spricht er zu Jakobus, der darauf besteht, dass Paulus sich rituell im Tempel des Herodes reinigt, um seinen Glauben zu beweisen und Gerüchte über eine lehrende Rebellion gegen die Thora (21,18ff) zu dementieren (ein Vorwurf des Antinomianismus).
Paulus beschreibt Jakobus weiter als eine der Personen, denen sich der auferstandene Christus gezeigt hat (1. Korinther 15,3-8); später dann, in 1. Korinther, erwähnt er Jakobus in einer Weise, die nahelegt, dass Jakobus verheiratet gewesen sei (9:5); und im Galaterbrief führt Paulus Jakobus mit Kephas (besser bekannt als Petrus) und Johannes als die drei "Säulen" der Kirche auf, die den "Beschnittenen" (im allgemeinen Juden und jüdischen Proselyten) in Jerusalem dienen werden, während Paulus und seine Gefährten den "Unbeschnittenen" (im allgemeinen Heiden) dienen werden. (2:9, 2:12). Diese Begriffe (beschnitten/unbeschnitten) werden im Allgemeinen so interpretiert, dass sie Juden und Griechen bedeuten, die vorherrschend waren. Es ist jedoch eine zu starke Vereinfachung, da es in der Provinz Iudäa im 1. Jahrhundert in der Iudäa-Provinz auch einige Juden gab, die nicht mehr beschnitten waren, und einige Griechen (Proselyten oder Judaisierer genannt) und andere wie Ägypter, Äthiopier und Araber, die es taten.
