Po ukončení štúdia pracoval v divadlách na Broadwayi. Jeho prvá rola v televízii v roku 1963, hral vo filme Billy Wilder "Irma la Douce". A o rok neskôr, v roku 1964, dostal výraznejšie role tyrana a punkovú thriller "Lady". Jeho herecká kariéra James Caan pokračovala v takých filmoch ako "The Untouchables", "Alfred Hitchcock Hour", "Boj! "Et al.
V roku 1965, herec hral pretekár Michael vo filme "Red Line 7000". Po úlohe James Caan zakorenené predstavy o tvrdý, tvrdý chlap, trochu popudlivý, ale dôveru vo svoje schopnosti. Tento obraz je ďalej posilnená s hercom po 1972 James Caan hral Sonny Corleone v Francis Ford Coppola filmu "Krstný otec". Táto rola ho preslávil a tvoril na snímke obrazovky skutočného človeka.
V roku 1980, Caan sa snažil ruku ako režisér a režíroval film "Skryť v očiach vôbec." Od 1982-1987, herec sa znížila po smrti svojej sestry, nebol odobratý, a on začal mať problémy s kokaínom. Zároveň by mohol skúsiť ruku ako tréner baseballového tímu. Avšak, od konca 80. rokov, herec vrátil do kina.
James Caan bol ženatý štyrikrát. Od 1960-1966 na Dee Jay Mathis, majú dcéru Tara Caan. Od roku 1976 do roku 1977 bývalej priateľky Elvisa Presleyho - Sheila Ryan. Ich spoločný syn Scott Caan je teraz tiež herec. Od roku 1990 do roku 1995 herec bol ženatý s Ingrid Hayeka. V roku 1991 sa im narodil syn, Alexander J .. Kaan. James Caan štvrtý sobáš Linda Stokes trvalo 1996-2009. Pár majú dvoch synov, James Caan a Arthur Jacob Nicholas Caan.
S vzácne pre Hollywood role neurotický herec James Caan hral vo viac ako šesťdesiat filmov a seriálov. Stojí za zmienku, že po celú dobu svojho života sa zaoberal v karate a je v súčasnej dobe hlavnej 6. dan Gosoku Ryu a držiteľ titulu Soke Dai. Jedným z hlavných pravidiel svojho života bol skepticizmus o popularite, a on povedal, opakovane, že to nie je možné urobiť kariéru na celý život. To nie je tá najdôležitejšia vec v živote človeka.