James Ellroy syntyi vuonna 1948 Los Angelesissa Lee Earle Ellroyna. Ellroyn vanhemmat erosivat kun hän oli neljävuotias, ja hän asui äitinsä kanssa kunnes tämä tapettiin julmasti vuonna 1958. Seksuaalimurhaksi määriteltyä rikosta ei koskaan selvitetty.

Murhan jälkeen Ellroy muutti isänsä luokse, mutta isä kuoli pojan ollessa 17-vuotias. Hän oli huomionkipeä nuori, lähetti tytöille antisemiittistä postia ja kritisoi John F. Kennedyä. Lopulta hänet erotettiin koulusta natsisympatioidensa vuoksi. Isänsä kuoleman jälkeen Ellroy muutti asumaan omaan asuntoon: hän joi, käytti huumeita ja lääkkeitä ja murtautui ihailemiensa tyttöjen asuntoihin varastaakseen näiden alusvaatteita.

Ellroy kiinnostui rikosromaaneista teini-ikäisenä ja ahmi niitä sadoittain. Pian hän alkoi kirjoittaa niitä myös itse ja lopulta, 30-vuotiaana, hän julkaisi ensimmäisen teoksensa. Hänen läpimurtoteoksensa oli vuonna 1987 ilmestynyt Musta Dahlia, joka pohjautuu todelliseen rikokseen, Elizabeth Short -nimisen nuoren naisen raakaan murhaan 40-luvun lopulla.

Nykyään Ellroy toimii päätoimisena kirjailijana. Hänet on vihitty kovaksikeitetyn dekkarin kummisedäksi ja hän on julkaissut jo lähes 20 romaania. Ellroyn rikosromaanit ovat kuuluisia siitä, että ne ovat jopa todentuntuisempia kuin itse todellisuus. Hän yhdistelee taitavasti faktaa ja fiktiota, ja Yhdysvaltain lähihistoria nousee romaaneissa huimaan liitoon.

Elokuviksi Ellroyn teoksista on sovitettu Musta Dahlia, Brownin sielunmessu ja L.A. - langennut kaupunki. Amerikkalainen HBO-kanava valmistelee useasta Ellroyn kirjasta TV-sarjaa.