John Paul Jones nació el 3 de enero de 1946 en Sidcup, Inglaterra. En 1960 formó parte de un grupo con su padre y un año más tarde creó su propia banda.
En su época como integrante de Led Zeppelin destacaba también su gran hablidad como pianista y teclista y en grabaciones de estudio se puede apreciar su destreza con la guitarra, la mandolina, el banjo, e incluso la flauta dulce. Él junto con Jimmy Page se encarban de los arreglos de las canciones para las grabaciones en el estudio.
Cuando el grupo se separó, Jones comenzó su carrera en solitario haciendo las bandas sonoras de "Scream for help" y "The secret adventures of Tom Thum" y grabó su primer trabajo en solitario titulado Zooma al que siguió The Thunderthief en 2001. A mediados de 2001 se supo de su vinculación a un nuevo proyecto músical denominado Them Crooked Vultures.