Il joua en NCAA pour les Providence Friars puis fut drafté au premier rang en 1967 par les Detroit Pistons. Malgré de bonnes statistiques et même deux sélections au All-Star Game en 1970 et 1972, la carrière professionnelle de Walker fut décevante au vu de son potentiel. L'une des raisons de ce relatif échec fut un problème à gérer son poids.
Vie privée
Il est le père biologique de Jalen Rose, ancien joueur NBA et commentateur de basket-ball. Cependant Jimmy Walker a abandonné la mère de Jalen Rose avant la naissance de celui-ci. Jalen n'a jamais rencontré son père.