Pendant ses deux premières saisons, il est supplanté au poste de quarterback des Chargers par Drew Brees. À la suite du départ de ce dernier en 2006, Rivers devient le titulaire et s'impose rapidement comme l'un des meilleurs quarterbacks de la NFL. Il a été sélectionné à huit Pro Bowls depuis le début de sa carrière.
Il est sélectionné par les Giants de New York au 4e rang lors du premier tour de la draft 2004 de la NFL. Le jour de la draft, Eli Manning, choisi au premier rang par les Chargers de San Diego, a déclaré avant la séance qu'il ne signerait pas avec cette équipe. Les Chargers et les Giants mettent ainsi en place un échange ; Rivers est échangé aux Chargers, avec trois autres sélections de draft qui seront utilisés entre autres pour choisir Nate Kaeding et Shawne Merriman, en retour des droits sur Manning[1]. En , Rivers signe avec sa nouvelle équipe un contrat de 6 ans et 40,5 millions de dollars avec une prime à la signature de 14,25 millions[2].
Le , Rivers signe un contrat d'un an pour 25 millions de dollars avec les Colts d'Indianapolis[3].
Fervent catholique, il est marié à Tiffany depuis 2001, alors qu'il jouait à l'université. Le couple a donné naissance à neuf enfants. Leur premier enfant, une fille, est né en 2002, après que Rivers ait complété sa deuxième saison universitaire[5],[6].
En 2017, année de relocalisation des Chargers, Rivers préfère ne pas faire déménager sa famille à Los Angeles et investit 200 000 dollars sur une voiture SUV toute équipée, munie d'un système satellite, un réseau wi-fi, un mini-réfrigérateur et un téléviseur de 40 pouces, qui le permet de faire le trajet entre San Diego et Los Angeles lors des matchs des Chargers à domicile[7].
