Родился 7 апреля 1716 года в Стокгольме в семье губернатора графа Ханса фон Ферзена и его жены графини Элеоноры Вахтмейстер (Eleonora Wachtmeister af Mälsåker).
Карла фон Ферзена упоминают в документах того времени как о человеке с видным положением при шведском дворе. Он был одним из самых выдающихся актеров в любительской театральной труппе королевы Луизы Ульрики (Lovisa Ulrikas amatörteatersällskap) и любительского театра короля Густава III (Gustav III:s amatörteatersällskap).
Pia Nyström, Kyhlberg-Boström Anna, Elmquist Anne-Marie. Kungl. Musikaliska akademien: matrikel 1771-1995. Kungl. Musikaliska akademiens skriftserie, 0347-5158 ; 84 (2., rev. och utök. uppl.). Stockholm: Musikaliska akad. Libris 7749167. ISBN 91-85428-99-X.
Personne, Nils. Svenska teatern: några anteckningar. 1, Under gustavianska tidehvarfvet jämte en återblick på dess tidigare öden, Wahlström & Widstrand, Stockholm, 1913.
Edström, Josef. En adlig uppfostran: Hans von Fersen, hans söner Carl och Axel och deras informator Niclas Oelreich. Stockholm. Libris 1345968.