Изучал ботанику, как и его отец. В 1813 и 1815 годах добровольно принял участие в кампании против Наполеона и познакомился при этом с несколькими французскими ботаниками. Он провёл также некоторое время в Англии, а затем изучал медицину и естественные науки в Гёттингене.
С 1821 работал врачом в Бремене, а в 1824 году отправился в Санкт-Петербург, для участия в плавании Отто фон Коцебу. Это ему не удалось, и он не практиковал врачом в Санкт-Петербурге, пока не отправился в кругосветное плавание (1826—1829) с Фёдором Петровичем Литке. Из этой поездки он привёз многочисленные зоологические и ботанические находки, которые затем начал изучать в Санкт-Петербурге. Он стал членом Санкт-Петербургской академии и присоединился летом 1830 года к экспедиции в Исландию. По каким-то причинам, экспедиции не разрешили сойти на берег в Исландии. На обратном пути на корабле произошла вспышка тифа, от которой он умер, вернувшись в Санкт-Петербург.
Эпонимы
В честь Карла Генриха Мертенса была названа Тсуга горная (Tsuga mertensiana), вид растений, который был обнаружен им на Аляске в районе города Ситка.
