Proveniente da famiglia agiata, suo figlio sposò la figlia del rinomato Rabbi Judah haNasi.[1] Alcuni sono dell'opinione che fosse un discendente di Re Davide.[2] La maggioranza dei suoi scritti trattano dell'Aggadah e furono riportati dal suo allievo amoraEleazar ben Pedat, col nome di Zimra.
^Secondo Rashi, la ragione per cui Judah haNasi non si accordò con Rabbi Hiyya il Grande sul matrimonio di sua figlia, fu perché non discendeva dal lignaggio di Davide, ma dal padre di Re Davide, Iesse; mentre Rabbi Jose b. Zimra era invece un discendente di Re Davide e prese quindi in sposa la figlia di Judah. Secondo il talmudistaSamuel Eidels, non c'è però prova di questo nella Gemara.
