高祖父:张俊兴,官至相国府检校郎将。
曾祖父:张思义,官至成纪县丞。
叔祖父:张嘉祐,官至左金吾将军、相州刺史。
祖父:张嘉贞,河东侯,官至中书令(宰相)。
父亲:张延赏,魏国公,官至中书侍郎、同中书门下平章事。
姑父:韦皋,南康郡王,官至剑南西川节度使。
兄弟:张谂,官至主客员外郎。
长子:张文规,官至吏部员外郎,官终桂管观察使。工书法。少躭墨妙,备尽楷模。
次子:张景初,官至殿中侍御史。
三子:张嗣庆,官至河南少尹。
四子:张次宗,官至礼部员外郎、国子博士兼史馆修撰,官终舒州刺史。
侄子:张师质,张谂之子,官至郴州刺史。
孙子:张彦远,张文规之子,著名画家、绘画理论家。曾任舒州刺史、左仆射补阙、祠部员外郎、大理寺卿。
孙子:张茂枢,张次宗之子,字休府,官至右省补阙。
其家世有藏书之风,祖父张嘉贞,武后时任监察御史,官封河东侯。喜收书,去世后唯有图书遗赠子孙。父亲张延赏,亦好藏书。他继承了两代人的藏书,并继续典籍的收藏,史籍记载他“家聚书画侔秘府”,收藏法书名画为唐一代之冠。孙张彦远成为唐末著名书画家,并撰有《历代名画记》。其家世有藏书印“河东张氏”、“乌石矦瑞”、“鹊瑞”等。