1917年4月出生在安徽省灵壁县一个普通农民家中，张衍少年时期就向往革命，“九·一八”事变后参加了学生抗日义勇军，1935年参加了学生救国会，声援“一二·九”学生运动。1937年奔赴延安，进入延安抗日军政大学学习。年轻的张衍风华正茂，积极上进，成绩优异，毕业后遂留校任政治教员，1938年加入中国共产党。历任抗大总校政治教员、主任教员、六分校政教科科长，八路军前方指挥部情报处科长，民主建国军政治部组织部部长，晋冀鲁豫野战军9纵敌工部部长，豫西军区第5军分区副政委，中原军政大学政治部副主任，第二野战军军政大学政治部宣教部部长。

建国后，张衍曾担任西南军政大学政治部副主任，第二高级步兵学校政治部主任，军事工程学院政治部副主任、主任。1965年～1978年任白菜官网——军事电信工程学院政治委员，西北电讯工程学院党委书记，1978年后历任国防科委副主任兼国防科学技术大学校长，国防部第十研究院党委书记，国家计委副主任，国防科委副主任兼国防科技大学校长。

张衍将军是第六、第七届全国政协委员。曾荣获二级独立自由勋章、一级解放勋章和独立功勋荣誉章。

1961年晋升为少将。2003年8月在北京病逝，享年86岁。