早期事迹
李敬玄年轻时博览群书,精通礼制,后在马周的推荐下,进入崇贤馆,成为太子李治(即后来的唐高宗)的侍读。他虽生性冷峻,但研究学问非常勤勉,受到许敬宗等人的赞誉,历任西台舍人、弘文馆学士、右肃机、检校太子右中护。
担任宰相
669年(总章二年),李敬玄升任西台侍郎、同东西台三品,兼任检校司列少常伯,成为宰相。他将司列(即吏部)事务委托给员外郎张仁祎,并沿袭张仁祎修正的选官程序,主持选官多年,使得铨选录用有条不紊。
672年(咸亨三年),李敬玄担任吏部侍郎,加封银青光禄大夫,仍兼任太子右庶子、同中书门下三品,后又监修国史。
675年(上元二年),李敬玄升任吏部尚书。他主掌吏部多年,又和赵郡李氏联宗,前后三任妻子都出身山东士族,因此在朝中势力极大。唐高宗对此很不高兴,但未公开批评他的过错。
征蕃兵败
676年(仪凤元年),李敬玄升任中书令,封赵国公。当时,刘仁轨每有奏请,李敬玄都持有不同意见,从中阻挠,二人因此交恶。
678年(仪凤三年),吐蕃入寇。刘仁轨知道李敬玄没有将帅之才,故意奏请道:“镇守河西,非李敬玄不可。”李敬玄极力推辞。此时,唐高宗已经厌恶李敬玄,便道:“刘仁轨如果需要朕去,朕就会主动前往,卿不得推辞。”任命他为洮河道大总管,兼镇抚大使,检校鄯州都督,率军抵御吐蕃。
同年九月,李敬玄与吐蕃大将论钦陵在青海交战,并命刘审礼为先锋。他逗挠不前,致使刘审礼孤军深入,兵败被俘。刘审礼败后,李敬玄狼狈而逃,退至承风岭,挖壕沟防御。这时,偏将黑齿常之率死士夜袭吐蕃军,吐蕃军退军,李敬玄这才得以返回鄯州。后来,李敬玄又在湟川被吐蕃击败。
贬官而死
680年(永隆元年),李敬玄上表称病,请求回京,得到批准。他回京后,也未引咎请罪,便直接到中书省办公。唐高宗得知他并未生病,将他贬为衡州刺史,后又改任扬州长史。
682年(永淳元年),李敬玄去世,终年六十八岁,追赠兖州都督,赐谥文宪。