早期事迹

李敬玄年轻时博览群书，精通礼制，后在马周的推荐下，进入崇贤馆，成为太子李治（即后来的唐高宗）的侍读。他虽生性冷峻，但研究学问非常勤勉，受到许敬宗等人的赞誉，历任西台舍人、弘文馆学士、右肃机、检校太子右中护。

担任宰相

669年（总章二年），李敬玄升任西台侍郎、同东西台三品，兼任检校司列少常伯，成为宰相。他将司列（即吏部）事务委托给员外郎张仁祎，并沿袭张仁祎修正的选官程序，主持选官多年，使得铨选录用有条不紊。

672年（咸亨三年），李敬玄担任吏部侍郎，加封银青光禄大夫，仍兼任太子右庶子、同中书门下三品，后又监修国史。

675年（上元二年），李敬玄升任吏部尚书。他主掌吏部多年，又和赵郡李氏联宗，前后三任妻子都出身山东士族，因此在朝中势力极大。唐高宗对此很不高兴，但未公开批评他的过错。

征蕃兵败

676年（仪凤元年），李敬玄升任中书令，封赵国公。当时，刘仁轨每有奏请，李敬玄都持有不同意见，从中阻挠，二人因此交恶。

678年（仪凤三年），吐蕃入寇。刘仁轨知道李敬玄没有将帅之才，故意奏请道：“镇守河西，非李敬玄不可。”李敬玄极力推辞。此时，唐高宗已经厌恶李敬玄，便道：“刘仁轨如果需要朕去，朕就会主动前往，卿不得推辞。”任命他为洮河道大总管，兼镇抚大使，检校鄯州都督，率军抵御吐蕃。

同年九月，李敬玄与吐蕃大将论钦陵在青海交战，并命刘审礼为先锋。他逗挠不前，致使刘审礼孤军深入，兵败被俘。刘审礼败后，李敬玄狼狈而逃，退至承风岭，挖壕沟防御。这时，偏将黑齿常之率死士夜袭吐蕃军，吐蕃军退军，李敬玄这才得以返回鄯州。后来，李敬玄又在湟川被吐蕃击败。

贬官而死

680年（永隆元年），李敬玄上表称病，请求回京，得到批准。他回京后，也未引咎请罪，便直接到中书省办公。唐高宗得知他并未生病，将他贬为衡州刺史，后又改任扬州长史。

682年（永淳元年），李敬玄去世，终年六十八岁，追赠兖州都督，赐谥文宪。