吕端自幼好学上进，最初以其父的官位荫补千牛备身，吕端这个人仪表俊秀，处事宽厚忠恕，善交朋友，讲义气，轻钱财，好布施。 吕端处事理政才华出众，逐渐为宋太宗所喜爱和重用。早在吕蒙正为相之时，太宗就有重用吕端的想法。在太宗与别人商量，打算任用吕端为相对，有人反对重用吕端，其理由是吕端这个人“糊涂”。太宗根据自己多年体察，立即说：“端小事糊涂，大事不糊涂。”其实这个时候已坚定了任用吕端为相的决心。当心，太宗还作过一首钓鱼诗，其中有两句是这样写的：“欲铒金钩深未达，磻溪须部钓鱼人。”这诗中的意思是说，对于任用吕端当宰相的事，已无可争议，宰相这个职位非吕端莫属。过后数日，太宗就让吕蒙正改任参知政事，让吕端当了宰相。吕端任宰相后，办事持重稳当，公道而廉洁，深得朝中朝外各方面的好评。使太宗听到的奏章多是褒奖之辞，对吕端的印象当然就更好了。至道元年（995年），是由参知政事的官位上改任宰相的，可当时吕端已经是60岁的老人了。太宗曾后悔自己对吕端重用太晚了。即使这样，太宗也曾有过顾虑，为了平衡各方面的关系，特别是对寇准的使用，恐有吕端官居相位以后在寇准之上，使寇准心中不平，就采取了一个临时过渡的办法，作为权宜之计。太宗让时任参知政事的寇准与宰相吕端“分日押班知印，同升政事堂”。也就是说，让吕端和寇准隔日轮流执掌相府大计，他俩平起平坐，太宗则从旁加以观察。当时送到朝中的奏折很多，而朝中也有各种各样的意见，但是众说纷纭，没有个统一的决断性的意见，“惟端罕所建明。”经过一段观察之后，宫内付出太宗的亲手戒谕：“自今中公事必经吕端详的，乃得闻奏。”这一道谕旨，无疑是太宗对吕端的更大信任和重用。吕端感到事已至此，再谦让也就不妥当了，于是他未加推辞欣然从命，履行公事。实际上这时吕端才真正成了名副其实的、有职有权的当朝宰相。以致数年后吕端的名声远扬，而且传至后代，被称为一代名相。