李遂,字邦良,丰城段潭人。弱冠之年,跟从欧阳德学习,考取进士,授官行人,历刑部郎中,时锦衣卫送来强盗十三人,李遂只用一人抵罪,其他的都被他分辨释放。确立新太子时,皇上大赦天下,李遂请求将“大礼”大案诸臣都列在赦令中,尚书聂贤恐惧不敢,于是和同官一起向都御史王廷相求问,王廷相听凭他们这样做,事情虽然没有成功,但议者赞美他。不久他调到礼部,因忤逆尚书夏言,事情遭到弹劾而下诏狱,被贬任湖州同知。
李遂三迁衢州知府,注重风化治理,闲暇时喜欢招友讲学。处州民饥,李遂聚集众人入境采矿,与推官李文进轻骑直逼矿山,饥民焚寨而逃,封矿而归。章圣皇后灵柩南运,风传取道常山,指令衢州备车轿迎送。遂三次上书谓梓宫无由取道衢州。上司震怒掷书于地,催逼急如星火,遂不动声色,后果如所料。浙中各郡县为此敛财物役百姓,怨声四起,唯独衢州上下安然。治衢任内,盗贼敛迹,财赋充裕,百姓感戴。后提升为苏、松兵备副使,又逐渐升职为广东按察使,在位期间释放囚徒八百多人。进官山东右布政使。江洋多盗贼,于是迁右佥都御史提督操江。军政严明,盗不敢发。
俺答侵犯京师,召李遂督苏州军饷,他没有向皇上谢恩,就请求关防验符用新的官衔,世宗皇帝恼怒,削去他的官籍。倭寇侵扰江北,朝廷讨论说因督漕都御史兼理巡抚,没有时间对付敌寇,请求特别设置巡抚,于是命李遂用原官身份巡抚凤阳四府。当时淮、扬三次遭受倭寇侵掠,这一年又发大水,而且天天役使人民拉大木运送到京师。李遂请求增加粮饷增加兵士,抚恤黎民节省开支,这些措施都是为了战、守作打算。