祖永复，父莹，皆为诸生。嘉庆四年（1799），陈揆考取诸生。省试对策逾格被斥，遂绝意仕进。性嗜古籍，毕生时间和精力，倾注于积聚、整理、研究古代文献。与同邑张金吾合称“藏书二友”。其宅位于县城南门九万圩曾园附近。家世皆儒生，旧有藏书，他专心于搜集古籍及乡邦著述，藏书益富，“凡邑中著述，自宋、元迄今搜罗殆遍，不下四百余种”。四方名士，挟异书，搜秘册，投入他的门下，络绎不绝。搜罗不遗余力，建藏书楼“梂虎阁”于破山寺下。后因购得唐刘赓《稽瑞》一书，遂将藏书楼改为“稽瑞楼”。当时，江南四大藏书家周锡瓒、袁廷梼、顾之逵、黄丕烈的藏书不断散出，他和张金吾互相夸示其择优。与同乡张海鹏结为姻亲和知交，其妻张昭容是张金吾胞妹。二人收藏多钱氏、毛氏所流散之书，所以善本颇多。二人志同而趣各异，张海鹏愿把藏书公开借阅，而他则一藏永逸，慎于借阅。张海鹏爱收宋元文集，而他则多收史志及野乘家说。先后藏书10余万卷，精于校勘学，每收一册古籍，手自校勘。潘祖荫为他刊有《稽瑞楼书目》，并为书目作序。学者黄廷鉴作写有《藏书二友记》，记他和张海鹏二人藏书之事曰：“两家所藏不下10余万卷，去其世有传本与秘而无关学问者，汇宋元旧刻及新旧抄，遴其精妙尚可得一、二万卷，其中多吾邑钱、毛两家旧物。”手抄书13种，价值颇高。所著《稽瑞楼书目》著录的善本有220多种，计一、二万卷。其中邑中著述的宋元刻本、抄本、校本达500多种。所藏的地方志达400多种，其中明之前有270多种，清代的有140多种。数十种录入《中国古籍善本书目》。陈揆的藏书印有：“稽瑞楼”、“稽瑞楼藏”、“文乡儒子”、“子凖”、“揆”“揆印”等。道光五年（1825）六月，陈揆离世，年四十六岁。其墓在常熟白龙港唐石桥。殁后其养子不懂收藏，藏书散佚。先后被翁心存、铁琴铜剑楼瞿氏购去大半，其余流向书肆。辑有《琴川志注草》、《虞邑遗文录》、《虞邑遗文录补集》；著有《六朝水道疏》、《稽瑞楼文草》诸书。好友孙原湘、张金吾分别写有《陈君子准传》、《陈子准别传》。