程俱生于科名鼎盛世家，伯祖父程宿是北宋端拱元年（988）状元，，祖父程迪是宋仁宗庆历二年（1042）榜眼，父亲程天民是熙宁六年（1073）进士。母亲是尚书左丞邓润甫的女儿。9岁丧父，随母寓外祖父家，从小饱读诗书，遍览经史。

哲宗绍圣四年（1097），以外祖父邓润甫恩荫入仕，补吴江县（今属江苏）主簿，监舒州太湖（今属安徽）盐场，建中靖国元年（1101）因上疏触怒当局被黜。徽宗政和元年（1111），起用为泗州临淮县（故址已沦入洪泽湖中）令。

宣和二年（1120），赐上舍上第。三年，任礼部员外郎，以病告归。南宋建炎三年（1129）起用，以太常少卿知秀州。十二月金兵南渡占据临安，攻陷崇德、海盐等县，驰檄诱降。程俱率部守华亭，留兵马都监守城。

绍兴元年（1131），任少监，奏修日历。搜集三馆旧闻辑《麟台故事》呈朝廷，升任中书舍人兼侍讲。曾奏言：“国家之患，在于论事者不敢尽情，当事者不敢任责。……今言不合则见排于当时，事不谐则追咎于始议。故虽有智如陈平，不敢以金帛行离间之计；勇如相如，不敢全玉璧以抗强秦；通财如刘晏，不敢理财使军食充裕。使人人不敢当事，不敢尽谋，则艰危之时，谁与图回而恢复?”切中时弊。

绍兴六年，任集贤殿修撰、徽猷阁待制，在宫内敢于提出一些批评和建议，“不安于心者必反复言之，无所畏避。”他这种为人耿直的精神，为朝中正直官员所赞赏。晚年累官至朝议大夫，赐封信安开国伯，食邑900户。虽然身患严重的风湿病，行动不便，但仍勤勤恳恳、治文治史，整理朝廷文书典籍。

绍兴九年，秦桧荐领史事兼任万寿观提举、实录院修撰，并免朝参。程俱谙秦桧为人，知其意在笼络，力辞不受，告归，卒年67岁。