冉觐祖生性稳重,少有成人之风。十七岁时娶郏县教谕梁天民之女为妻,同年十一月在鄢陵中秀才,不久补考博士子弟员(最高学府国子监学习的生员),次年到卫辉(河南汲县)百泉参加乡试(考举人)。见书贩陈列大量名贵书籍,竟竭尽所有购买了四书五经大全及著名诗文集等,因而不再专心应考,回家埋头研读,立志于著作。19岁补廪(秀才年考成绩优异者,官府给予一定数量廪米补助)。当时有人出售《二十一史》,要价很高,他个人资力不够,就借银买得此书,潜心研究,汶上(山东)袁某擅长音韵,来县城设教,二人倾谈五日,冉尽得其中奥妙。
冉觐祖27岁时得中乡试第一名举人,此后长期专心读书、著述,写成《四书五经详说》、《尚书详说》、《四书玩注》等。康熙二十八年(1690年)应登封进士景东场邀请到嵩阳书院讲学。次年兼应本省抚军阎某之约,主编《中州通志》。
康熙三十年中进士,留任翰林院庶吉士,三年后升检讨。在翰林院任职期间,曾与同僚被康熙皇帝召见、赐宴,即席赋诗,得到皇帝“气度老诚”的奖语。
康熙三十七年辞官还乡,再赴嵩阳书院讲学,次年东归,受户部侍郎张勉斋邀请到仪封(今兰考县)书院讲学,同时登封知县坚决邀请他重回嵩阳书院讲学,冉不得已,就东西兼顾,轮流讲之。
康熙四十年再次应召进京任原职,因年事已高,掌院(翰林院主官)准他轮入侍值(轮流到翰林院值班),外无所事,得以安心著述。康熙四十三年,其68岁时,辞官还乡,建纶翰堂,专心著述,兼教授子弟。康熙五十七年病故,终年81岁。临终之时,谆谆告诫诸子,刊行他的遗稿,建藏书楼,以备后人阅读,却无一语涉及私事。