房玄龄18岁时本州举进士，授羽骑尉。房玄龄在渭北投秦王李世民后，为秦王参谋划策，典管书记，是秦王得力的谋士之一。

武德九年，他参与玄武门之变，与杜如晦、长孙无忌、尉迟敬德、侯君集五人并功第一。唐太宗李世民即位后，房玄龄为中书令；贞观三年二月为尚书左仆射；贞观十一年封梁国公；贞观十六年七月进位司空，仍综理朝政。贞观二十二年七月廿四癸卯日，房玄龄病逝，谥文昭。

永徽三年，玄龄次子遗爱与其妻高阳公主被指谋反，遗爱被处死，公主赐自尽，诸子被发配流放到岭表。玄龄嗣子遗直也被连累，被贬为铜陵尉。房玄龄配享太庙的待遇也因而被停止。

因房玄龄善谋，而杜如晦处事果断，因此人称“房谋杜断”。后世以他和杜如晦为良相的典范，合称“房、杜”。《新唐书》本传对房的评价是“玄龄当国，夙夜勤强，任公竭节，不欲一物失所。无媢忌，闻人善，若己有之。明达吏治，而缘饰以文雅，议法处令，务为宽平。不以己长望人，取人不求备，虽卑贱皆得尽所能。或以事被让，必稽颡请罪，畏惕，视若无所容”。

在贞观年间，先后撰成了《晋书》、《魏书》、《周书》、《北齐书》、《隋书》、《南齐书》、《梁书》、《陈书》，计八部史书。其中《晋书》130卷，乃房玄龄亲自主持撰定。另外又撰唐高祖、唐太宗实录各20卷。