In 1992 promoveerde hij aan dezelfde universiteit tot doctor in de rechtsgeleerdheid op het proefschrift 'Overheidsregelgeving en maatschappelijke organisaties'.
Van 1982 tot 1984 was hij beleidsmedewerker juridische zaken bij het bureau van de Academische Raad. Daarna was hij tot 1998 stafmedewerker van het Wetenschappelijk Instituut van het CDA.
Balkenende was van 1982 tot 1998, vanaf 1994 ook als fractievoorzitter van het CDA, lid van de gemeenteraad van Amstelveen. Van 1993 tot 2002 was hij parttime bijzonder hoogleraar 'Christelijk sociaal denken over maatschappij en economie' aan de Vrije Universiteit.
Van 1998 tot 2002 was hij lid, vanaf 1 oktober 2001 ook als fractievoorzitter van het CDA, van de Tweede Kamer der Staten-Generaal.
Balkenende was onder meer lid en vice-voorzitter van het Algemeen Bestuur van de NCRV, lid van het Regionaal Overleg Amsterdam, voorzitter van de Christen-Juristen Vereniging, lid van het curatorium van de Stichting Maatschappelijk Ondernemen Midden- en Kleinbedrijf MKB-Nederland en lid van het bestuur van de Stichting Parlementaire Geschiedenis.
Op 22 juli 2002 werd mr.dr. J.P. Balkenende benoemd tot minister-president, minister van Algemene Zaken, van het eerste kabinet, dat zijn naam droeg.
Vanaf 27 mei 2003 is hij opnieuw minister-president, minister van Algemene Zaken, en wel van het Tweede Kabinet-Balkenende.
Balkenende is in 1996 getrouwd met de juriste Bianca Hoogendijk, op dat moment assistent bij de CDA-fractie; thans docent Arbeidsrecht aan de Erasmus Universiteit Rotterdam.