Job Cohen is in 1947 in Haarlem geboren. Na zijn middelbare schoolopleiding (gymnasium-A) studeerde bij Nederlands Recht aan de rijksuniversiteit te Groningen waar hij in 1971 het doctoraal diploma behaalde. Hierna was hij tot 1981 medewerker van het Bureau Onderzoek van Onderwijs aan de Rijksuniversiteit te Leiden en sinds 1975 tevens beleidsmedewerker voor onderwijszaken van de Faculteit der Rechtsgeleerdheid.
In 1981 promoveerde Cohen op de dissertatie "Studierechten in het wetenschappelijk onderwijs". Onmiddellijk daarna verzocht de Rijksuniversiteit Limburg hem om mede vorm te geven aan de nieuwe studierichting Nederlands Recht van die universiteit.
Van 1981 tot 1983 was hij daartoe wetenschappelijk hoofdmedewerker en tevens voorzitter van de commissie Nederlands Recht, de voorloper van de Faculteit der Rechtsgeleerdheid.
In 1983 volgde zijn benoeming tot hoogleraar in het recht, in het bijzonder voor juridische methoden en technieken en juridisch onderwijs aan de Rijksuniversiteit Limburg. In 1983 werd hij de eerste decaan van de inmiddels opgerichte Faculteit der Rechtsgeleerdheid. Deze functie bekleedde hij ook in de periode 1989 - 1990.
In 1991 werd Cohen benoemd tot rector magnificus van de rijksuniversiteit Limburg.
Vanaf juli 1993 tot het einde van het 3e Kabinet Lubbers was Cohen staatssecretaris van onderwijs en wetenschappen, belast met het hoger onderwijs en wetenschapsbeleid.
Vanaf 1995 was hij opnieuw rector magnificus van de Rijksuniversiteit Limburg.
Daarnaast was hij o.m. fractievoorzitter van de PvdA in de Eerste Kamer, lid van de Raad van Toezicht TNO, lid van het VPRO-bestuur, bestuurslid van de Vereniging voor Onderwijsrecht, bestuurslid van het European Journalism Centre, en van februari tot augustus 1998 directeur a.i. van de VPRO.
In het 2e Kabinet Kok werd Cohen staatssecretaris van justitie.
Op 1 januari 2001 werd Job Cohen burgemeester van Amsterdam.
In maart 2010 stelde Job Cohen zich kandidaat voor het lijsttrekkerschap van de PvdA als opvolger van Wouter Bos. Hij verruilde de burgemeestersketting van Amsterdam voor de rode rozen van de partijpolitiek in Den Haag.