Hij begon zijn carrière in het lokale bestuur van Dodoma, waar hij in 1962 tot district officer benoemd werd. Later dat jaar werd hij ook tot Foreign Service Officer benoemd. In 1966 begon Mkapa een carrière als journalist, die hem tijdens de jaren zestig en zeventig tot hoge functies bij Tanzania’s voornaamste kranten, The Nationalist Uhuru en The Daily News zou brengen. In 1974 werd hij benoemd tot persvoorlichter van president Nyerere. In 1976 verliet hij deze post om het Tanzaniaanse nieuwsagentschap SHITATA op te richten.
Van 1977 tot 1980 was hij minister van buitenlandse zaken, een post waarop hij in 1984 terug zou keren nadat hij in ’82 Hoge Commissaris in Canada en in ’83 ambassadeur in de VS was geweest. In de vijf jaar vóór zijn benoeming als president van Tanzania was hij ook nog minister van Informatie en minister van Onderwijs en Wetenschappen.
Tijdens zijn presidentschap zette Mkapa zich in voor de strijd tegen armoede. Tegelijkertijd werkte hij aan het versterken van de economische positie van het land door het openstellen van de grenzen voor internationale handel en buitenlandse investeringen. Tegenstanders verwijten hem dat zijn politiek van liberalisering en privatisering van staatsbedrijven weliswaar buitenlandse investeerders hebben aangetrokken, maar dat die veranderingen geen economische voorspoed voor de Tanzaniaanse bevolking hebben opgeleverd.
Tanzania is nog altijd één van de armste landen ter wereld, met een zware nadruk op de landbouwsector, die 85% van de export en 80% van de werkende bevolking voorstelt. Investeringen van de Wereldbank, het IMF en verschillende donorlanden hebben de industriële sector versterkt, maar Tanzania komt in de Human Development Index van 2005 voor in de laagste regionen van de ranglijst, op een 164e plek (van 177).