Mafia III utspiller seg i et rekonstruert New Orleans i 1968, et av de mest turbulente årene i amerikansk historie. Denne versjonen av New Orleans er full av aktivitet, komplett med tidsinspirerte biler, mote og musikk. I denne turbulente tiden henger det en sky av korrupsjon i luften, og byen har blitt et fristed for organisert kriminalitet. Den italienske mafiaen kontrollerer ulovlig gambling, narkotika og prostitusjon, mens korrupte politifolk og politikere forsyner seg av inntektene.

Mafia III følger historien om Lincoln Clay, en rettighetsløs Vietnam-veteran som vender tilbake fra kamp og leter etter et hjem og et sted å høre til. Lincoln ble foreldreløs som barn, men får omsider en slags familie i byens svarte mafia, og finner den surrogatfaren og broren han har lengtet etter. Men da Lincolns nye familie blir forrådt og slaktet ned av den italienske mafiaen, blir han besatt av hevn og fører en brutal krig mot italienerne, noe som forstyrrer maktbalansen i New Orleans' snuskete underverden. Etter hvert som historien skrider frem, allierer Lincoln seg med andre kriminelle og bygger opp et imperium og en ny, egen familie som forandrer byen.

Gjennom den fengslende historien i Mafia III velger spillerne sin egen vei til hevn og bygger sitt eget forbryterimperium ved hjelp av list, forfølgelse og bedrag, eller ved hjelp av overveldende styrke og ildkraft
og ildkraft. Mafia III kombinerer det beste av filmatisk historiefortelling med en dynamisk fortellerstruktur som reagerer på spillerens valg, og utspiller seg i en pulserende by som reagerer på Lincolns handlinger.