Na segunda parte da saga da família Corleone, que terminou em 1974, são contadas duas histórias paralelas. A primeira é a continuação de O Poderoso Chefão. Agora, Michael está mais maduro e ousado no controle da família, e os Corleones tentam expandir seu império atuando na costa leste dos Estados Unidos.Paralelamente, o filme apresenta toda a infância e a mocidade de Vito Andolini, que mais tarde seria conhecido como Don Vito Corleone. Após a máfia local matar sua família, o jovem Vito (Robert De Niro) foge da sua cidade na Sicília e vai para a América. Já adulto em Little Italy, Vito luta para ganhar a vida (legal ou ilegalmente) para manter sua esposa e filhos. Ele mata Black Hand Fanucci (Gastone Moschin), que exigia dos comerciantes uma parte dos seus ganhos. Com a morte de Fanucci o poderio de Vito cresce muito, mas sua família (passado e presente) é o que mais importa para ele. Do outro lado, temos o legado de família que vai até os enormes negócios que nos anos 50' são controlados pelo caçula, Michael Corleone (Al Pacino). Agora baseado em Lago Tahoe, Michael planeja fazer por qualquer meio necessário incursões em Las Vegas e Havana instalando negócios ligados ao lazer, mas descobre que aliados como Hyman Roth (Lee Strasberg) estão tentando matá-lo. Crescentemente paranóico, Michael também descobre que sua ambição acabou com seu casamento com Kay (Diane Keaton) e até mesmo seu irmão Fredo (John Cazale) o traiu. Escapando de uma acusação federal, Michael concentra sua atenção para lidar com os seus inimigos.
