Dopo una brillante carriera da dilettante culminata con la conquista dell'Oro olimpico a Mosca nel 1980 nella categoria Superleggeri, è passato alla Boxe professionistica conquistando in sequenza il titolo italiano, quello europeo ed il titolo di campione del mondo di categoria. Successivamente è riuscito a conquistare il titolo di campione d'Europa anche nella categoria welter.
È stato commissario tecnico della Nazionale Olimpica, che ha guidato ai Giochi di Atlanta '96 e Sydney 2000, nonché organizzatore di numerosi eventi pugilistici di portata internazionale. Attualmente è istruttore degli allenatori di pugilato per la federazione mondiale AIBA.
Dotato di una buona intonazione vocale, nel Febbraio 1988 pubblica un Lp dal titolo "Resterò qui" su etichetta Alpharecords LP AR 3128. L'album include 12 brani di cui 2 firmati, tra gli altri, dallo stesso Oliva. Anche Sergio Menegale,Luigi Albertelli e Cristiano Malgioglio figurano tra gli autori delle canzoni interpretate. A settembre 2013 uscirà nelle sale cinematografiche il film "il Flauto" con la regia di Luciano Capponi che lo vede nel ruolo di protagonista.