Taanlane võitis olümpiakulla neljal olümpial järjest, aastatel 1948 - 1960. Tema saavutust on suutnud korrata vaid viis individuaalala sportlast - Al Oerter (kettaheide), Carl Lewis (kaugushüpe), Ben Ainslie (purjetamine), Michael Phelps (ujumine) ja Kaori Icho (maadlus).

Elvstrøm osales kokku kaheksal olümpial, viimati 1988. aastal Seoulis, kui purjetamislegend oli juba vanuses 60. Erakordselt pika ja särava sportlastee jooksul tuli ta 11 korda maailmameistriks.

Paul Elvstrøm tunnistati Taani 20. sajandi parimaks meessportlaseks.