Dillard tuli esmakordselt olümpiavõitjaks 1948. aastal Londonis 100 meetri jooksus ajaga 10,3. Toona tähistas see aeg olümpiarekordi kordamist. Ühtlasi kasutati siis esmakordselt olümpiamängude ajaloos võitja selgitamiseks fotofiniši abi, sest Barney Ewell kaotas Dillardile väga napilt.

Neli aastat hiljem Helsingis tuli Dillard olümpiavõitjaks 110 meetri tõkkejooksus, viies olümpiarekordi 13,7-ni. Ameeriklane on siiani ainus kergejõustiklane, kes on olümpial võidutsenud nii lühikeses sprindis kui tõkkesprindis.

1948. ja 1952. aastal võitis Dillard olümpiakulla ka 4x100 meetri teatejooksudes, viies oma olümpiakuldade arvu neljani.

Ameerika legendaarne sprinter püstitas karjääri jooksul neli maailmarekordit ja tuli 11 korda USA meistriks.