Enne teist maailmasõda puudusid eri olümpiatelt paljud riigid, kuid tavaliselt oli tegu majanduslike, mitte poliitiliste põhjustega. Näiteks pidas mitu Euroopa riiki liiga kulukaks St. Louise (1904) või Los Angelese (1932) olümpial osalemist.

Hoopis tähtsam on tõsiasi, et pärast viit olümpiat jäi kuues (1916) esimese maailmasõja tõttu ära. Vana-Kreekas katkestati sõjad olümpiamängude ajaks, aga 20. sajandil riigid sellisele kokkuleppele ei jõudnud ja seetõtt jäid ära ka 1940. ja 1944. aasta olümpia.