规模最小的奥运会是1904年7月1日到10月29日在美国圣路易城举行的第三届奥运会。参加比赛的只有来自12个国家的625名运动员，其中女运动员8名。而东道主美国队就占了533人。这是因为前往圣路易城的交通不便，旅费昂贵，因此，法国及其他几个欧洲国家都没有派人参加。即便是派队参加的英国、澳大利亚、德国、瑞士、匈牙利、希腊等几国，也只派了几名代表，加在一起只有39名运动员。由于上述原因，导致了一些项目如拳击、自由式摔跤、射箭、水球等，成为美国选手内部之间的竞争。这次奥运会是参赛国家和参赛人数最少的一次。