现代奥林匹克运动传入中国并取得发展，经历了一个漫长的过程。1894年，第1届奥运会筹备时，国际奥委会曾向中国发了邀请。当时的清王朝对奥运会一点儿也不了解，没有回复。1906年，著名的教育家张伯苓在天津学界运动会发奖仪式上，以奥林匹克为题发表了著名演说，建议中国也应组队参加奥运会。1908年，伦敦奥运会后，天津一家报纸再次介绍奥林匹克运动的历史，还提出了要争取这一体育盛会在中国举行的主张。1910年，在“争取早日参加奥运会”和“争取早日在中国举办奥运会”的口号鼓舞下，在南京举办了中国历史上第一次全国运动会——“全国学校区分队第一次体育同盟会”。1913年开始举办的远东运动会，是奥林匹克运动在亚洲的先驱，中国是发起者之一。在远东运动会上，中国运动员取得了较好的成绩。1915年，国际奥委会致电远东运动会组委会，承队了远东体协，并邀请中国参加下届奥运会和奥委会。1922年，青年会协会总干事王正廷被国际奥委会选为国际奥委会的中国委员，他是国际奥委会中第一个中国委员。1924年，中华全国体育协进会成立。之后，中国陆续加入了田径、游泳、体操、网球、举重、拳击、足球、篮球等8个国际单项体育联合会。1931年，当时的中华全国体育协进会被国际奥委会承认为“中国奥林匹克委员会”。中国正式成为国际奥委会会员。

　　新中国成立后，1954年5月，在雅典举行的第49届国际奥委会全会上，通过决议继续承认中国奥委会是国际奥委会会员，但是，在1956年第16届奥运会时，由于国际奥委会某些负责人制造“两个中国”，中国奥委会没有派代表团参加奥运会。1958年8月，中国奥委会宣布与国际奥委会断绝关系。1979年11月26日，经国际奥委会全体委员表决，又恢复了中国奥委会在国际奥委会中的合法地位。设在台北的奥委会不能代表国家，只作为中国的一个地区体育机构，用“中国台北奥林匹克委员会”的名称留在国际奥委会内。