Die ersten Wettkämpfe wurden im Jahr 1904 in der US-amerikanischen Stadt St. Louis ausgetragen. Es wurde in nur 7 Gewichtsklassen geboxt. Bei den Olympischen Sommerspielen 1912 in Stockholm wurden kein Boxturnier abgehalten, da Boxen zu diesem Zeitpukt in Schweden verboten war.
Der ungarische Halbmittel– und Mittelgewichtler László Papp und die kubanischen Schwergewichtsler Teófilo Stevenson und Félix Savón sind mit jeweils 3 Goldmedaillen die bisher erfolgreichsten Teilnehmer bei den olympischen Spielen. Die USA sind mit 50 x Gold-, 24 x Silber- und 40 x Bronzemedaillen die bisher erfolgreichste Nation bei Olympia.
Der US-Amerikaner Oliver Kirk ist der bisher einzige Boxer, der bei einem Turnier zwei Goldmedaillen in zwei verschiedenen Gewichtsklassen erringen konnte. Dies gelang ihm bei den 1. Boxwettkämpfen im Bantam- und im Federgewicht. Damals durfte ein Boxer einer leichteren Gewichtsklasse auch in höheren Gewichtsklassen antreten, was sich später änderte.