Маленький Конноли очень любил спорт, особенно легкую атлетику и, конечно, американский футбол. В Гарварде, где он учился, он продолжал тренироваться, но поехав на Олимпиаду, разрушил планы на свое образование. За пропуски учебы его отчислили из Университета.
Золотую медаль Конноли выиграл в тройном прыжке, с огромным преимуществом заняв первое место. Его результат сегодня может показать смешным, но в то время это был просто выдающийся результат – 13,71 м. Соревнованиями в тройном прыжке открывалась программа Олимпиады, таким образом Джеймс Конноли стал самым первым олимпийским чемпионом в истории современных Олимпийских Игр. Случилось это 6 апреля 1896 года.
Затем он поучаствовал еще в двух видах программы и тоже в прыжках. В соревнованиях по прыжкам в длину он стал третьим (результат 5,84 м), а в прыжках в высоту – вторым (1,65 м).
На следующих Олимпийских Играх защитить свой титул Джеймс Конноли не смог, хоть и пытался. После победной Олимпиады первый чемпион участвовал в Испано-Американской войне, работал журналистом и написал несколько книг, за что получил ученое звание (докторскую степень) от Гарвардского Университета.
Умер в возрасте 88 лет. В его честь, в одном из парков на юге Бостона, поставили его скульптуру, на которой он изображён в момент приземления после прыжка.