ترس قهرمان از پرواز
یكی از نكاتی كه قبل از این بازی‌ها مشخص شد، این بود كه كلِی اصولا از مسافرت با هواپیما می‌ترسید و حتی به‌دلیل همین ترس نمی‌خواست به المپیك برود. او قبل از این مسابقات سوار هواپیما شده بود ولی سفر به رم اولین مسافرت طولانی او با هواپیما به‌حساب می‌آمد. ترس او از این مساله به‌قدری بود كه چند هفته قبل از اعزام تیم‌ها به رم، او پیگیر این مساله شد كه می‌تواند با قطار یا از طریق كشتی خود را به رم برساند. وقتی او با جواب منفی مسؤولان تیم المپیك روبه‌رو شد، تصمیم گرفت كلا بی‌خیال رفتن به المپیك شود.
آنچه باعث عوض شدن نظر كلِی شد، یك گفت‌وگوی چند‌ساعته با جو مارتین بود. مارتین در آن زمان یك افسر پلیس و مربی بوكس بود. مارتین آن جلسه چند‌ساعته را كه در سنترال پارك لوئیزویل ( محل تولد كلِی) برگزار شد، بعدها این‌گونه توصیف كرد: « ابتدا برای او این مثال را زدم كه یك پسر بچه 12 ساله وقتی می‌خواهد با دزد دوچرخه‌اش مقابله كند، اول باید راه و روش جنگیدن را یاد بگیرد. با او گفتم اگر می‌خواهی به یك قهرمان در ورزش بوكس تبدیل شوی، باید ترس پرواز را كنار گذاشته، به رم سفر كرده و مدال طلا را كسب كند.‌«
كلِی بعد از آن جلسه گرچه نظرش عوض شد، اما سفرش به رم با همه ورزشكاران تفاوت داشت. او قبل از سفر به یك مركز فروش تجهیزات نظامی رفت و یك چتر نجات پیشرفته خرید. بنا به گفته دیگر ورزشكاران، او در طول پرواز در حالی كه چتر نجات را پشتش بسته بود، دائما در حال دعا خواندن بود. یكی از نكات جالب اینجاست كه كلِی برای دور كردن این ترس از خود، در چند ساعت پرواز همواره به این نكته اشاره می‌كرد كه به‌راحتی به مدال طلای المپیك می‌رسد.
تمرینات عجیب
تصور می‌شود فردی كه در 18 سالگی به مدال طلای المپیك رسیده، كلی برنامه منسجم و دقیق داشته كه محصول فكر تعداد زیادی تئوريسین ورزشی و همچنین مربیان كاركشته بوده است؛ اما در مورد كلِی اصلا از این خبرها نبود. او یك برنامه شخصی و البته سخت داشت كه خودش تا آخرین لحظه به آن پایبند بود.
بنا به گفته نزدیكان، او قبل از طلوع آفتاب برای تمرین و دویدن از خانه بیرون می‌زد و وقتی به خانه می‌آمد دیگر خبری از روشنی روز نبود. جان پاول كه آن روزها در یكی از كافه‌های لوئیزويل به عنوان خدمتكار بود، در این‌باره می‌گوید: «هر روز صبح شبح فردی در حال دویدن از جلوی مغازه رد می‌شد و غروب همین شبح باز از جلوی چشمان‌مان عبور می‌كرد. كلِی یك روز به من گفت كه در آینده هم من قهرمان بوكس جهان می‌شوم و هم تو صاحب این كافه. ادعایی كه چند سال بعد هر دویش محقق شد.»  
شهردار دهكده المپیك
قبل از بازی‌ها، تیم ورزشی آمریكا گرچه كلِی را به‌عنوان یكی از شانس‌های المپیك معرفی كرده بود اما خودشان چندان به این مساله ایمان نداشتند. برای خیلی‌ها سخت بود كه یك جوان 18 ساله و ناشناخته بتواند به چنین موفقیتی برسد. همین ناشناخته بودن باعث شد رفتار جالب و البته عجیبی از كلِی سر بزند. او در طول بازی‌ها، بسیاری از ساعات روز را در دهكده المپیك پیاده‌روی می‌كرد و با سر زدن به تیم‌های دیگر كشورها، خودش را برای آنها به صورت حضوری معرفی می‌كرد.
همین مساله باعث شده بود كه برخی خبرنگاران به او لقب « شهردار دهكده المپیك » را بدهند. حتی بعضی می‌گفتند اگر در دهكده المپیك انتخابات برگزار می‌شد، كلِی بدون شك در انتخابات برنده بود زیرا با همین معرفی‌های حضوری بیش از هر فرد دیگری شناخته شده بود. دیوید ماریناس در كتاب خود با نام «‌ رم 1960، المپیكی كه دنیا را تغییر داد‌» به این مساله اشاره كرد كه در آن بازی‌ها این مردمان نبودند كه به‌دنبال كلِی باشند، بلكه محمد علی بود كه دنبال مردم‌می‌گشت.  
بردهای قاطع
با تمام این شرایط، كلِی 18 ساله به بازی‌های سبك‌وزن المپیك رسید. بازی اول مقابل یك بوكسور بلژیكی به نام ایوان بكاوس بود كه داور در راند دوم دست كلِی را به عنوان پیروز بالا برد. در بازی دوم او با امتیاز قاطع توانست گنادی شاتكوف روس را شكست دهد كه در المپیك 1956 ملبورن به مدال طلا رسیده بود.
حریف او در بازی نیمه‌نهایی تونی مادیگان استرالیایی بود كه او همچون دو حریف قبلی حرفی برای گفتن مقابل كلِی نداشت. حریف بازی فینال از همه شناخته‌‌شده‌تر بود. زیبیگنیو پیتریژكوفسكی لهستانی در حالی آن شب وارد رینگ شد كه سه مدال المپیك و چهار قهرمانی اروپا را در كارنامه‌اش داشت. تاثیر شكست پیتریژكوفسكی مقابل كلِی به‌قدری بود كه بعد از آن هر‌وقت اسم این قهرمان لهستانی مطرح می‌شد، كسی به افتخارات او اشاره نمی‌كرد و فقط با یك جمله او توصیف می‌شد: بوكسوری كه در اوج قدرت، مقابل كلِی 18 ساله باخت.
خیلی‌ها می‌گویند تصویری كه از سكوی قهرمانی آن شب در رسانه‌های دنیا پخش شد، نماد یك تغییر بود كه نه فقط دنیای حرفه‌ای بوكس بلكه جامعه را نیز تغییر داد. روی سكوی نخست جوانی 18 ساله ایستاده بود كه در اطرافش ورزشكارانی به چشم می‌آمد كه به نسل گذشته وابسته بودند و همین سكوی نقطه پایان حرفه‌ای‌شان بود.
بعد از آن بازی، چیزی كه خود كلِی انتظارش را نداشت، استقبال گسترده مردم آمریكا از این مدال طلا بود. كلِی در خاطراتش می‌گوید كه به‌هیچ‌وجه باور نمی‌كرد مردان و زنان زیادی برای دیدن و تشویق او به فرودگاه آمده باشند.
نكته جالب اینجاست كه سال‌های بعد مشخص شد كلِی همین مدال طلا را گم كرده است و بنا به گفته خودش، آن را جایی گذاشته بود كه هرگز مكان آن به یادش نیامد.