Til tross for flere svært gode sjanser, spesielt for Moussa Baradji og Yuki Ohashi, fikk Rovers en kalddusj sent i kampen da Stephy Mavidini scoret med bare 12 minutter igjen.
Det ble kampens avgjørende øyeblikk for Gary Rowetts bortelag og sørget for at O’Neill satt igjen irritert over at det ikke ble noen positiv avslutning før sommeren etter en vanskelig sesong.
– Man er alltid skuffet over å tape en kamp, og hjemmeformen vår har vært skuffende, så i dag var en mulighet til å gå ut, levere en god prestasjon og vinne kampen, sa han til RoversTV.
– Jeg var skuffet over hvordan vi spilte i første omgang, og det ga jeg spillerne beskjed om i pausen.
– Endringene hjalp, og jeg synes vi spilte veldig bra i andre omgang og skapte en rekke sjanser, svært gode sjanser, til å ta ledelsen.
– Hadde vi tatt ledelsen, er jeg ikke sikker på om Leicester ville hatt styrken til å slå tilbake slik situasjonen deres er.
– Vi tok ikke vare på det, og vi slipper inn et rotete mål på slutten av kampen, så det er lærdommer der for klubben videre.
– Disse kampene er aldri enkle, men jeg hadde håpet vi skulle vise litt mer, særlig i første omgang.