Сейчас это вроде бы вполне безобидное выражение. А когда-то оно связывалось с позорным наказанием. Во времена Ивана Грозного провинившегося боярина сажали задом наперед на лошадь в вывернутой наизнанку одежде и в таком виде, опозоренного, возили по городу под свист и насмешки уличной толпы.