Andrlův chlum se svojí nadmořskou výškou 559 metrů byl vždy ideálním místem pro vybudování rozhledny, ze které by se dala obdivovat okolní krajina. Ke zřízení první rozhledny na tomto místě dal podnět Okrašlovací spolek v Ústí nad Orlicí. Vzorem pro jejich záměr se staly rozhledny na Vrchmezí a Bouzově. Přednost dostal bouzovský typ. Stavitel Josef Hernych vypracoval projekt na dřevěnou konstrukci a zhotovil rozpočet. V srpnu 1905 byla stavba podle jeho plánů dokončena a otevřena pro veřejnost. Majitelem a provozovatelem se stal Okrašlovací spolek. Úhledná a hojně navštěvovaná rozhledna vydržela do 17. dubna 1918, kdy nečekaně celá shořela. Ke stavbě druhé rozhledny dal až v roce 1941 popud Klub českých turistů. Ten úspěšně jednal se Zeměpisným ústavem ministerstva vnitra o možnosti postavit na Andrlově chlumu dřevěnou triangulační věž, ale doplněnou vyhlídkovou plošinou a schodištěm se zábradlím. Samozřejmě, že tyto vícenáklady měl uhradit Klub českých turistů. Dohoda byla uzavřena a 35 metrů vysoká, opět dřevěná rozhledna, se v září roku 1941 dočkala otevření. Letité povětrnostní vlivy vedly k její postupné destrukci, která byla završena stržením rozpadající se konstrukce v roce 1954. Třetí rozhledna je výsledkem společného projektu města Ústí nad Orlicí a jeho čtyř dalších partnerů. Projektantem víceúčelové telekomunikační věže s rozhlednou se stal ing. Janota. Ocelová konstrukce je vysoká 49,6 metrů, vyhlídková plošina se nachází ve výšce 34,6 metrů. Rozhledna, familiérně nazývaná Stříbrná krasavice, byla slavnostně otevřena 19. 5 1996. Jejím provozováním pro veřejnost byl pověřen Klub českých turistů v Ústí nad Orlicí. Z rozhledny lze za dobrého počasí zhlédnout Orlické hory, Krkonoše, Králický Sněžník a hřebeny Svitavské pahorkatiny.