Vznik křížové cesty má docela romantický nádech. Ne podklady, ale pověst říká, že ústecký tkadlec Augustin Andres, chodící pravidelně se zbožím do Litomyšle, jednoho dne po zdolání nejstrmější části cesty na Andrlův chlum usedl do trávy a usnul. Ve spravedlivém spánku se mu zjevila Panna Marie a vyzvala jej, aby na stráni, po které pravidelně vystoupal, vybudoval křížovou cestu. Když se tkadlec probudil, nevěděl, zda má snu uvěřit. Ale bázeň před Bohem mu dodala odvahy, a když získal po poradě s panem děkanem Janem Leopoldem Mosbenderem jeho podporu a dokonce pomoc ve shánění peněz, dal se do díla. Stavba probíhala v letech 1753 – 1755 a křížová cesta byla panem děkanem vysvěcena 28. října 1755. Kopci, dosud nazývanému Řetovský, se v tomto čase začalo říkat Kalvárie. Povětrnostní vlivy a chybějící údržba vedly ke zkáze tohoto díla, z něhož dnes zůstalo pouze jediné zastavení mezi třináctou a čtrnáctou kaplí. Ano kaplí, protože rozpadlá zastavení staré křížové cesty nahradily v letech 1852 – 1853 zcela nové zděné kapličky. I ty potřebovaly dokonalou údržbu, či spíše renovaci, ke které došlo v devadesátých letech minulého století. Jedenáct jich svými sgrafity vyzdobil ústecký výtvarník Zdeněk Brožek. Poslední tři, dvanáctá, třináctá a čtrnáctá jsou větší a mají poněkud bohatší vnitřní výzdobu. Proto jsou opatřeny uzamykatelnými vraty, která se otevírají jen o významných církevních svátcích nebo na požádání. Ve dvanácté kapli se nachází kovoplastika ukřižovaného Krista od Františka Bečky. Obraz Snímání Krista z kříže instalovaný ve třinácté kapli pochází od Richarda Peška, ve čtrnácté kapli lze zhlédnout napodobení Božího hrobu. Takto opravená a upravená křížová cesta byla vysvěcena 12. června 1994.