Nejvyšší vrch nad Krucemburkem se jmenuje Křížový vrch (latinsky Mons Crucis, Hora Kříže) a dosahuje nadmořské výšky 659 metrů. Jméno tohoto vrchu je částečně obsaženo i v názvu Krucemburku. Je možné, že dříve na tomto vrchu stával kříž nebo byl název vrchu odvozen od Krucemburku.
V Krucemburku a okolí nalezneme mnoho křížů, pomníků, náhrobků a jiných památek. Staré kříže a litinové náhrobky nám připomínají umění starých slévačů z dnes již zaniklých hutí na Starém Ransku. Udělejme si pomyslný výlet do okolí Krucemburku a seznamme se s historii těchto památek tak, jak nám je dokladují staré zápisy.
Nejstarší památkou je pískovcový náhrobek, který nalezneme v katolickém kostele. Je to reliéf rytíře Mikuláše Střely z Rokyc, jenž zemřel roku 1543. Další starou památku nalezneme ve štítě kostela, kde je umístěna soška Panny Marie renesančního typu, která zde byla umístěna roku 1739. Před kostelem jsou umístěny tři staré litinové náhrobky, z nichž dva jsou státem chráněné kulturní památky. Tyto náhrobky patřily členům rodiny Jettelů. Václav Jettel byl ředitelem železáren na Starém Ransku. Na východní straně hřbitova jsou umístěny zbytky starých křížů a náhrobků. Je zde i pískovcový náhrobek Augustina Skřivana. Proti věži kostela je umístěn hrob Jana Zrzavého, jeho matky a bratra. Pomník hrobu byl zhotoven dle mistrova návrhu. Vedle hrobky rodiny Binkovy, zbudované dle návrhu architekta Josefa Gočára a ozdobené plastikou sochaře Jana Štursy, je opřen pískovcový náhrobek Anny Skřivanové, která zemřela 13. prosince 1794. Náhrobek i hrobka Binkovy rodiny jsou rovněž zahrnuty do seznamu národních kulturních památek. Na hřbitově najdeme společný hrob vojáků Rudé a Rumunské armády.
Na náměstí pod kostelem je umístěn pomník obětí první a druhé světové války. U pomníku stojí špice dělostřeleckého náboje, která byla odlita v době první světové války v Janáčkově strojírně na Starém Ransku. Od roku 1845 je na náměstí umístěna socha svatého Jana Nepomuckého. Socha pochází z počátku 18. století. Kdo ji zhotovil a věnoval, není známo. Dle starých záznamů z roku 1775 stála socha původně ve spodní části náměstí naproti dnešnímu obecnímu úřadu. Roku 1892 byla postavena okolo sochy litinová oplocenka. Při stavbě této oplocenky byly použity také zbytky schodů od kříže, který stál na levé straně schodů vedoucích ke hřbitovu, v místech nynější farní zahrady.
Na evangelickém hřbitově je umístěn pomník obětem druhé světové války evangelického vyznání od Vincence Makovského.
Nad Krucemburkem byly roku 1778 z podnětu faráře J. Vrby umístěny tři kříže na oslavu života a paměť krucemburských obyvatel a slávu městečka. U cesty nad třemi kříži nalezneme žulový pomník, označující místo, kde byl roku 1926 zavražděn místní katolický farář Antonín Rohlík.
Kříže nalezneme i na jiných místech Krucemburku a jeho okolí. Půjdeme-li po hlavní silnici od náměstí směrem ke Ždírci nad Doubravou, u parku na odbočce na Staré Ransko stál od roku 1867 kříž, který byl bohužel v padesátých letech minulého století odstraněn a zničen. Tento kříž označoval křižovatku silnic. O několik desítek metrů dále směrem na Staré Ransko stojí na okraji parku kříž připomínající tragický osud bratří Janů z Hlinného, kteří zde byli 5. 5. 1945 zastřeleni německými vojáky. Dále směrem k Ransku za mostem stoji další kříž. Máme záznamy, že zde byl kříž postaven roku 1814, podruhé byl postaven na paměť hojné úrody na statku Jana Zrzavého roku 1832. I tento kříž stihla nehoda. V hostinci Na Špici byl vyloučen účastník zábavy. Když se vracel domů na Ransko, přemýšlel, jak by se hostinskému pomstil, proto vyvrátil kříž. K tomuto činu se přiznal až v dopise z Ameriky, kam odešel. Na podstavci nynějšího kříže stojí nadpis: „Kříž tento věnován jest od slévačů železných hutí v Ransku 1870.“ Na mostě Raneckého rybníka stojí starý železný kříž. Na jeho podstavci je nápis, že jej odlili zdejší slévači z knížecí litiny na oslavu čtyřicetiletého panování Františka 1., rakouského císaře.
Vraťme se však do Krucemburku. Při cestě do Benátek v lesíku u cesty je postaven kříž z roku 1896, dříve jej lidé nazývali Teofilův (Toufilův). Postavil jej Antonín Musil (přezdívaný Teofil) na svém pozemku. Kříž byl výrazem kříže jeho domácnosti, odešla od něho žena a nechtěla se k němu vrátit. Poslední z křížů nalezneme u silnice k Vojnovu Městci, o jehož vzniku nemáme dokladu. V době kdy chodila procesí, sloužil k zastavení a k modlitbám.