Hrádeček, tak se důvěrně říká vyhledávanému poutnímu místu, se kterým je po mnoho let úzce spojováno město Vlašim. Náš Hrádek leží na břehu Blanice, říčky pramenící na Podblanicku vlévající se do Sázavy. Prvořadá je pro Hrádek úcta k věhlasné milostné gotické sošce Panny Marie, označované „Máti podblanického lidu“.
První zpráva o hrádeckém kostele je z roku 1386. V nejstarších dobách byla pro zdejší svatostánek sv. Matouše důležitá hrádecká tvrz, jejíž majitelé měli ke kostelu patronátní právo, nevíme však, o kterou se jednalo. August Sedláček totiž uvádí na Hrádku tvrze dvě. První, tzv. Vyšehrad stával západně od kostela, byl vypálen roku 1467 a zbyl po něm pouze sklep tesaný ve skále. Druhým tvrzištěm je Kočičí hrádek, který byl geodeticky zaměřen roku 2006.
Hrádek s pustou a patrně vypálenou tvrzí i se vsí Ctiboř získalo koupí v roce 1547 město Vlašim, což bylo roku 1549 zapsáno do desek zemských. Z odkazu vlašimského měšťana Václava Klobásy st. byla ke kostelu po roce 1681 přistavěna pro milostnou sochu Panny Marie boční kaple, a krátce na to i protilehlá kaple, která je zasvěcena sv. Josefovi, čímž získal půdorys kostela podobu kříže. Kamenná věž byla původně kryta šindelem a pochází dle Vlasáka z roku 1765. Za vlády císaře Josefa II. roku 1787 byl na hrádecké lokálii ustanoven farářem Jan Antonín Šafránek, který tu působil deset let a je zde pochován.
Nevyřešeným problémem zůstává, zda hrádecké poutní místo vzniklo teprve v období rekatolizace, nebo se jedná o mariánskou úctu dřívější. Variantu, že Hrádek byl náhradou za husitský Kostelík na nedaleké Kladrubské hůře, upřednostňoval P. Antonín Norbert Vlasák. Zastáncem druhého názoru, že zdejší uctívání Panny Marie je staršího data, byl kněz, také působící na Hrádku, František Věk Kamarýt. Svoji úvahu o stáří hrádecké mariánské úcty odvozuje P. Kamarýt mj. od zdejšího zvonu, který vážil přibližně 13 g a měl okolo koruny nápis: LETHA PANIE MDLV (1555) SLIT GEST TENTO ZWON KE CTI A CHWALE PANV BOHV Y WSSI RZISSI NEBESKE W MIESTIE BENESSOWIE SKRZE MNE MATIEGE SPIZEZALOZIENI PANNY MARYE I WSSY OSADIE CZTIBORZSKE. Běžným pravidlem bývalo, že největší zvon byl pojmenován po tom světci, jemuž byl objekt zasvěcen, což dokládá neobyčejnou mariánskou úctu.

Fragment z nové knihy Hrádek, Poutní místo Navštívení Panny Marie,
PhDr. Aleny Janátové a P. Wladyslawa Ciaglo MIC
Podle Knihy pamětní osady Hrádecké sahají kořeny místa do „oné šedé dávnověkosti, z kteréžto žádné památky se nám nezachovaly“. Strategicky zajímavá poloha hrádeckého ostrohu byla zřejmě důvodem, proč tu „v době předhistorické“ vzniklo hradiště. Později – podle Julia Košnáře patrně v 11. nebo 12. století – zde byla zbudována tvrz. … Osud tvrze je bezprostředně spjat s osudem jejích obyvatel. „Kdo ji stavěl a kdo ji založil, těžko udati, ježto jen toliko víme, že kolem polovice čtrnáctého věku sídlili zde »páni z Hrádku«, kteří od Karla IV. za svou udatnost na rytíře byli pasováni.“ Existuje zřejmě rodová spřízněnost mezi majiteli Hrádku a Vlašimi. Zastáncem této myšlenky byl Augustin Sedláček. Také Fr. Aug. Slavík na toto téma píše: „Bylať naše krajina Blanická a Sázavská již od starodávna zalidněna a vzdělána. Patřila z veliké části knížecímu rodu Vlastislavicův, jenž tu na rozličných panstvích i v pozdějších dobách žil, maje rozličná jména, ale stejný znak. … Ve znaku měli všichni potomci tohoto knížecího rodu orlici, původní to znak české země, jaký bývá viděti na sochách a obrazích sv. Vácslava. … V naší krajině sídlili jeho potomci mimo Vlašim: na Hrádku (jednoho z nich, Fikuléře z Hrádku, připomíná dosud jméno jedné strany pozemků „ve Fikulířích“), …“ Ani o hrádeckém kostele nelze pro nedostatek pramenů říci, kdy přesně byl postaven. Jisté však je, že v 50. letech 14. století zde již – zásluhou pánů z Hrádku – jako farní kostel děkanátu štěpánovského stál, byl zasvěcen sv. apoštolu a evangelistovi Matoušovi a měl vlastního duchovního správce (plebána), který „devět grošů pololetního desátku králi odváděl. K jeho výživě vykázány byly tehdy ony pozemky: role, luka a lesy, jež nyní kostelu zdejšímu náležejí, i pak desátek, jejž děkan vlašimský užívá, a jiné nepovědomé důchody.“ Nejstarší písemná památka týkající se Hrádku pochází z roku 1356: „Dne 12. máje 1356 kněz Václav Mikulášův z Dobřan ku podání patronů Markvarta a Bohuslava, bratří z Hrádku, potvrzen jest za faráře na Hrádek, děkan Štěpánovský k úvodu mu dán.“
Z roku 1369 je v Knihách konfirmačních arcidiecese Pražské zachována písemná zmínka o urozeném pánu Proczku de Hrádek – Proškovi nebo Pročkovi z Hrádku, roku 1372 jsou vzpomenuti stateční rytíři Prošek a Markvart, v letech 1386–1417 spravovali Hrádek panošové Bohuněk a Jan. „Z okolnosti té, že bratří Proček a Markvart z Hrádku titule statečných rytířů i urozených pánů v listinách užívají, vysvítá, že skutečně od svého krále, totiž Karla IV., pro své zvláštní osobní zásluhy a prokázanou udatnost v bojích na rytířství pasováni byli, ačkoliv z nedostatku pramenů udati neumíme do podrobna, jaké by to zásluzápadní sjednocenéhy byly. Nicméně vysvítá z toho, že rod rytířů z Hrádku toho času mezi přední rody země české náležel. Potomek jednoho z bratří výš uvedených byl vladyka čili panoš Bohuněk z Hrádku (připomíná se k rokům 1386–1391 jako pán podací kostela hrádeckého), který tedy nebyl více rytířem, jelikož hodnost rytířská toho času ještě nebývala dědičná.“ … A jaký byl v onom 14. století – tedy v čase pro Hrádek zřejmě konstitutivním – osud hrádecké Madony? Odpověď nám nedává žádná historicky podložená zpráva, ale legenda, „která dí, že už za blahé doby Karla IV. kostel hrádecký byl znám v celém okolí, ježto v chrámě tomto na oltáři nacházela se milostná socha Panny Marie, kterou sem Arnošt z Pardubic daroval a již lid neobyčejně uctíval, přicházeje na Hrádek z celého kraje.“