Як стверджує Ян Длугош, замок у Казімежі Дольному було зведено в 40-х роках XIV століття за сприяння Казимира Великого. Він розташований на пагорбі поряд самотньої вежі, яку побудовано ще за часів Владислава Локетка. В єдності вони становили комплекс оборонних споруд від татарських навал, однак у них було розміщено і річковий маяк, і місця митного нагляду та навіть перевірка руху кораблів Віслою. У XV столітті замок зазнав свого розквіту та розбудови, а на початку XVI століття король Олександр Ягелончик перетворив Казімеж на адміністративну одиницю, яку пізніше було передано заможним родинам і родам Речі Посполитої. У 1509-1644 роках функцію старости виконував рід Фірлеїв. Представники цього роду, зокрема Микола Фірлей – великий коронний гетьман і каштелян Кракова у 30-х роках XVI століття, організував перебудову замку відповідно до тодішньої моди – у стилі італійського ренесансу. Керівниками проєкту були найбільш знані архітектори Польщі того часу: Санті Гуччі та Петро Лікіель.