Під час фашистської окупації Козлівка була місцем переховування багатьох утікачів і знедолених. За таких прикрих умов упродовж 1940-1941 років, на запрошення Ядвиги і Олександра Замойських, у палаці перебував ксьондз Стефан Вишинський, Єпископ Польщі. На знак тих подій 2001 року група шкіл у Камйонці отримала патроната – Кардинала Стефана Вишинського. Під час другої світової війни дружина Олександра, Ядвіга Замойська, рятуючи найцінніші родинні скарби (адже наближалася лінія фронту), вивезла їх до Варшави. Не зважаючи на це, багато з них згоріли під час Варшавського повстання 1944 року. Водночас 31 липня 1944 року Козліву було визволено відділами 27 волинської дивізії Армії крайової, які уже через два дні були роззброєні червоною армією. 1944 року палацовий комплекс перейшов у власність держави та було створено перший музей на визволених землях. Упродовж 1955-1977 років це був не музей, а швидше – музейне сховище. Спадщина цього періоду – галерея «соцреалістичного мистецтва». На сьогодні, музей відреставровано, що заохочує до відвідин туристами із Польщі та інших країн. Останнім часом відкрито було ще й возівню. До палацового комплексу входять: головна частина палацу (будинки-близнюки), каплиця, театр, кухня, дві караульні, а також стайні та возівня. Цілісності споруді додає в’їзна брама. У східній частині палацу розміщений парк, де можна знайти чарівні пішохідні доріжки, фонтан і пам’ятник французьким воїнам наполеонівської кампанії 1812 року. На південь від Козлівки розкинувся лісовий комплекс під назвою – Козлівські ліси. У південній частині яких знаходиться природний заповідник «Козячі гори», де ростуть стародавні 250-річні дуби заввишки 30 метрів. Заповідник – це оазис рослин і тварин.