Do IX  wieku zamek był drewnianą fortecą, a te tereny zamieszkiwali Słowianie – biali Chorwaci. Istniało księstwo, na czele którego stał książę Laborets. Kronikarz Gesta Gungarorum odnotowuje, że zamek w Użhorodzie i cała okolica należały do Labortów. Kiedy księstwo zostało zaatakowane przez Madziarów książę Laborets uciekł do swojej odległej twierdzy – Zemplina. W XI wieku użhorodzki zamek był już potężną budowlą obronną, o której sile świadczy fakt, że w 1086 podczas najazdu hordy połowieckiej dowodzonej przez chana Kuteska, która przedarła się przez przełęcze karpackie na niziny naddunajskie, zamek Użhorod wytrzymał oblężenie. W 1312 roku, po tym, jak włoscy bracia Drugeti pomogli królowi Carlowi Robertowi z nowej dynastii Andegawenów stłumić powstanie arcybiskupa Petera Peteni, Karol Robert podarował Drugettim zamek i ziemię w Użhorodzie. W czasie 350-letniego panowania Drugettich na użhorodzkim zamku zaszły wielkie zmiany w sztuce fortyfikacyjnej. Były one spowodowane głównie pojawieniem się nowej broni, a zwłaszcza broni palnej. Wszystko to wymagało radykalnej przebudowy zamku, którą przeprowadzono pod koniec XVI wieku z wykorzystaniem najnowszych osiągnięć sztuki fortyfikacyjnej w Europie. Zamek stał się potężna twierdzą. Jego niedostępność podkreśla przede wszystkim północna strona, którą stanowi masyw wysokich murów, pozbawiony równych strzelnic. Ściany zbudowane są z kamienia.