У березні 1241 року монголо-татари ввірвалися в Угорщину та цілковито зруйнували укріплення в Невицьку. У другій половині XIII століття замок було відбудовано, а в 1279 році угорський король Ласло IV (1274–1290) передав його управління трансільванському воєводі Фінті з роду Обо. На зламіі XIII–XIV століть на місці круглої башти збудовано новий чотирикутний донжон, а біля нього колодязь для збору дощової води завглибшки 4,5 м. Нова епоха в історії замку розпочинається в 1328 році, коли Карл Роберт передає його спочатку в тимчасове, а з 1333 року в постійне володіння роду Другетів. Дарчу грамоту Другетам у 1343 році засвідчив новий угорський король Людвік I Великий. Із того часу і аж до моменту занепаду фортеці в середині XVII століття саме Другети володіли замком. До середини XV століття Невицький замок тільки номінально вважався центром володінь Другетів на цих теренах. Так насправді, від імені роду керував замком каштелян. Ситуація змінилася, коли 1440 року в Угорщині розпочалася громадянська війна, і Другети знов стали помітними фігурами в політичному житті країни. Постійні військові сутички, поширення вогнепальної зброї змусили Другетів суттєво перебудувати та значно укріпити Невицький замок. Професор Едуард Балагурі, провідний учений Інституту карпатознавства Ужгородського національного університету, писав, що археолого-архітектурні дослідження вказують, що десь на зламі XV і XVI століть замок набуває сучасного вигляду. Дослідження свідчать, що зі східної сторони існувала третя захисна лінія, яка складалася з валів та дерев’яно-глиняних конструкцій. Вали закривали трапецієподібний простір із двома напівкруглими бастіонами. Залишки цих валів добре простежуються дотепер. Між другою та третьою захисними лініями існував невеличкий посад, де проживали та працювали ремісники. У разі нападу ворогів населення ховалося за надійними замковими мурами. 1879 року поруч із замком заклали сад Ваґнера (на честь угорського вченого Карла Ваґнера) та спорудили фонтан із природним тиском води. У ніч на 11 березня 2019 року дах триповерхової вежі Донжон обвалився через сильний буревій. У 2018-2020 роках проведено невідкладні реставраційні роботи Невицького замку.