W roku 1772 Prusacy zajęli Człuchów i zamek. Przejęcie przez Prusaków człuchowskiej fortyfikacji było początkiem jej końca. Dokonano melioracji przyległego jeziora, przez co poziom wody opadł o 3-4 metry, odsłaniając dno fosy. Pożar miasta w 1793 roku, przypieczętował zagładę człuchowskiej fortyfikacji, gdyż mieszkańcy uzyskali zgodę na rozbiórkę warowni do odbudowy miasta. Ocalała tylko wieża, której nie udało się rozebrać i niewielkie fragmenty murów. Do wieży, na fundamentach dawnej kaplicy zamkowej, dobudowano w latach 1826-1828 neogotycki kościół ewangelicki, do którego podziemi prowadził jeden ze śladów zaginionej "bursztynowej komnaty", rzekomo ukrytej w tym miejscu przez hitlerowców. Nie jest to jedyny sekret człuchowskiego zamku, gdyż człuchowska fortyfikacja nadal kryje wiele tajemnic.