Los wielkiego księcia jako namiestnika Królestwa był przesądzony. Już w lutym 1863 roku namawiano Konstantego, by złożył dymisję i opuścił Warszawę. Ostateczną decyzję car podjął zapewne po bitwie żyrzyńskiej. „Wysłany został do Warszawy admirał Ludtke z temże drażliwem poruczeniem [...]. Cały tydzień strawił na przedstawianiu wielkiemu księciu konieczności opuszczenia Warszawy i zajmowanego stanowiska, na które powołany zwykły generał, łatwiej przeprowadzi potrzebne zarządzenia i środki, za przykre dla członka rodziny cesarskiej” – pisał rosyjski dziennikarz i historyk Nikołaj Berg. Konstanty, a zwłaszcza jego żona, nie chcieli o tym słyszeć. „Wielki książę milczał, wielka księżna płakała i zamykała się w swych prywatnych apartamentach, skarżąc się przed zaufanymi, że »ich chcą zmusić do wyjazdu, ale to niemożliwe, niemożliwe, niemożliwe!«” – pisał Berg. Patową sytuację przerwał telegram cara Aleksandra, który 22 sierpnia wezwał brata do Carskiego Sioła. „W Petersburgu tymczasem Konstanty spotkał się z lodowatym przyjęciem dworaków, którzy odwracali się od carskiego brata w niełasce” – pisał prof. Stefan Kieniewicz w monografii Powstania Styczniowego. „Wywarł na mnie jak najsmutniejsze, żałosne wrażenie. Porucznik piechoty liniowej nie mógłby rozumować w sposób tak nieprzyzwoicie niedorzeczny. W takich to rękach Królestwo Polskie w takiej chwili! Nie rozumiem co się z nim stało. Bywał kiedyś rozumny i rzeczowy mimo wielu braków. W czyje wpadł ręce? Co robił przez ten czas?” – zastanawiał się w dzienniku Piotr Wałujew, minister spraw wewnętrznych. Ponieważ Konstanty uparcie odmawiał podania się do dymisji, zgodzono się, że weźmie urlop dla poratowania zdrowia. Car postanowił, że trzeba działać zdecydowanie – uznał, że powstanie ma być zdławione przy pomocy „najsurowszej dyktatury wojskowej” przed wiosną, a to z powodu wciąż realnej groźby wybuchu wojny europejskiej. Tymczasową władzę przejął obecny w Królestwie od kilku miesięcy gen. Fiodor Berg. Konstanty wrócił do Warszawy 4 września. Cztery dni później opuścił ją na zawsze.
