Mimo zduszenia powstania na Litwie, generał - gubernator Wilna wcale nie miał pewnej pozycji. Dymisji obawiał się już pod koniec 1863 r. By ją uprzedzić, lub sprawdzić swoją pozycję sam poprosił cara o zwolnienie z obowiązków. „Ponieważ w listopadzie 1863 r. powstanie zupełnie już było uśmierzone we wszystkich powierzonych mi guberniach (...) przeto uznałem za stosowne opuścić ten kraj, zwłaszcza, iż stan zdrowia mego znacznie się pogorszył (…) prosiłem go o uwolnienie mnie od zarządzania krajem” – pisał w pamiętnikach. Wówczas jednak Aleksander II dymisji nie przyjął. Nad Wieszatielem zbierały się jednak ciemne chmury. „Pomyślne skutki działania mojego dla stłumienia powstania, zrobiły bardzo dobre wrażenie na cesarzu, podniosły ducha partyi rosyjskiej i znacznie ją wzmocniły, ale zarazem powiększyły liczbę zaciętych moich wrogów, a zwłaszcza gorliwych adeptów propagandy polskiej. Mniej oni byli niebezpieczni w kraju zachodnim, niż w Petersburgu i w Rosyi”. Wrogowie Murawiewa byli rzeczywiście potężni, a wieści o okrucieństwie generał-gubernatora – jak słusznie pisał – zyskiwały mu w stolicy imperium zarówno poklask, jak i niechęć. Dlatego wiosną 1864 r. Murawiew znów poczuł się zagrożony. Pojechał do Petersburga i poprosił o audiencję u cesarza „kładąc na szalę swoją osobistą przewagę i wpływ na cesarza” – pisał Walery Przyborowski w „Ostatnich chwilach powstania”. Podczas dwóch audiencji 8 i 25 kwietnia – jak pisze Przyborowski – nie przekonał cara. Jego dymisja została podpisana. Murawiew jednak pozostał generał-gubernatorem jeszcze przez kilka miesięcy. Ze stanowiska ustąpił dopiero w 1865 r. Zmarł rok później w Petersburgu. W czasie niespełna dwuletnich rządów na Litwie na śmierć skazał ponad 120 osób, 4,5 tys. skazał na zesłanie, a ponad 4 tys. karnie zostało wcielonych do wojska.