Arcybiskup Feliński, choć odcinał się od ruchu zbrojnego, od dłuższego czasu miał na pieńku z władzami Królestwa Polskiego, przede wszystkim wielkim księciem. Konstanty miał do duchownego pretensje o dymisje z Rady Stanu – cywilnego rządu Królestwa. W maju doszło do kolejnego poważnego sporu w związku z planowanymi ulicznymi procesjami urządzanymi zwyczajowo w Boże Ciało. „Konstanty zakazał, procesji powołując się na stan wojenny – pisał prof. Stefan Kieniewicz w Powstaniu styczniowym – Ale Feliński się uparł; zasłaniając się prawami kościelnymi, oświadczył, że gotów jest sam poprowadzić procesję uliczną, naprzeciw bagnetom i salwom armatnim”. Po kilku dniach Konstanty ustąpił. Niewiele później wybuchł nowy skandal. Feliński napisał poufny memoriał do cara, który jednak przedostał się do prasy francuskiej. Sugerował w nim m.in. oddanie polskiej korony Konstantemu. Brat cara – posądzany zresztą o takie ambicje w Petersburgu – wpadł w furię. Zatrzymał memoriał i wystąpił z wnioskiem o wyprawienie krnąbrnego duchownego do stolicy imperium. Do tego konfirmował wyrok śmierci na księdza Agrypina Konarskiego. Zażądał od arcybiskupa zdjęcia ze skazanego sakry kapłańskiej, ale Feliński odmówił. Mimo to wyrok został wykonany. „Arcybiskupowi Felińskiemu podobno – pisał »Dziennik Poznański« – w. ks. Konstanty ostre czynił wyrzuty, wspominając coś o nieposłuszeństwie, i to spowodowało wysłanie Felińskiego do Petersburga, które uskuteczniono w dniu 14 czerwca pod strażą wojskową. Przed wyjazdem ks. arcybiskupa, ścisłą u niego odbyto rewizyą, ale nie znaleziono nic podejrzanego”. Sam Konstanty podkreślał, że ukarał arcybiskupa za wykroczenia natury politycznej, a nie za sprawy wiary. „W wilię wyjazdu jakaś nieznajoma dama podała mi list bezimienny, w którym ostrzegano mię, że już zdecydowano w Petersburgu, aby mię zesłać do Jarosławia radzono mi przeto uciekać raczej za granicę i obiecywano ułatwić ucieczkę” – pisał Feliński w pamiętnikach. Odmówił. Pod strażą pojechał do rezydencji cara pod Petersburgiem, gdzie otrzymał od cara nakaz osiedlenia się w Jarosławiu. Na wygnaniu przebywał dwadzieścia lat.
