W okolicach Balwierzyszek począł Walery Kamiński gromadzić ponownie oddziałek po Władysławie Cybulskim. W drugiej połowie marca 1863 r. przybył do obozu Leon Kulczycki z Grodna i zajął się energicznie organizacją i musztrowaniem ochotników, których liczba pod koniec miesiąca doszła do przeszło 200 przeważnie urzędników, dawnych wojskowych oficjalistów, mieszczan i kilku młodej szlachty. Dnia 1 kwietnia zbliżając się do stacji kolei powstańcy ujrzeli kompanię Rosjan ustawioną w szyku bojowym. Wywiązała się utarczka ogniowa trwająca godzinę. Kulczycki - były kapitan wojsk rosyjskich, widząc bezskuteczność walki, zakomenderował: „kosynierzy naprzód", na co Rosjanie czym prędzej uciekli, ścigani przez powstańców.
Z całej kompanii rosyjskiej tylko kilkunastu przybyło do stacji kolei, reszta rozbiegła się po lesie. Rosjanie stracili pięciu zabitych i kilkunastu rannych, po stronie powstańców był tylko jeden ranny, szeregowiec Wawrzyniec Cieśliński, cukiernik z Warszawy, który odwieziony do Koźliszek, tam znaleziony przez kozaków został przez nich zamordowany. Tegoż dnia Mroczkowski urządził niedaleko toru kolejowego zasadzkę na Rosjan, przybyłych świeżo z Kowna, lecz nieprzyjaciel ruszył w przeciwną stronę. Po tej potyczce przybył pułkownik Aleksander Andruszkiewicz, zamianowany Naczelnikiem Wojennym Województwa Augustowskiego, były żołnierz z powstania listopadowego. Kamiński zdawszy mu dowództwo udał się pod Tykocin nowy formować oddział.