Niedaleko Lipicy, Edmund Callier rozdzielił swoje siły i zostawił pułkownika Słupskiego wraz z dowódcą III. oddziału Stanisławem Szumlańskim przy furgonach, sam zaś z resztą oddziału nocował w Konarach. Nad ranem 31 maja 1863 r. od wsi Grodziec ukazał się oddział rosyjski, składający się z pięciu kompanii piechoty i szwadronu kawalerii i od razu uderzył na oddział Słupskiego, odcinając go od Calliera. Wobec cofnięcia się Słupskiego wraz z taborem do Cieświcy, Callier kontrmarszem udał się przez Holendry ku Borowcowi. Wojsko po 36-godzinnych ciągłych marszach było znużone i potrzebowało odpoczynku. Obrawszy przeto bezpieczną pozycję między kilku wzgórzami, ciągnącymi się łańcuchem, wysłał dowódca podjazd po żywność.
Zanim ten jeszcze powrócił, od Borowca wysunął się nowy oddział rosyjski złożony z czterech kompanii piechoty, szwadronu kawalerii i dwóch dział. Pragnąc wyzyskać pozycję, Callier, nie czekając napadu, natychmiast sam wykonał atak, lecz w chwili najbardziej stanowczej kosynierzy nie dotrzymali placu i oddział poszedł w rozsypkę. Przy Callierze pozostało tylko przeszło 100 ludzi. Skrzyńskiemu udało się wycofać z kawalerią. Uchodząc ku Grodźcowi dowiedział się Callier, że siły rosyjskie zdążające z Częstochowy, Piotrkowa, Kutna, Kłodawy, Łęczycy, Konina i Kalisza, w ilości dwóch kompanii piechoty, sześciu szwadronów jazdy, kilku secin kozaków oraz ośmiu dział otoczyły go ze wszystkich stron. Zakopawszy zatem broń rozpuścił oddział, naznaczając punkt zborny. W potyczce pod Borowcem Callier, ze 600 ludzi, których miał jeszcze 28 maja, tylko 200 prowadził do walki, gdyż oddział Słupskiego wraz z całym taborem oddzielił się poprzednio.