Pod koniec 1001r. Benedykt i Jan w towarzystwie kilku innych młodych zakonników wyruszyli w drogę do Polski. Przez pewien czas towarzyszył im św. Bruno, potem jednak jego droga powiodła do Rzymu, gdzie otrzymał sakrę biskupią i legat na prowadzenie misji. Tymczasem mnisi dotarli do kraju Polan, gdzie zostali serdecznie powitani przez księcia Bolesława. Żywot Pięciu Braci nie podaje nazwy miejscowości, w której się osiedlili. Miała to być samotnia pośród lasów na ziemi chrześcijańskiej w pobliżu pogan. Pustelnia miała być utrzymywana przez najbliższą wieś, której książę Bolesław przypisał ten obowiązek. Uważa się, że miejscem pustelni była wieś Święty Wojciech (Wojciechowo), leżąca w odległości ponad kilometra od Międzyrzecza na prawym brzegu Obry, dopływu Warty. Wydaje się być najbardziej prawdopodobnym miejscem osiedlenia kamedułów, ponieważ wspominają o nim teksty źródłowe z czasów Bolesława Chrobrego oraz kronika Thietmara. Mniej przekonująca jest teza, jakoby miał to być Kazimierz pod Koninem lub Kazimierz między Szamotułami a Poznaniem, gdzie nie ma wzmianek źródłowych.
Bolesław Chrobry daje św. Benedyktowi 10 funtów srebra, Stefan Chmiel (1962)
Bracia w Polsce zorganizowali sobie pracę na wzór pustelni w Pereum. Postawili przed sobą trzy główne cele swojej pracy. Pierwszym było przyjmowanie nowicjuszy i kształcenie do życia zakonnego. Drugim celem było przyjmowanie przybywających z zagranicy zakonników, którzy pragnęli w Polsce prowadzić życie pustelnicze. Poza gorliwą modlitwą i pokutą prowadzili także studia filozoficzne. Trzecim wreszcie celem była praca misyjna wśród pogańskich Wieletów i Pomorzan.
Po przybyciu do Polski dołączyli do pustelników dwaj Polacy: Izaak i Mateusz. Dziś nie wiadomo o nich prawie nic. Św. Bruno określa ich jako "z kraju i mowy słowiańskiej". Wiemy też, że byli rodzonymi braćmi. Izaak, prawdopodobnie starszy z braci, urodził się około 975r. Wychowywali się w rodzinie chrześcijańskiej, prawdopodobnie w środowisku dworskim, odznaczającym się żarliwą religijnością. Miarą tej religijności miało być to, że nie tylko obaj bracia zostali zakonnikami, ale także ich siostry poświęciły się życiu mniszemu.
Zamieszkał z nimi także młody chłopak, Krystyn (zwany także czasem Kryspinem, z łaciny Christianus). O nim wiemy jedynie, że urodził się około 980r. i najprawdopodobniej pochodził ze wsi, obok której powstała pustelnia. Jako młody brat-laik został w eremie sługą i kucharzem.
W jakiś czas potem dołączył do nich jeszcze jeden zakonnik z Włoch, Barnaba. Jednak podczas męczeństwa pięciu braci nie był obecny w pustelni. Stąd jednak czasem nieuważni przepisywacze historii twierdzą, że męczenników było sześciu. Mylona jest także data i na tej omyłkowej dacie – 1005r. – oparł swój tekst Jan Długosz w swoich Dziejach Polski. Z powodu tych omyłek i przeinaczeń jeszcze trudniej dziś ustalić, jak wyglądała prawda o życiu eremitów w Polsce.
Wiadomo, że Benedykt i Jan uczyli się języka polskiego. Lepiej szło Janowi i z reguły to on zabierał głos w imieniu ich obu w kontaktach z Polakami. Bracia przyjęli także lokalną obyczajowość polską, szybko przystosowując się w sposobie bycia, wyglądzie i ubiorze do ludzi, wśród których miało upływać ich życie.
Zbójcy mordują mnichów, polichromia autorstwa A. Kankowskiego ze sklepienia nawy głównej kościoła w Kazimierzu Biskupim
Zachowały się nieliczne przekazy o świętości życia braci. Podobno pewnego razu na targu pewna kobieta ofiarowała zakonnikom łososia. Bracia zjedli go ze smakiem, dziękując Bogu, a następnego dnia znaleźli takiego samego łososia w znajdującej się nieopodal sadzawce. Podobno cudowny łosoś regularnie żywił eremitów i odrastał, a woda w sadzawce z czasem nabrała właściwości leczniczych.