Saba urodził się w 439 r. w Mutalasce koło Cezarei Kapadockiej. Gdy jego ojca, oficera armii cesarskiej, przeniesiono do odległego garnizonu, Saba wychowywał się u krewnych. Od ósmego roku życia przebywał w klasztorze jako oblat (przyszły kandydat). Kiedy miał 18 lat, udał się do Palestyny, aby tam połączyć się z mnichami klasztoru Theoktistos, założonego przez św. Passariona. Tu spotkał się ze św. Eutymiuszem Wielkim. Nie był jednak zadowolony z życia tamtejszych mnichów, zarażonych już błędem monofizytów. Dlatego udał się do klasztoru położonego w pobliżu Morza Martwego. Za zezwoleniem opata zamieszkał w 469 r. w skalnej grocie jako pustelnik, a jedynie w soboty i w niedziele przychodził do klasztoru, aby wieść życie wspólne i uczestniczyć w liturgii. Po kilkunastu latach opuścił wszakże św. Saba i to miejsce, by udać się ponownie do Jerozolimy i zamieszkać w jednej z grot w pobliżu potoku Cedron (478). Z czasem gromadzili się wokół niego uczniowie. Mieszkali w pobliskich grotach. Założył dla nich Wielką Ławrę - klasztor Mar Saba. Święty wystawił kościół, a dokoła cele mnichów, których liczba doszła do kilkuset (483). Dla ułatwienia rządów i kierownictwa duchowego przyjął święcenia kapłańskie z rąk patriarchy Jerozolimy w wieku 48 lat (491). Kiedy liczba mnichów jeszcze się powiększała, św. Saba założył kilka innych podobnych klasztorów (ławr) w Palestynie. Szczególną sławę zdobyły osady mnisze w Gadara i w Emaus. Dla zachowania karności, osobiście, obchodził założone przez siebie klasztory i wygłaszał do mnichów nauki. Łącznie miał zostawić św. Saba w Palestynie 7 klasztorów dużych, 8 mniejszych i 3 hospicja dla pielgrzymów. W kilka lat później został archimadrytą wszystkich klasztorów i pustelników palestyńskich.
Czymś oryginalnym i niespotykanym dotąd ani potem, było to, że św. Saba zakładał klasztory-kolonie. Mogły do nich należeć osoby różnych narodowości i języków. Każda kolonia miała swoją kaplicę, gdzie w swoim języku odprawiała liturgię i codzienne modły. Każda też z tych kolonii miała swojego przełożonego. W niedziele oraz w święta gromadzili się wszyscy mnisi w kościele, gdzie w języku greckim odprawiano nabożeństwa. Nad wszystkim czuwał św. Saba.
W sporach doktrynalnych Saba opowiedział się za nauką Soboru Chalcedońskiego (451). Chcąc skłonić do powszechnego uznania tej nauki, udał się do cesarza Anastazego I w Konstantynopolu. Wysiłki jego jednak okazały się daremne. Miejscowych kupców i rzemieślników wziął w obronę przed nadmiernymi podatkami urzędników cesarskich. Wytoczył nawet na nich skargę przed wspomnianym cesarzem (511). Wziął również w obronę Samarytan, którym groziło wyniszczenie. Kiedy cesarz Justyn I (518-528) zamierzał osadzić na stolicy patriarchy w Jerozolimie monofizytę, Święty ze swoimi mnichami wystąpił przeciwko niemu tak gwałtownie, że intruz musiał się zrzec biskupstwa. Saba jest autorem "Typikonu" - księgi regulującej przebieg całorocznej liturgii. Została ona przyjęta przez cały Kościół Wschodni.
Zmarł w klasztorze Mar Saba 5 grudnia 532 r. Jego relikwie były czczone w Mar Saba, a potem zostały przeniesione do Konstantynopola, wreszcie do Wenecji. Pierwszy żywot Świętego napisał jego uczeń, Cyryl ze Scytopolis. Kult jego poprzez południowe Włochy przenieśli na Zachód mnisi wschodni. W samym Rzymie ma Święty wystawiony ku swojej czci kościół na Małym Awentynie (z wieku VII), wiele razy restaurowany. Kiedyś był przy nim również klasztor grecki. W roku 1965 na życzenie papieża Pawła VI Wenecja oddała relikwie św. Saby prawosławnym mnichom w Mar Saba, którzy się o nie upominali.