Był członkiem Sanhedrynu, najwyższej władzy żydowskiej w zakresie spraw państwowych, prawnych i religijnych. Według Ewangelistów Mateusza i Jana Józef był uczniem Jezusa. Nie zgodził się z decyzją Sanhedrynu skazującą Chrystusa na śmierć. Po ukrzyżowaniu poprosił Poncjusza Piłata o wydanie ciała Jezusa i uczestniczył w zdjęciu Go z krzyża oraz w pogrzebie. 

Mówi o. Stanisław Tasiemski, dominikanin. 



Płótno, w którym Józef złożył do grobu ciało Jezusa, według tradycji, zachowało się do naszych dni. Jest nim słynny Całun Turyński. 

Według jednej z legend Józef z Arymatei razem z Łazarzem, Martą i Marią, uciekając przed prześladowaniami, dopłynęli statkiem do Marsylii, gdzie głosili Dobrą Nowinę o Jezusie. Inna opowieść ukazuje Józefa w Hiszpanii, dokąd udał się razem ze św. Jakubem Apostołem, który ustanowił go tam biskupem. 

W ikonografii św. Józef występuje przeważnie wraz ze św. Nikodemem w scenach zdjęcia z krzyża, złożenia do grobu i opłakiwania Jezusa.