Князь Андрей был сыном заозерского князя Дмитрия Васильевича, потомка святого князя Федора Ярославского. Князь Дмитрий жил в городке близ устья реки Кубенки. Известно, что он сам оказывал помощь преподобному Дионисию Глушицкому при построении монастыря и был убит татарами.

Мать князя Андрея благоговейно чтила преподобного Александра Куштского и посылала в его обитель подаяния.

Князь Андрей, сын благочестивых родителей, испрошенный у Бога молитвами, воспитанный в страхе Божьем, оставшись сиротой, почувствовал суетность мирской жизни, еще более печальной для него из-за неожиданной смерти отца и участи Заозерского княжества.

За родства князя Дмитрия с Дмитрием Шемякой (сестра князя Андрея была замужем за Шемякой) великий князь Василий в 1447 году поделил Заозерье между можайским князем Михаилом Андреевичем и его братом Иваном, сын Дмитрия таким образом перестал быть владетельным князем Заозерским. Князь Андрей, не расположенный сердцем к мирской жизни, отправился в монастырь Спаса на Каменный остров и попросил игумена Кассиана облечь его в иноческие одежды. И молодость князя (ему было тогда не более 20 лет), и его высокое происхождение вызвали в душе преподобного сомнения.

- Место твое не здесь, а в боярской думе или на поле брани, - сказал игумен князю Андрею.

- Напрасно смущаешься, - отвечал юный князь, - намерение мое не принимать услуги от других, а служить другим и нести крест по следам Господа моего твердо.

Игумен, поверив в чистоту помыслов юного князя, облек его в иночество и назвал Иосифом, именем царевича, который оставил царство для Христа, и назначил ему в наставники опытного старца.

Блаженный князь ревностно выполнял обеты иночества. Братьев он видел только в храме. Все время его посвящалось молитве и размышлениям о вечности, пост он соблюдал самый строгий. Князь Борис Васильевич Ржевский посетил однажды своего племянника и предложил ему деньги, чтобы построил он свой монастырь, однако блаженный Иосиф отказался от щедрого предложения:

- Христолюбивый князь! Нам не нужны серебро и золото, раздай его бедным и получишь щедрую награду от Господа.

Князь Борис последовал совету искреннего пустынника и отдал щедрые пожертвования бедным.

Юный подвижник как бы предчувствовал, что путь его подвигов недолог, и с усердием спешил творить добро. В последний год своей жизни - а он подвизался в обители всего пять лет - он особенно строго постился, позволял себе принимать немного пищи лишь раз в неделю, каждый воскресный день приобщался он Святых Тайн.

В праздник Рождества Богородицы он велел привести себя к литургии, причастился и, возвратясь в келью, не встал более с одра. Простясь с братьями, велел иноку читать канон на исход души, затем покадил вокруг себя ладаном и с молитвой на устах предал дух свой Господу. Тело его было положено в храме, и от него скоро стали истекать чудесные исцеления. Юный князь Роман, сын Олега Дорогобужского, немой от рождения, приложась к мощам блаженного Иосифа, стал говорить.

Мария, женщина из богатого дома, долго была слепой и при мощах князя-инока прозрела. В 1472 году Спасский Каменский монастырь был опустошен пожаром, и остатки мощей князя собрали в ковчег.