Арсений хоть и происходил из знатного рода и отличался высоким образованием, что открывало перед ним блистательные возможности, смиренно искал не земных почестей, но духовного просвещения и поэтому стал служителем церкви. Уже будучи в сане дьякона, он получил от императора Феодосия Великого предложение взять под наставничество его детей – Гонория и Аркадия. «Будь моим детям отцом больше, нежели я, - сказал ему император, - потому что гораздо труднее и важнее дать детям добрый разум, чем жизнь. Сделай души их добродетельными, предохрани от соблазнов юности. Требуй от них полной покорности, как отец и учитель».
Арсений, исполняя наказ, взялся воспитывать царских сыновей. Преподавая юношам языки и науки, он особенно старался внушить им христианские заповеди, желание угодить Богу и заслужить любовь народа, но, несмотря на все сове усердие, не мог добиться успеха. Более того, один из сыновей императора – Аркадий, отличавшийся необузданным нравом, не желая терпеть строгость своего начальника, замыслил его убить… Получив предупреждение об этом и сильно огорчившись, Арсений разуверился в своих силах и удалился от двора в египетскую пустыню. Ему было тогда около сорока лет. Здесь он встретился с Иоанном Коловым, пустынником, прославленным строгостью жизни, и под его руководством продолжал свое духовное совершенствование. После нескольких лет строгого подвижничества Арсений получил от Иоанна благословение предаться полному уединению и безмолвию в пустыне.
Скитаясь из одной пустыни в другую, иногда Арсений возвращался в свою бывшую келью. Слава о его святой жизни распространялась все больше и больше.
Бывший воспитанник Арсения, Аркадий, занимавший теперь престол Восточной империи, прислал ему письмо, в котором умолял простить ему заблуждения молодости. Он также просил отшельника благословить их с братом Гонорием, ставшим Западным императором, и прислал ему богатые дары. Арсений поручил на словах передать императору, что Бог проситл и благословил на мудрое управление обоих императоров, но от царских даров отказался, говоря, что он давно уже умер для мира и ни в чем не нуждается.
Арсений питался своими трудами и никогда не принимал помощи от богатых родственников; когда же один из них, умирая, завещал ему наследство, отшельник отказался принимать его, сказав: «Я умер прежде его: как же он, умерев недавно, делает меня наследником своего имения?»
Обладая научными познаниями и просвещенный духовно, Арсений, однако, не считал себя достойным учить других. Но как ни избегал он посетителей, многие приходили просить его наставлений.
Более пятидесяти лет провел Арсений Великий в духовных подвигах, в удалении от мира, и умер глубоким старцем (449 или 450).