Шесть лет провел преподобный Иосиф в темнице. В Рождественскую ночь 820 года он удостоился видения святителя Николая Мирликийского, который известил его о смерти гонителя-борца Льва Армянина и о прекращении гонений на святые иконы. Святитель дал преподобному свиток и сказал: «Прими этот свиток и съешь его». В свитке было написано: «Ускори, Щедрый, и потщися яко Милостив на помощь нашу, яко можеши, хотяй». Преподобный прочитал свиток, съел его и сказал: Коль сладка гортани моему словеса сия (Пс. 118, 103). Святитель Николай велел ему пропеть эти слова. После этого оковы сами спали с преподобного, двери темницы отворились, и он свободно вышел из нее и был восхищен на воздух и поставлен близ Константинополя на большой дороге, ведущей в город. В Константинополе преподобный Иосиф уже не застал в живых преподобного Григория Декаполита, а встретился лишь с его учеником блаженным Иоанном (память 18 апреля), тоже вскоре скончавшимся. Преподобный Иосиф построил церковь во имя святителя Николая и перенес туда мощи преподобных Григория и Иоанна. При церкви был основан монастырь.
Преподобный Иосиф получил также от одного добродетельного мужа часть мощей апостола Варфоломея. Он построил церковь во имя святого апостола и хотел торжественно почтить его память, но сокрушался, что не было хвалебных песнопений, прославлявших память святого апостола, сам же он не дерзал их составить. Сорок дней со слезами молился преподобный Иосиф, готовясь к празднику памяти апостола. В навечерие праздника в алтаре ему явился апостол Варфоломей, возложил ему на грудь святое Евангелие и благословил писать церковные песнопения со словами: «Да благословит тебя десница Всесильного Бога, и да прольются на язык твой воды Небесной Премудрости, сердце твое да будет храмом Духа Святаго и песнопения твои да усладят вселенную». После этого чудесного явления преподобный Иосиф написал канон апостолу Варфоломею и с тех пор стал слагать церковные песнопения в честь Божией Матери, святых угодников и в их сонме – в честь святителя Николая, освободившего его из темницы.
Во время возобновления иконоборческой ереси при императоре Феофиле (829–842) преподобный Иосиф вторично пострадал от еретиков. 11 лет он был в изгнании в Херсоне. В 842 году при святой царице Феодоре (память 11 февраля), восстановившей православное почитание святых икон, преподобный Иосиф был поставлен сосудохранителем в Софийском соборе в Константинополе. Но за смелое обличение брата царицы Варды в незаконном сожительстве он снова был отправлен в изгнание и возвращен лишь после смерти Варды, в 867 году.
Патриарх Фотий (857–867, 877–886) восстановил его в прежней должности и назначил духовником всего константинопольского клира.
Достигнув глубокой старости, преподобный Иосиф заболел. Перед самой Пасхой, в Великую Пятницу, Господь известил его в сновидении о приближении кончины. Преподобный сделал опись церковного имущества Софийского собора, которое по должности было на его попечении, и отослал ее патриарху Фотию. Несколько дней он горячо молился, готовясь к смерти. В своих молитвах преподобный просил Церкви мира, а своей душе – милосердия Божия. Причастившись Святых Христовых Таин, преподобный Иосиф благословил всех, бывших при нем, и с радостью преставился к Богу († 883). Лики Ангелов и святых, которых преподобный Иосиф прославил своими песнопениями, с торжеством проводили душу его в Горний мир.
О духе и силе песнопений преподобного его жизнеописатель, диакон Константинопольской Церкви Иоанн, так писал около 890 года: «Когда он стал писать стихи, то и слух поражал чудной приятностью звука, и поражал сердце силой мыслей… Чудное отдохновение находят здесь те, которые стремятся к жизни совершенной… Писатели, оставив другие стихотворения, из одной этой сокровищницы – из писаний святого Иосифа – стали черпать сокровища для своих песней, или лучше сказать, ежедневно их черпают. Наконец, все народы переводят их на свой язык, чтобы просвещать песнями тьму ночи и, прогоняя сон, продолжать бдения до восхода солнечных лучей… Если кто прочтет жизнь святого, празднуемого в какой-либо день Церковью, тот сам увидит достоинство песней святого Иосифа и узнает жизнь прославляемого. Подлинно, тогда как жизнь и дела почти каждого святого украшены хвалами, не достоин ли бессмертной славы тот, кто так достойно и прекрасно умел прославить их! Пусть славят иные святые кротость его, другие – мудрость, третьи – дела его, и все вместе да славят благодать Святаго Духа, которая так щедро и безмерно обогатила его своими дарами».