Родился 23 февраля 1929 года в семье священнослужителя в Таллине (Эстония). Обучался в русской средней школе в Таллине. В 1947 году поступил в Ленинградскую духовную семинарию, которую окончил по первому разряду в 1949 году. 15 апреля 1950 года был рукоположен в сан диакона, а 17 апреля 1950 года — в сан священника и назначен настоятелем Богоявленской церкви города Йыхви Таллинской епархии. В 1953 году окончил Духовную академию и был удостоен степени кандидата богословия. 3 марта 1961 года в Троицком соборе Троице-Сергиевой Лавры пострижен в монашество. 14 августа 1961 года иеромонаху Алексию определено быть епископом Таллинским и Эстонским с поручением ему временного управления Рижской епархией. 14 ноября 1961 года назначен заместителем председателя Отдела внешних церковных сношений Московского Патриархата.
С 1961 года вел активную внешнеполитическую и экуменическую деятельность.
В сане митрополита Таллинского и Эстонского был управляющим делами Московской патриархии, вошел в состав постоянных членов Священного Синода. 29 июня 1986 года назначен митрополитом Ленинградским и Новгородским с поручением управлять Таллинской и Эстонской епархией.
За время нахождения на Ленинградской кафедре добился возвращения епархии ряда петербургских храмов, святынь и реликвий.
18 марта 1989 года избран народным депутатом СССР от общественной организаций «Фонд здоровья и милосердия», где входил в Комиссию Совета Национальностей по вопросам развития культуры, языка, национальных и интернациональных традиций, охраны исторического наследия
7 июня 1990 года на Поместном соборе Русской православной церкви избран на Московский патриарший престол. Умер 5 декабря 2008 года, захоронен в Богоявленском Елоховском соборе.