Родился 10 мая 1923 года в городе Нахичевань в семье железнодорожного рабочего, выходца из азербайджанского селения Джомартли Зангезурского уезда. В 1939 году после окончания Нахичеванского педагогического техникума поступил на архитектурный факультет Азербайджанского индустриального института в Баку. С 1941 года работал в НКВД Нахичеванской АССР, с 1943 года — заведующим отделом в Совете народных комиссаров Нахичеванской АССР, а в 1944 году начал службу в системе органов госбезопасности. С 1948 года — начальник 5-го управления Министерства госбезопасности по Азербайджану. В 1956 году назначен на должность заместителя начальника бакинского отдела КГБ. В 1960 году стал начальником Контрразведывательного отдела КГБ при СМ Азербайджанской ССР, а в 1964 году — заместителем председателя КГБ при СМ Азербайджанской ССР. 21 июня 1967 года назначен председателем КГБ при СМ Азербайджанской ССР в звании генерал-майора. С 1969 г. - первый секретарь ЦК Компартии Азербайджана.
В период с 1974 по 1979 годы являлся заместителем председателя Совета Союза Верховного совета СССР. С 5 марта 1976 по 22 ноября 1982 года — кандидат в члены Политбюро ЦК КПСС.
24 ноября 1982 года по настоянию генерального секретаря Ю. В. Андропова переведен в Москву на должность первого заместителя председателя Совета Министров СССР. На новом посту курировал машиностроение, лёгкую промышленность и транспорт, а также культурную и образовательную сферы.
В июле 1990 года возвращается в Азербайджан, осенью того же года избран депутатом Верховного Совета Азербайджанской ССР от Нахичевани.
3 сентября 1991 года избирается председателем Верховного Совета Нахичеванской АССР, а затем заместителем председателя Верховного Совета Азербайджана.
Осенью 1993 г. избран президентом Азербайджана.
Скончался 12 декабря 2003 года в возрасте 80 лет в клинике города Кливленда (США) от сердечной недостаточности. Похоронен 15 декабря в Баку.