В июне 1826 г. иранский шах, подстрекаемый Англией, начал военные действия против России. 60-тысячная армия под командованием Аббас-Мирзы вторглась в Карабах и повела наступление по направлению на Тифлис. Ей удалось дойти до Гянджи, где она была наголову разбита в сентябре 1826 г. 12-тысячным отрядом русских войск при поддержке ополчения из местного населения.
Однако первые военные неудачи русских войск послужили Николаю I благоприятным предлогом направить на Кавказ своего фаворита генерала И. Ф. Пас-кевича. Вскоре между Ермоловым и Паскевичем возник конфликт, для разрешения которого был послан И. И. Дибич. Он принял сторону Паскевича, вел себя по отношению к Ермолову развязно и даже оскорбительно, чуть ли не устраивая ему пристрастные допросы. В своих донесениях царю Дибич писал, что «пагубный дух вольномыслия и либерализма разлит между войсками» корпуса Ермолова. Не остался без внимания и факт благосклонного приема Ермоловым сосланных на Кавказ и разжалованных в рядовые декабристов, которые были даже «званы на некоторые офицерские обеды». Судьба Ермолова была решена. 27 марта 1827 г. он был освобожден от всех должностей. Уведомляя Ермолова об отставке, Николай I писал ему: «По обстоятельствам настоящих дел в Грузии, признав нужным дать войскам, там находящимся, особого Главного начальника, повелеваю Вам возвратиться в Россию и оставаться в своих деревнях впредь до моего повеления». Вместе с Ермоловым были уволены в отставку и его сподвижники («ермоловцы»), признанные «вредными».