Родился 2 октября (14 октября) 1892 г. в с. Марковка Ворошиловградской обл.; из крестьян, украинец. Учился в сельской школе до 1906 г., затем окончил Кавалерийские курсы усовершенствования комсостава РККА в 1925 г., политкурсы при Военно-политической академии в 1931 г., Военную академию им. М.В. Фрунзе в 1935 г.
Службу начал в царской армии в 1913 г., получил звание ефрейтора, но «... в 1915 г. был разжалован до рядового за дезертирство». С октября по декабрь 1918 г. — командир партизанского отряда.
В Советской Армии с декабря 1918 г., до поступления в Военную академию им. М.В. Фрунзе, занимал должности командира взвода (сентябрь—декабрь 1919 г.), начальника разведки кавалерийской бригады (по март 1920 г.), начальника штаба бригады (март—апрель 1920 г.), командира полка (август 1922 г. — октябрь 1924 г. и август 1925 г. — декабрь 1929 г.).
После окончания Военной академии им. М.В. Фрунзе — помощник командира кавалерийской дивизии (январь 1936 г. — август 1937 г.), командир дивизии (по июнь 1938 г.), командир кавалерийского корпуса (по июнь1940 г.).
Заместитель командующего войсками Белорусского Особого военного округа Г.К. Жуков, характеризуя в 1939 г. А.И. Еременко как "волевого и энергичного командира, решительного...", однако отмечает, что "единственной отрицательной стороной т. Еременко является отсутствие у него скромности, выражающейся в том, что он слишком хвастливо популяризирует свою работу и состояние корпуса тогда, как оно значительно отстает от требований приказов Народного комиссара обороны".
В то же время заместитель командующего войсками округа комкор Кузнецов Ф.И. характеризует своего командира кавалерийского корпуса в 1940 г. как "настойчивого, волевого и энергичного командира..., который как командир кав-корпуса подготовлен хорошо. Занимаемой должности вполне соответствует... и подлежит выдвижению на должность помощника командующего войсками округа по кавалерии вне очереди...".
Однако А.И. Еременко назначается командиром механизированного корпуса (июль—декабрь 1940 г.), а затем командующим войсками Северо-Кавказского военного округа (декабрь 1940 г. — январь 1941 г.) и командующим1-й Краснознаменной армией ДВФ (по июнь 1941 г.).
В годы Великой Отечественной войны он командует армией (с 19 по 30 июня 1941 г.), Западным фронтом (июнь—август 1941 г.), Брянским фронтом (август—ноябрь 1941 г.), 4-й ударной армией (по февраль 1942 г.), Юго-Восточным фронтом (август—сентябрь 1942 г.), Сталинградским фронтом (по декабрь 1942 г.), Южным фронтом (по январь 1943 г.), Калининским фронтом (апрель—ноябрь 1943 г.), Отдельной Приморской армией (февраль—апрель 1944 г.), 2-м Прибалтийским фронтом(по январь 1946 г.), 4-м Украинским фронтом (март—июль 1945 г.).
После войны — командующий войсками Прикарпатского военного округа (июль 1945 г. — октябрь 1946 г.), Западно-Сибирского военного округа (по ноябрь 1953 г.), Северо-Кавказского военного округа (по 16 апреля 1958 г.), затем генеральный инспектор Группы генеральных инспекторов Министерства обороны СССР (по ноябрь 1970 г.).
А.И. Еременко присвоено звание Героя Советского Союза (29.07.1944 г.), он награжден 5 орденами Ленина (22.2.1938 г., 29.07.1944 г., 21.2.1945 г., 13.10.1962 г., 13.10.1967 г.), орденом Октябрьской Революции (22.02.1968 г.), 4 орденами Красного Знамени (15.06.1926 г., 22.02.1941 г., 3.11.1944 г., 20.06.1949 г.),
3 орденами Суворова I степени (23.01.1943 г., 16.05.1944 г., 23.05.1945 г.), орденом Кутузова I степени (22.09.1943 г.), Почетным оружием с золотым изображением Государственного герба СССР (22.02.1968 г.), а также 12 медалями СССР и 19 орденами и медалями иностранных государств.
Воинские звания: комкор — присвоено 4 ноября 1939 г., генерал-лейтенант —
4 июня 1940 г., генерал-полковник — 11 сентября 1941 г., генерал армии — 27 августа 1943 г., Маршал Советского Союза — 11 марта 1955 г.
Член КПСС с 16 декабря 1918 г., кандидат в члены ЦК КПСС с 1956 г, депутат Верховного Совета СССР 2- 8-го созывов.
А.И. Еременко умер 19 ноября 1970 г. Похоронен на Красной площади в Москве.