Родился 4 октября (17 октября) 1903 г. в д. Голодаевка Ростовской обл., из крестьян, украинец. В 1918 г. окончил 2-классую школу, в 1926 г. — Кавалерийскую школу, в 1936 г. — Военную академию им. М.В. Фрунзе, в 1941 г. — Военную академию Генерального штаба.
В Советской Армии с декабря 1919 г.: красноармеец (по сентябрь 1921 г.), командир взвода (апрель 1930 г.), командир эскадрона (по апрель 1932 г.); на штабной работе (с 3 ноября 1937 г.), командир кавалерийского полка (с 7 мая 1938 г.), начальник штаба дивизии (с 6 октября 1938 г.).
В годы Великой Отечественной войны: командир кавалерийской дивизии (с 10 июля 1941 г.), командир кавалерийского корпуса (с 15 января 1942 г.), командующий армией (с 15 апреля 1942 г.), заместитель командующего войсками Воронежского (1-го Украинского) фронта (с 16 октября 1943 г.), командующий войсками 1-й гвардейской армии (с 14 декабря 1943 г.).
После войны командующий войсками КВО (с 9 июля 1945 г.), Главнокомандующий Группой советских войск в Германии (с 26 мая 1953 г.), первый заместитель министра обороны СССР и Главнокомандующий Сухопутными войсками (с 12 ноября 1957 г.), первый заместитель министра обороны СССР по общим вопросам (с 7 апреля 1960 г.), Главнокомандующий Объединенными вооруженными силами государств-участников Варшавского Договора (с июля 1960 г.), министр обороны СССР (с 12 апреля 1967 г. по апрель 1976 г.).
А.А. Гречко — дважды Герой Советского Союза (1.02.1958 г., 16.10.1973 г.). Он награжден 6 орденами Ленина (12.1942 г., 1945 г., 1.02.1958 г., 10.1963 г., 22.02.1968 г., 16.10.1973 г.), 3 орденами Красного Знамени (1941 г., 1944 г., 1950 г.), 2 орденами Суворова I степени (1944 г., 1945 г.), 2 орденами Кутузова I степени (1943 г., 1944 г.), орденом Богдана Хмельницкого I степени (01.1944 г.), орденом Суворова II степени (02.1943 г.), Почетным оружием с золотым изображением Государственного герба СССР (22.02.1968 г.), а также 9 медалями СССР и 10 орденами и медалями иностранных государств.
Воинские звания: полковник — присвоено 10 июля 1941 г., генерал-майор — 9 ноября 1941 г., генерал-лейтенант — 28 апреля 1943 г., генерал-полковник — 9 октября 1943 г., генерал армии — 3 августа 1953 г., Маршал Советского Союза -11 марта 1955 г.
Член КПСС с 1928 г., член ЦК КПСС с 1961 г., член Политбюро ЦК КПСС с 1973 г.: депутат Верховного Совета СССР 2 — 9-го созывов.
Умер 26 апреля 1976 г. Похоронен па Красной площади в Москве.