Родился 20 ноября (2 декабря) 1897 г. на «станции Кировабад Закавказской железной дороги» в рабочей семье; армянин. Окончил в
1915 г. Железнодорожное техническое училище в г. Тбилиси, там же в 1917 г. школу прапорщиков, в 1925 г. в Ленинграде — Кавалерийские курсы усовершенствования комсостава РККА, затем в 1931 г. — Курсы усовершенствования высшего комсостава РККА. Через 3 года окончил по 1-му разряду Военную академию им. М.В. Фрунзе. В аттестации слушателя 3-го курса И.Х. Баграмяна было отмечено:"... широкий общий и политический кругозор, большая военная эрудиция, волевой командир, дисциплинированность безупречная". В 1938 г. И.Х. Баграмян закончил Военную академию Генерального штаба.
Армейскую службу,начал в царской армии в сентябре 1915 г. в запасном пехотном батальоне, продолжил во 2-м пограничном пехотном полку (с декабря 1915 г. по июль 1916 г.) и до января 1917 г. служил в Кавказском запасном кавалерийском полку. Окончив школу прапорщиков, стал младшим офицером в 3-м армянском стрелковом полку (август—декабрь 1917 г.), а затем командиром эскадрона в 1-м армянском конном полку (по ноябрь 1920 г.).
В Красной Армии с декабря 1920 г.: командир эскадрона (по февраль 1921 г.), помощник командира полка по хозяйственной части, секретарь Военного представительства Армянской ССР в Грузии (март—сентябрь 1921 г.), затем вновь помощник командира полка по хозяйственной части, командир эскадрона, заведующий разведкой полка (по декабрь 1923 г.), командир 1-го кавалерийского полка Кавказской армии (по май 1931 г.).
После окончания Военной академии им. М.В. Фрунзе был назначен начальником штаба 5-й кавалерийской дивизии Киевского военного округа (июнь 1934 г. — октябрь 1936 г.), а после окончания Военной академии Генерального штаба старшим преподавателем в той же академии (октябрь 1938 г. — сентябрь 1940 г.), затем начальником оперативного отдела 12-й армии (до декабря 1940 г.), начальником оперативного отдела штаба Киевского Особого военного округа (до июня 1941 г.).
Во время Великой Отечественной войны — заместитель начальника штаба и начальник оперативного отдела штаба Юго-Западного фронта (июнь—декабрь
1941 г.), начальник оперативной группы Юго-Западного направления (до марта
1942 г.), а до июня 1942 г. — начальник штаба Юго-Западного фронта. Генерал-лейтенант Бодин П.И. отмечал в апреле 1942 г., что И.Х. Баграмян
"в период выхода войск Юго-Западного фронта из окружения лично на самолете доставил боевой приказ командования фронтом в сложных условиях, а затем многое сделал для успешного отвода войск Юго-Западного фронта из-под ударов противника".
С июня 1942 г. по ноябрь 1943 г. он командует 16-й армией (позднее преобразованной в 11-ю гвардейскую) Западного фронта. В наградном листе на командующего 11-й гвардейской армией командующий войсками Брянского фронта генерал-полковник Попов М.М. подчеркивал, что И.Х. Баграмян "непосредственно находясь в частях армии, правильно и умело организовывал взаимодействия родов войск. Руководя наступлением частей армии, обеспечил выполнение задачи фронта по разгрому Орловской группировки противника". С ноября 1943 г. И.Х. Баграмян командовал 1 -м Прибалтийским фронтом, с февраля 1945 г. — Земландской группой войск и с апреля 1945 г. — 3-м Белорусским фронтом.
После войны — командующий войсками Прибалтийского военного округа (июль 1945 г. — май 1954 г.), главный инспектор Министерства обороны СССР (по май 1955 г.), заместитель министра обороны СССР (по июнь 1956 г.), начальник «Высшей военной академии им. К.Е. Ворошилова» (по июнь 1958 г.). До апреля 1968 г. — заместитель министра обороны — начальник Тыла Вооруженных Сил СССР, до сентября 1982 г. — генеральный инспектор Министерства обороны СССР.
И.Х. Баграмяну дважды присвоено звание Героя Советского Союза (29.07.1944 г. и 1.12.1977 г.). Он награжден 7 орденами Ленина (29.07.1944 г., 6.11.1945 г., 1.12.1947 г., 2.12.1957 г., 2.12.1967 г., 1.12.1972 г., 1.12.1977 г.); орденом Октябрьской Революции (22.02.1968 г.); 3 орденами Красного Знамени (6.11.1941 г., 30.11.1944 г., 17.05.1951 г.); 2 орденами Суворова I степени (27.08.1943 г., 19.04.1945 г.); орденом Кутузова I степени (9.04.1943 г.); орденом "За службу Родине в Вооруженных силах СССР" III степени (30.04.1975 г.), Почетным оружием с золотым изображением Государственного герба СССР (22.02.1968 г.), 16 медалями, а также 17 орденами и медалями иностранных государств.
Воинские звания: полковник — присвоено 29 ноября 1935 г., генерал-майор -12 августа 1941 г., генерал-лейтенант — 27 декабря 1941 г., генерал-полковник -27 августа 1943 г., генерал армии — 17 ноября 1943 г., Маршал Советского Союза — 11 марта 1955 г.
Член КПСС с 1941 г., депутат Верховного Совета СССР 2-10-го созывов, кандидат в члены ЦК КПСС с 1952 г., член ЦК КПСС с 1961 г.
Умер И.Х. Баграмян 21 сентября 1982 г. Похоронен на Красной площади в Москве.