Родился 25 декабря 1911 г. (7 января 1912 г.) в д. Зайцево Могилевской обл., в крестьянской семье, белорус.
После окончания 7-летний школы в 1930 г. два года учился в педагогическом техникуме, а затем в Объединенной белорусской школе на артиллерийском отделении (1934 г.). На следующий год окончил ленинградские Бронетанковые курсы усовершенствования комсостава РККА, а в 1948 г. — Военную академию Генерального штаба.
В ряды РККА был призван по специальному партийному набору в 1932 г. и направлен в военную школу Минска. После ее окончания в течение полугода (декабрь 1934 г. — июнь 1935 г.) командовал взводом, затем вновь стал слушателем курсов (июнь—декабрь 1935 г.). После этого — командир взвода (по декабрь 1937 г.), командир роты (по апрель 1940 г.), затем старший адъютант танкового батальона (по июнь 1940 г.) и преподаватель автобронетанкового дела в училище (по апрель 1941 г.).
В годы Великой Отечественной войны — командир учебного батальона (по июль 1941 г.), командир танкового полка (по сентябрь 1941 г.), в резерве (до конца 1941 г.), в течение двух месяцев — заместитель командира и (с марта 1942 г. по июнь 1944 г.) командир танковой бригады.
В 1943 г. в его боевой характеристике отмечается:"... бригада, которой командует Якубовский, участвовала в боях под Сталинградом с момента организации окружения противника и до полного разгрома его, не выводясь для восстановления.
Участвуя в боях, т. Якубовский проявил организаторские способности, храбрость и умение организовать бой и нацелить свою часть на выполнение боевой задачи...".
До августа 1945 г. И.И. Якубовский — заместитель командира танкового корпуса.
После войны И.И. Якубовский — исполняющий должность заместителя командира танковой дивизии (по февраль 1946 г.), а после окончания Военной академии Генерального штаба — командир танковой дивизии (март 1948 г. — апрель 1952 г.), затем — командующий Бронетанковыми и механизированными войсками Прикарпатского военного округа (по декабрь 1953 г.), в дальнейшем — командующий механизированной (апрель 1957 г.) и танковой армией (по июль 1957 г.), по апрель 1960 г. — первый заместитель, а по август 1961 г. — Главнокомандующий Группой советских войск в Германии, по апрель 1962 г. — первый заместитель, а с апреля 1962 г. по январь 1965 г. — командующий Группой советских войск в Германии, по апрель 1967 г. — командующий войсками Киевского военного округа.
Министр обороны СССР Маршал Советского Союза Малиновский Р.Я., положительно аттестуя командующего войсками Киевского военного округа, в то же время подчеркивает, что он "несколько самолюбив. Иногда проявляет грубость к подчиненным. В оценке кадров не всегда объективен. Занимаемой должности соответствует вполне. Перспективный командующий".
С апреля и по июль 1967 г. И.И. Якубовский — первый заместитель министра обороны СССР, по ноябрь 1976 г. — Главнокомандующий Объединенными Вооруженными Силами государств — участников Варшавского Договора.
И.И. Якубовскому дважды присвоено звание Героя Советского Союза (10.01.1944 г. и 23.09.1944 г.). Он награжден 4 орденами Ленина (10.01.1944 г., 6.01.1962 г., 22.02.1968 г., 6.01.1972 г.); 4 орденами Красного Знамени (21.07.1942 г., 14.02.1943 г., 30.08.1944 г., 21.08.1953 г.); 2 орденами Суворова II степени (6.04.1945 г., 31.05.1945 г.), орденами Отечественной войны I степени (21.08.1943 г.), Красной Звезды (6.11.1947 г.), орденом "За службу Родине в Вооруженных Силах СССР" III степени (30.04.1975 г.), Почетным оружием с золотым изображением Государственного герба СССР (22.02.1968 г.), а также 13 медалями СССР и 24 орденами и медалями иностранных государств.
Воинские звания: полковник — присвоено 30 ноября 1942 г., генерал-майор танковых войск — 20 апреля 1945 г., генерал-лейтенант танковых войск — 3 августа 1953 г., генерал-полковник — 18 февраля 1958 г., генерал армии — 27 апреля 1962 г., Маршал Советского Союза — 12 апреля 1967 г.
Член КПСС с 1937 г., член ЦК КПСС с 1961 г., депутат Верховного Совета СССР 6-9-го созывов.
Умер И.И. Якубовский 30 ноября 1976 г. Похоронен на Красной площади в Москве.