Родился 5 августа (17 августа) 1898 г. в д. Войлово Тверской губернии, из рабочих, русский. В 1913 г. окончил «высшее-начальное училище (городское)», в 1918 г. — 2-е Советские петроградские артиллерийские курсы; с 25 июля по 25 сентября 1919 г. учился в «Высшей школе штабной службы» в Москве, с 30 апреля по 22 июля 1924 г, — на «Харьковских повторкурсах комсостава», в 1928 г. окончил Военную академию им. М.В. Фрунзе, факультет снабжения, в 1937 г. — Военную академию Генерального штаба.
В его аттестации за 1925—1928 гг. отмечается, что до поступления в академию "имел общую и политическую подготовку удовлетворительными, военную — недостаточной. За период учебы в академии значительно вырос умственно... Вспыльчив, прямолинеен, сугубо строг к недостаткам других, что часто вызывает обострение отношений со стороны товарищей...".
С июня 1928 г. по ноябрь 1932 г. — на штабной работе в Белорусском военном округе.
В его аттестации делается такое заключение: "Энергичный, волевой командир. Хорошо знает свое дело. Достоин выдвижения на вышестоящую должность...".
С июля 1933 г. по февраль 1936 г. — начальник отдела в штабе округа, затем командир стрелкового полка (по октябрь 1936 г.), после окончания Военной академии Генерального штаба — начальник штаба Ленинградского военного округа (июль 1937 г. — май 1938 г.), помощник начальника Генерального штаба РККА (по май 1940 г.).
В годы Великой Отечественной войны — начальник штаба Одесского военного округа (по июль 1941 г.), начальник штаба Главного командования Северо-Западного направления (по август 1941 г.), заместитель начальника Главного управления Тыла Красной Армии (по декабрь 1941 г.), начальник штаба Калининского, Резервного, Степного, 2-го Украинского(по июнь 1945 г.) и Забайкальского фронтов (по сентябрь 1945 г.).
Командующий войсками Забайкальского фронта Маршал Советского Союза Малиновский Р.Я. пишет в его аттестации: '...Операции, подготовленные им, служат ярким доказательством умелой организации управления войсками фронта и строгого контроля за выполнением поставленных задач со стороны тов. Захарова...".
После войны М.В. Захаров — начальник Высшей военной академии (по январь 1949 г.), заместитель начальника Генерального штаба по разведке (июль 1952 г.), главный инспектор Советской Армии (по май 1953 г.), командующий войсками Ленинградского военного округа (по ноябрь 1957 г.), Главнокомандующий ГСВГ (по апрель 1960 г.), начальник Генерального штаба (по март 1963 г.), затем опять начальник Военной академии Генерального штаба (по ноябрь 1964 г.), начальник Генерального штаба — первый заместитель министра обороны СССР (по сентябрь 1971 г.), генеральный инспектор Группы генеральных инспекторов Министерства обороны СССР (по январь 1972 г.).
М.В. Захаров — дважды Герой Советского Союза (8.09.1945 г., 22.09.1971 г.). Он награжден 5 орденами Ленина (21.02.1945 г., 8.09.1945 г., 21.06.1957 г., 2.02.1958 г., 22.02.1968 г.), орденом Октябрьской революции (16.08.1968 г.), 4 орденами Красного Знамени (22.02.1938 г., 31.12.1942 г., 3.11.1944 г., 6.11.1947 г.), 2 орденами Суворова I степени (13.09.1944 г., 28.04.1945 г.), 2 орденами Кутузова I степени (27.08.1943 г., 22.02.1944 г.), орденом Богдана Хмельницкого I степени (17.05.1944 г.), орденом Красной Звезды (31.12.1939 г.), Почетным оружием с золотым изображением Государственного герба СССР (22.02.1968 г.), 15 медалями СССР, а также иностранными орденами и медалями.
Воинские звания: генерал-майор — присвоено 4 июня 1940 г., генерал-лейтенант — 30 мая 1942 г., генерал-полковник — 20 октября 1943 г., генерал армии -29 мая 1945 г., Маршал Советского Союза — 8 мая 1959 г.
Член КПСС с декабря 1917 г., член ЦК КПСС с 1961 г., депутат Верховного Совета СССР 4-8-го созывов.
М.В. Захаров умер 31 января 1972 г. Похоронен на Красной площади в Москве.