Клуб основан в 1923 году. 2-кратный победитель Кубка СССР, 2-кратный чемпион России, 5-кратный победитель Кубка России, 2-кратный победитель Суперкубка России.
Для историков футбола московский «Локомотив» — клуб с «белыми пятнами». Официальной датой его рождения считается 1923 год, но многие склонны считать, что команда существовала намного раньше — в виде Кружка футболистов Казанской дороги, сокращенно — «Казанка». Кружок был организован рабочими и служащими паровозного депо Москва-пассажирская Казанской железной дороги. Футболисты-железнодорожники выступали в любительской футбольной лиге, объединившей команды дачных поселков, расположенных вдоль этой железнодорожной линии. Точная дата основания «Казанки», увы, неизвестна, но есть предположения, что она существовала уже в 1910 году.
Только в 1922 году «Казанка» была официально зарегистрирована Московской футбольной лигой и стала выступать в классе «В», иными словами, всего лишь «на третьем уровне». Однако он был куда престижнее, чем любительские железнодорожные лиги, и в «Казанку» потянулись многие сильные футболисты из других железнодорожных команд.
Как выступала «Казанка» в своем дебютном сезоне, к сожалению, неизвестно. Третий уровень московского футбола не привлекал особого внимания журналистов и футбольных статистиков того времени. К тому же в следующем, 1923 году, когда стали формировать многие «пролетарские» команды, судьба «Казанки» круто изменилась. Тогда была создана первая спортивная организация железнодорожников, объединившая легкоатлетов, борцов, боксеров, пловцов, других спортсменов, получившая название «Клуб имени Октябрьской революции». Сокращенно спортивный железнодорожный клуб именовали КОРом. И «Казанка» вошла в состав КОРа, поменяв и свое название на тот же КОР.
Прежде всего спортсмены-железнодорожники постарались обзавестись собственным стадионом. Под него отвели пустырь за Казанским вокзалом между Новорязанской и Ольховской улицами. 12 августа 1923 года футбольная команда КОР уже провела первый матч на своем поле — именно эту дату и стали считать днем основания футбольного клуба железнодорожников.
1931 год принес очередную реорганизацию всего советского спорта, а, значит, и футбола. Теперь создавались крупные спортивные общества по профессиональной принадлежности. А небольшие спортивные клубы и кружки при отдельных предприятиях постепенно расформировывались. КОРа, впрочем, эти перемены не очень коснулись — Московско-Казанская железная дорога была одной из самых крупных в стране, и спортивный клуб при ней вполне соответствовал новым требованиям. Изменилось только его название — теперь клуб назывался по-пролетарски просто: Московско-Казанская железная дорога. Но болельщики сразу вспомнили прежнее название и вновь именовали его «Казанкой».
В 1935 году вновь последовал ряд перемен в советском спортивном хозяйстве, в частности, решено было создать на железнодорожном транспорте единое Добровольное спортивное общество железнодорожников «Локомотив». Устав его был утвержден 5 декабря 1935 года постановлением ЦК союзов железных дорог и наркома путей сообщения, которым тогда был Лазарь Каганович. Официальной датой рождения нового спортивного общества считается 12 января 1936 года. С тех пор главная футбольная команда железнодорожников тоже стала называться «Локомотивом». А поддержка Лазаря Кагановича, одного из первых лиц советского государства, позволяла клубу легко решать любые организационные вопросы.
В 1936 году, когда было принято решение о проведении клубных чемпионатов страны, «Локомотив» сразу же был включен в группу «А» вместе с тремя другими московскими командами — «Динамо», «Спартаком» и ЦДКА. В первом, весеннем чемпионате железнодорожники заняли пятое место, причем от последнего, седьмого, их отделяло всего лишь одно очко. Но в том же году «Локомотив» вошел в историю советского футбола как первый победитель только что учрежденного Кубка СССР. В финальном матче железнодорожники победили тбилисское «Динамо» со счетом 2:0.
К сожалению, на два с лишним десятилетия этот успех так и оставался единственным. Только в 1957 году команда во второй раз выиграла Кубок СССР, победив в финальном матче московский «Спартак» со счетом 1:0. а через 2 года единственный раз в своей истории завоевала серебряные медали в чемпионате страны. Тогда лидером «Локомотива» был Валентин Бубукин, футболист сборной СССР, вместе с которой в 1960 году он стал чемпионом Европы. А ворота железнодорожников защищал Владимир Маслаченко, в будущем тоже не однажды игравший за сборную страны.
В последующие десятилетия судьба «Локомотива» была не очень счастливой. Ему не раз случалось покидать высшую лигу и возвращаться обратно. В команде появлялись талантливые футболисты — Михаил Гершкович, Валерий Газзаев, Гиви Нодия, Валерий Петраков, — но железнодорожный клуб тогда считался не слишком престижным, и они с удовольствием принимали предложения более именитых клубов.
Возрождение «Локомотива» связано с именем Юрия Семина, который в 1986 году возглавил клуб в качестве главного тренера, а в 1975–1977 годах сам играл в команде железнодорожников. Семин принял команду, когда она уже несколько лет выступала в первой лиге, а в 1988 году «Локомотив» вернулся в высший дивизион чемпионата СССР.
В 1990-х годах «Локомотив» стал выходить на первые позиции уже российского футбола. Дважды завоевывал Кубок России, дважды выигрывал серебряные медали, дважды бронзовые. В 1998 и 1999 годах дважды подряд доходил до полуфиналов Кубка обладателей кубков. Наконец, в 2002 году «Локомотив» впервые стал чемпионом России. Победитель определился в дополнительном матче» с ЦСКА, поскольку оба клуба набрали по 66 очков. Единственный гол, забитый Дмитрием Лоськовым, принес золотые медали железнодорожникам. И в том же году у клуба появился новый стадион, соответствующий всем международным стандартам, настоящий футбольный стадион без беговых дорожек вокруг футбольного поля.
В годы, когда «Локомотив» возглавлял Юрий Семин, под его руководством играли лучшие футболисты России, входившие в сборную страны, — Алексей Смертин, Сергей Игнашевич, Марат Измайлов, Дмитрий Сычев, вратари Руслан Нигматуллин и Сергей Овчинников. В 2004 году «Локомотив» во второй раз стал чемпионом России, и вновь в упорной борьбе с ЦСКА. Кроме того, в 2003 и 2005 годах выигрывал Суперкубок России.
В 2005 году Юрий Семин покинул клуб, уступив пост главного тренера Владимиру Эштрекову. Затем тренеры стали быстро меняться, но главным трофеем, выигранным в последующие годы, пока остается Кубок России, завоеванный в 2007 году. В тот год, кстати, Юрий Семин вернулся в «Локомотив», но в качестве президента клуба, а главным тренером был Анатолий Бышовец. Но поскольку в чемпионате России клуб занял седьмое место, и президент, и главный тренер были освобождены. После этого в «Локомотиве» сменились еще несколько главных тренеров, и наконец в 2009 году этот пост вновь занял Юрий Семин, до этого тренировавший киевское «Динамо». В конце 2010 года он вновь покинул «Локомотив» из-за разногласий с руководством клуба.