Родился 8 декабря (21 декабря) 1904 г. в г. Александрия Кировоградской обл., из крестьян, украинец.
В 1919 г. окончил «высшее начальное училище», в 1927 г. — Кавалерийскую школу им. С.М. Буденного, в 1939 г. — Военную академию им. М.В. Фрунзе, в 1948 г. — «ВАК при Высшей военной академии им. К.Е. Ворошилова».
В Советскую Армию вступил добровольно 13 февраля 1920 г. и до начала Великой Отечественной войны занимал должности командира взвода, начальника полковой школы, начальника штаба полка и начальника штаба стрелковой дивизии (сентябрь 1927 г. — февраль 1940 г.).
В начале Великой Отечественной войны — командир стрелковой дивизии (по сентябрь 1943 г.).
Командующий армией генерал-лейтенант Яковлев В.Ф. в боевой характеристике П.К. Кошевого в 1942 г. отмечал: "... за время боевых действий дивизии проявил себя как волевой, энергичный командир... При выполнении поставленных задач иногда из узких местнических целей способен упустить общее, главное...".
До конца войны и в послевоенный период П.К. Кошевой — командир стрелкового корпуса (по июль 1946 г.), командующий армией (по июль 1955 г.), первый заместитель Главнокомандующего Группой советских войск в Германии (по июль 1957 г.), командующий войсками Сибирского военного округа (по апрель 1960 г.), Киевского военного округа (по январь 1965 г.).
Главнокомандующий Сухопутными войсками Маршал Советского Союза Чуйков В.И. написал в его аттестации 1962 г.: "Приобретенный боевой опыт умело применяет при обучении и воспитании войск... Дисциплинированный, энергичный и высокотребовательный к подчиненным генерал. Трудолюбив и настойчив в проведении в жизнь принятых решений".
С января 1965 г. по октябрь 1969 г. — Главнокомандующий Группой советских войск в Германии, по сентябрь 1976 г. — генеральный инспектор Группы генеральных инспекторов Министерства обороны СССР.
П.К. Кошевой — дважды Герой Советского Союза (16.05.1944 г., 19.04.1945 г.), награжден 5 орденами Ленина (17.12.1941 г., 16.05.1944 г., 30.04.1945 г., 9.12.1964 г., 22.02.1968 г.), орденом Октябрьской Революции (4.12.1974 г.), 3 орденами Красного Знамени (3.11.1944 г., 15.11.1950 г., 21.02.1969 г.), орденом Богдана Хмельницкого I степени (5.05.1945 г.), орденом Суворова II степени (31.03.1943 г.), 2 орденами Кутузова II степени (17.09.1943 г., 4.07.1944 г.), а также 11 медалями СССР и 10 орденами и медалями иностранных государств.
Воинские звания: полковник — присвоено 29 февраля 1940 г., генерал-майор -1 октября 1942 г., генерал-лейтенант — 17 мая 1944 г., генерал-полковник -31 мая 1954 г., генерал армии — 13 апреля 1964 г., Маршал Советского Союза -15 апреля 1968 г.
Член КПСС с 1925 г., кандидат в члены ЦК КПСС с 1961 г. по 1971 г., депутат Верховного Совета СССР 6 и 7-го созывов.
Умер П.К. Кошевой 30 августа 1976 г. Похоронен на Новодевичьем кладбище в Москве.