Лодейно Щеткинской волости Никольского уезда Вологодской губернии (ныне — Подосиновского района
Кировской области) в семье крестьянина. Окончил Николо-Пушемское земское училище в соседнем селе Щеткино в 1912 году. С 15 лет работал на сезонных работах на лесных биржах в Подосиновце и Архангельске .Участник Первой мировой войны. Весной 1916 года призван в армию. После учебной артиллерийской команды младший унтер-офицер Конев в 1917 году был направлен на Юго-Западный фронт. Демобилизован в 1918 году.
В том же 1918 году вступил в большевистскую партию, был избран уездным военным комиссаром в городе Никольске Вологодской губернии. После этого воевал в рядах Красной Армии на восточном фронте против войск А. В. Колчака и других белогвардейских формирований в Забайкалье и на Дальнем Востоке. Был комиссаром бронепоезда, комиссаром стрелковой бригады, дивизии, штаба Народно-революционной армии Дальневосточной республики. В числе других делегатов X-го съезда РКП(б) принимал участие в подавлении Кронштадтского восстания в 1921 году.
