道起第10军身世，说来话长。第一次国共合作，组织国民革命军，由广州誓师北伐，仅有八个军。随战况之进展，先后收编成立了贺耀祖、叶开鑫、曹万顺、夏超、杨森、刘湘、夏斗寅、上官云相、陈调元等诸军。其中贵州王天培成立第10军，这是第10军建军之第一代。1927年宁汉分裂，王天培死于津浦线之蚌埠。
张学良易帜，中国由军阀割据局面变成统一，全国军队宿编成四个集团军，以师为战略单位。毛炳文任第3师师长，这是后来第10军的基础，第二代第10军的前身。
西安事变前后，李玉堂任第3师师长。1937年，“七、七”抗战军兴，在“八、一三”上海之战后的9月25日，钧家湾失守，李玉堂与王敬久第87师合力收复钧家湾。
11月5日，，日本第10军军司令官间本雅晴率第6、第18、第114师团在杭州湾金山卫登陆，由松井石根华中军组成，沿太湖南北两岸犯我首都南京，李玉堂率第3师沿沪宁线转至栖霞山，与第48师合组第10军，李玉堂升任第10军军长，这是第10军之第二代。
后来，第10军与汤水镇第83军、叶肇的第66军构成南京外围阵地，战斗在乌龙山、和尚桥等处，与仙鹤门、岔路口友军并肩战斗。
12月12日。南京卫戍司令长官唐生智下达突围命令。第10军向敌后突围，经皖南转进至南浔线沙河车站一带整军，第48师调出，脱离第10军建制，成立预备第10师。1938年9月，日本第11军军司令官冈村宁次率第6、第101、第104师团，由橙田睐四郎重炮旅团犯我南昌，史称南昌会战。第10军作战在沙河、武宁、修水河浜，战事结束，驻湖南平江县，辖胡蕴山第3师，方先觉预备第10师，归第27集团军杨森指挥，纳入该集团军战斗序列。
1939年秋，第一次长沙会战，第10军作战在梅仙、幕埠山、平江一带，战斗结束，移驻沅陵。第3师师长胡蕴山病退，副师长周庆祥升任师长。