二十世纪三十年代初期，淮南煤矿大规模开采，为外运煤炭，开始修建铁路。
1931年9月（民国20年），淮南建成九龙岗至洛河的窄轨铁路。
1934年6月（民国23年），国民政府建设委员会投资修建田家庵至裕溪口的淮南铁路，全长215公里， 1936年5月，淮南铁路分段陆续建成。次年，淮南煤矿局和淮南铁路局合组为淮南矿路股份有限公司，下辖煤矿、铁路二局。
1938年（民国27年）春，日军入侵，国民政府下令爆破淮南铁路。6月，日军侵占淮南，淮南煤矿股份公司接管淮南煤矿和淮南铁路。
1940年，日本华东铁路株式会社修复淮南铁路。
1945年8月，抗日战争胜利，9月，国民政府派员全面接管淮南煤矿和淮南铁路。
1949年1月18日，淮南解放。济南铁路局军管会接管淮南铁路。11月1日，蚌埠铁路分局成立，淮南铁路并入全国铁路网，属蚌埠铁路分局管辖。
1949年4月为解决新庄孜矿煤炭运输，修建大通至八公山铁路，12月28日建成通车，定名为大八支线。 1957年，毕家岗、李嘴孜、孔集煤矿相继投产，大八支线向西延伸，增设李郢孜、毕家岗、张楼3个车站，大八支线改名为大张支线。
1987年阜淮线建成通车，大张线改名为淮张线；淮南线的起点由田家庵站改为淮南站，大通站撤销，在原站址东北建新大通站，新站与田家庵站接通；原大张线改由淮南西站为始点，更名为淮张线。
到1990年，我市境内铁路有干线4条：构成华东第二通道的阜淮线，西北接京九铁路，东南连淮南铁路；淮南线（淮南－裕溪口），淮南站为始点；淮张线（淮南西站－张楼）；淮田线（淮南站－田家庵站），市内铁路总长431.635公里。另有各厂矿铁路专用线39条。