淮南铁路于1933年冬季开始勘测，至1935年底全线竣工，1936年1月正式通车，耗资450万元。
1934年1月淮南铁路尚在勘测阶段，铁道部就曾明确认定该路为淮南煤矿专用铁路，并说明该路建成15年后，经铁道部认为有收回经营之必要时，可按照造价估折收为公营。至1937年，建设委员会将所办的淮南煤矿及专用铁路转移给淮南矿路股份有限公司经营，同时招足商股800万元，规定营业年限为30年。
1937年日军入侵，抗战军兴，该路为配合国民党军队战略需要，奉令破坏。1938年7月，淮南铁路全线沦于敌手，由日军将路矿恢复利用。迨后于1941年，日军又将水家湖至裕溪口一段轨道器材进行拆除，移建为水家湖至蚌埠支线，以与津浦路接轨。
1945年8月，日本投降，蚌支线又被其大肆破坏，桥梁轨枕荡然无存，车站等建筑尽被焚毁无遗。整个淮南铁路仅剩田家庵至水家湖间27公里线路。10月，接收委员会在吴竞清及胡卫中的率领下进行接收工作。当时除27公里线路外，还有勉强可以用的机车6台、客车10辆、货车253辆。11月接收完毕，成立淮南铁路局，以吴竞清为局长，胡卫中、宁树藩为副局长。水家湖至蚌埠一段，约61公里线路，原系沦陷期内，日军将水家湖至裕溪口一线拆除移来所建，后又遭其破坏，一无所存。本段线路的修复工作，在华中铁道管理委员会的协助之下，于1946年春开始，至5月下旬即告竣工，6月1日正式通车。
