夏商時期，市境屬“淮夷”之地。西周時期，市境大部為州來國所轄，南部地區分屬六、蓼。春秋末期，諸侯紛爭。周襄王三十年（前622）楚滅六、蓼，市境南部入楚。周景王十六年（前529）吳滅州來，市境屬吳。隨著楚國勢力的擴張，位于淮河上游的蔡國被迫幾度遷都，求救于吳。周敬王二十七年（前493），在吳國的支持下，蔡國遷都州來，改州來為下蔡。戰國初期，周貞定王二十二年（前447），楚惠王滅蔡，市境屬楚。戰國末期，楚考烈王二十二年（前241）遷都于壽春，改壽春為郢。楚王負芻五年（前223），秦滅楚。

秦始皇二十六年（前221），秦統一六國，市境淮河以南屬九江郡（郡治壽春），鳳臺縣及淮河以北屬泗水郡。漢高祖四年（前203），劉邦封英布為淮南王，首置淮南國，都六（今六安），轄九江、廬江、衡山、豫章4郡。漢高祖十一年（前196），英布獲罪伏誅，改封劉長為淮南王，都壽春（今壽縣）。

漢文帝六年（前174），劉長獲罪流放，死于途中。文帝改封城陽王劉喜為淮南王。漢文帝十六年（前164），淮南國被分為淮南、衡山、廬江，分別封給劉長的3個兒子，長子劉安繼任淮南王，都壽春。漢武帝元狩元年（前122），劉安獲罪自盡，廢淮南國，復為九江郡，治壽春。元封五年（前106），置十三州刺史部，屬揚州刺史部，駐九江郡，壽春為九江郡治所。西漢時期，市境先后為淮南國、九江郡所轄，鳳臺縣屬沛郡下蔡縣。東漢時期，市境為九江郡所轄，分屬壽春縣、下蔡縣。三國時期，曹魏設淮南郡，壽春為郡治兼揚州治所。其后，魏文帝先后封其子曹邕及其弟曹彪為淮南王，明帝青龍元年（233）移治合肥新城。其間，市境為淮南郡所轄。西晉初年，揚州遷治建鄴，淮南郡遷治壽春，市境為其所轄。永嘉亂起，淮河流域淪為戰亂區，江淮郡縣大批廢弛，北人南遷。東晉咸和初年僑置淮南郡于丹陽郡湖縣，市轄境則為僑置的南梁郡。孝武帝時，因避帝后鄭阿春名諱，改壽春為壽陽。南北朝期間，劉宋、南齊、蕭梁沿襲東晉，僑置淮南郡于江南。市境淮河以南先后有豫州、南梁郡等僑置郡縣。北魏、北齊、北周、隋時，市境淮河以南復為淮南郡所轄，淮河以北屬汝陰郡下蔡縣。隋開皇八年（588）置淮南行臺尚書省，治所壽春；次年滅陳，改行臺省為壽州總管府。大業三年（607）改置淮南郡，壽春為郡治所。

唐置淮南道，市境淮河以南屬淮南道壽州所轄。天復二年（902），唐封淮南節度使楊行密為吳王，都揚州，壽州為吳國地?；春右员睂俸幽系罎}州下蔡縣。五代初，吳天祐四年（907）置壽州忠正軍節度使。吳天祚三年（937）南唐代吳，以壽州置清淮軍節度使。后周顯德四年（957）世宗拔壽州，置忠正軍節度使，徙軍治、州治于下蔡（今鳳臺），稱北壽春，壽州稱南壽春。北宋置淮南路，市境屬淮南路壽州（治下蔡）所轄。熙寧五年（1072）分淮南路為東西兩路，市境為淮南西路壽州所轄?；兆谡土辏?116）升壽州為壽春府，府治在北壽春（下蔡）。南宋紹興十一年（1141），宋金和議，以淮河、大散關為界，市境淮河以北屬金國，淮河以南為宋地。金以下蔡為壽州，置防御使，隸汴京路（后改稱南京路）。宋置安豐軍，治安豐縣，壽春隸安豐軍。紹興三十二年（1162）復置壽春府，隸淮南西路，壽春為府治，兼制安豐軍。元代，市境屬河南江北行中書省安豐路，分屬壽春、下蔡兩縣所轄。至元二十八年（1291）建懷遠縣，今市區東部屬懷遠縣轄地。明代，市境屬南京鳳陽府轄地，分屬壽州（包括今鳳臺縣）、懷遠縣。清初，市境屬江南行省鳳陽府，分屬壽州、懷遠縣所轄。順治十八年（1661）置江南省左、右承宣布政使司，鳳陽府隸屬左司?？滴趿辏?667），江南省左布政使司改稱安徽布政使司。雍正十一年（1733）從壽州分置出鳳臺縣，轄下蔡縣故地，同城分治。同治三年（1864）鳳臺縣遷治下蔡縣故地（今城關）。同治四年（1865），安徽置3道，市境隸屬鳳潁六泗道（后改為皖北道）鳳陽府。民國元年（1912）廢道府，市境分屬壽縣、鳳臺縣、懷遠縣。民國3年（1914），市境屬安徽省淮泗道（治鳳陽縣）。民國21年（1932），市境隸屬安徽省第四行政督察區，專員駐壽縣。民國27年（1938）改屬第三區，專員先后駐立煌（今金寨）、六安。民國29年（1940），第三區改為第二區。其中有“淮南三鎮”之稱的田家庵、大通、九龍崗均屬懷遠縣所轄。

1949年1月18日淮南解放。市境分屬淮南礦區、壽縣、鳳臺縣。1949年3月，中共中央華東局決定在淮南三鎮的基礎上設立淮南煤礦特別行政區；4月，淮南煤礦特別行政區改設為淮南礦區。1950年9月，建縣級淮南市。1952年6月，建立省轄淮南市。1977年1月，鳳臺縣由阜陽專區劃入。1999年11月，毛集社會發展綜合實驗區批準成立。2004年7月，孔店鄉、三和鄉、曹庵鎮、史院鄉、孤堆回族鄉、楊公鎮、孫廟鄉由長豐縣分別劃入淮南市大通區、田家庵區、謝家集區。2015年12月3日，國務院批復同意六安市壽縣劃歸淮南市管轄；2016年1月，壽縣正式劃歸淮南市。