林州歷史悠久，古名隆慮，出自戰國韓國“臨慮邑”。
在夏屬冀州。
春秋時先屬衛，后屬晉。戰國時為韓國臨慮邑，后屬魏國，而后又屬趙國。
秦屬邯鄲郡。
西漢高帝二年（公元前205年）置縣，以西鄰隆慮山取名置“隆慮縣”，屬河內郡。
東漢延平元年（公元106年）因避殤帝劉隆諱，改名林慮縣，建安十七年（公元212年）屬魏郡。
三國屬魏國朝歌郡。
西晉泰始元年（公元265年）屬司州汲郡，永嘉元年（公元307年）屬前趙。
東晉大興二年（公元319年）屬后趙，永和七年（公元351年）屬前燕，太和五年（公元370年）屬前秦，太元九年（公元384年）屬后燕。
北魏太平真君六年（公元445年），并入鄴。
太和二十一年（公元497年）復置林慮縣。
永安元年（公元528年）由林慮縣分置臨淇縣，置林慮郡，屬相州。
北齊天保七年（公元556年），廢林慮郡。
北周復置林慮郡。
隋開皇三年（公元583年）林慮郡廢，南部分置淇陽縣，開皇十六年（公元596年）置巖州，大業元年（公元605年）廢州，淇陽縣、臨淇縣并入林慮縣，屬魏郡。
唐武德二年（公元619年）復置巖州，武德五年（公元622年）廢州為縣，屬相州。
金貞佑三年（公元1215年）升為林州，屬河北西路彰德府，興定三年（公元1219年）增置輔巖縣，屬林州。
元至元二年（公元1265年）廢州為縣，輔巖縣并入，至元六年（公元1269年）復升為州，劃輔巖入安陽縣，屬中書省彰德路。
明洪武三年（公元1370年）降州為縣，改名林縣，屬河南布政司彰德府。
清屬河南省彰德府。
中華民國2年（公元1913年）屬河南省河北道。中華民國29年（公元1940年）3月分為林縣和林北縣，林北縣屬晉冀魯豫邊區太行區第五專區，林縣屬國民黨統治區。中華民國32年（公元1943年）5月成立林縣抗日民主，林縣屬晉冀魯豫邊區太行區第七專區。中華民國35年（公元1946年）6月林縣、林北二縣合并，復稱林縣，屬晉冀魯豫邊區太行區第五專區。
1949年8月屬平原省安陽專區。1952年11月屬河南省安陽專區。1962年屬安陽專區。1983年10月屬安陽市。1986年，林縣轄15個鄉。1987年12月，城關鄉撤鄉建鎮。1988年12月，城關鎮析置城關鎮、城郊鄉，臨淇、姚村、河順、任村、東姚、合澗、橫水7個鄉撤鄉建鎮。1993年，姚村、河順2鎮各劃出4個行政村成立陵陽鎮。同年，合澗鎮由合澗鎮合澗村遷駐合澗鎮王家村。1996年，東崗、原康、澤下、采桑4個鄉撤鄉建鎮，其中澤下鄉更名為五龍鎮，駐五龍鎮景崗山。1998年，撤銷小店鄉設立桂林鎮，鎮駐桂林鎮桂林村。1994年1月24日，經國務院批準，撤銷林縣設立林州市，由河南省直轄，暫由安陽市代管。2003年1月，撤銷城關鎮，新置4個街道：開元街道、桂園街道、龍山街道、振林街道。2012年，茶店鄉撤鄉設鎮。2012年10月24日，設立紅旗渠經濟技術開發區。2014年8月18日石板巖鄉撤鄉設鎮。 2016年3月，撤銷城郊鄉設立黃華鎮。
