江西省地质博物馆的发展历史可追溯到解放前，前身是原江西矿业调查所创立的“江西地质矿产标本室”和李四光教授创立的“庐山地质馆”。江西矿业调查所于1927年开始筹建并开展工作，1928年10月22日在南昌正式成立，1937年更名为江西地质调查所。江西矿业调查所在1927年建立的同时即筹办了“江西地质矿产标本室”,至1933年标本室已初具规模。据1933年《江西矿业调查所年报》记载，“搜集各种岩石矿物标本……陈列于标本室”。“庐山地质馆”由李四光教授1935年创立，毁于抗日战争时期。1937年“标本陈列室”随调查所迁至江西省泰和县后将标本室更名为“地质矿产陈列馆”。据1941年7月的《江西省地质调查概况》记载，“近已建筑地质矿产陈列馆一所”。嗣后，由于战乱动荡、人员变化、馆址多次迁移等原因致使藏品全部散失。

1958年7月16日,地质部拨款在南昌市站前路56号兴建江西地质陈列馆2000平方米。（局志）

1962年江西地质局重建“江西地质岩矿标本陈列室”，馆址设在南昌市省地质局大院内，占平房四间，毁于十年动乱时期。1981年底，江西省地质局以一幢二层楼房为依托，重建“地质标本陈列室”，展厅面积600余平方米，1982年7月1日正式开馆。1987年江西省地矿局决定充实、调整陈列室，并报请部申请更名为“江西地质博物馆”，同年7月25日经地矿部地函[1987]156号批准，“地质标本陈列室”正式更名为“江西地质博物馆”。1993年“江西地质博物馆”被南昌市教委确定为科普教学基地和地理学科的第二课堂。2002年，根据江西省地矿局机关办公楼的整体规划，计划将原馆所在地用于建造办公大楼，2002年底“江西地质博物馆”拆展，展品全部搬运到地下室。

2004年江西省地矿局决定将新办公楼二楼作为博物馆的新馆址，并对“江西地质博物馆”重新布展。2005年7月，布展工作基本结束,展馆面积630 m2，设有5个展区：右边2个是地学科普和江西矿产资源，左边3个是江西地质环境、江西地矿局、宝玉石观赏石展区。博物馆以1500余件实物标本为主，配有100余个展版、300多幅图片、3个仿真模型、3个触摸屏和1个放映厅，是社会各界了解地球科普知识和江西矿产资源的重要窗口。2006年1月，“江西省地质博物馆”被省编办作为事业单位正式批准设立，2006年2月27日重新开馆。

2012年3月，省地矿局信息中心并入博物馆，更名为江西省地质博物馆（江西省地矿局信息中心）。2015年1月，省地矿局物业中心并入江西省地质博物馆（江西省地矿局信息中心）。2015年4月根据赣编办函［2015］53号，“江西省地质博物馆”划分为公益一类事业单位。

2005年12月被江西省科学技术厅、中共江西省委宣传部、江西省教育厅、江西省科学技术协会授予“江西省青少年科技教育基地” ，同时被中国地质博物馆授予“中国地质博物馆江西分馆”。2008年12月被中国地球物理学会授予“青少年科普教育基地”，被南昌市西湖区南站街办授予“青少年爱国主义教育基地”，2009年5月被国土资源部授予第一批“国土资源科普基地”。2015年3月被江西省科协授予“江西省科普教育基地”。

2016年底，因原馆设施逐渐老化、展柜出现破损，局决定对博物馆进行重新布展。2018年5月，在江西省地质局庆祝建局60周年之际，重新布展后的江西省地质博物馆开馆。新馆设有“地学科普”、“江西地质”、“地质局史”三个展区，重点陈列了形式多样的文图展板、丰富多彩的地质标本、内容翔实的物件史料，配以视频放映、多媒体查询、场景再现、声光电等设施，充分展示了江西大地近20亿年的历史变迁、丰富的矿产资源和江西地质局成立60年的辉煌历程。