在九江市博物馆成立之前，市文化教育局负责文物的管理工作，他们有一批专业的文物人员，同时也在积极征集散失的文物。1958年和1966年，市文教局在烟水亭连续举办了两次九江历史文物陈列展览，展示了丰富的历史文化遗产。
然而，1965年，烟水亭及其文物和库藏被移交给园林部门，随后在文化大革命初期，烟水亭的文物陈列室被迫关闭，导致文物无人照管，一定程度上造成了文物的流失。直到1972年，市文化馆内设立了文物组，重新收回烟水亭，并在文化组的支持下，举办了新的《九江历史文物陈列》展览。
随着对外开放和旅游业的发展，中共九江市委意识到建立专门的博物馆的重要性，因此决定成立九江市博物馆。博物馆的办公室最初设在历史悠久的能仁寺内，而文物陈列室则选择在烟水亭设立，以展示和保护九江的历史遗产。
1986年，博物馆的办公室迁移到浔阳路东路，但烟水亭作为文物陈列室的地点保持不变，继续承担着展示和传承九江历史文化的重要角色。
九江市博物馆成立于1978年，馆址坐落在市区风景秀丽的甘棠湖中的烟水亭 。烟水亭，相传为“周瑜点将台之故址。1987年又在亭前仿建“周瑜点将台”一座，以供游人以瞻，现为江西省文物保护单位。是中共九江市委、市政府1995年命名的第一批，爱国主义教育基地。