1933年，生活在柏林的犹太人曾专门建了一个博物馆，以彰显自己的成就，馆址为位于柏林奥兰尼安贝格街（Oranienburger Street）的一个犹太教教堂。5年后，由于纳粹政权兴起，该馆被迫关闭，所有物产没收。二战后关于重建犹太博物馆的讨论持续了几十年，而且这个尚未存在的博物馆的收藏品不断增多，这个问题因而再次被提上西柏林市政府的议事日程。
1975年，该馆协会成立，1978年博物馆首次开馆，但仅是柏林博物馆中的一个分部，1988年，联邦德国为柏林博物馆的扩建举行了一次设计竞赛，试图专门建一个犹太展厅，被评为一等奖的是里柏斯金的设计方案。
1990年，德国统一，统一后的政府缺乏资金，政府官员提出要放弃柏林博物馆的扩建，理由是把资金投入修补东部城市的基础设施更有必要。此外，位于东柏林的犹太教堂的重建工作已经开始，他们认为它可以用作柏林博物馆犹太分部，但是此时设计已受到国际间的注意，甚至被当作德国认识大屠杀罪恶并试图弥补的力证。紧随其后，一场“群众来信”运动拯救了这个方案。
但是博物馆的扩建依然引发了怎样描述犹太历史的争论，批评家们反对把犹太人的成就融入德国历史。有人甚至提出这样是否会避开“和解”，永远地对柏林人伸出谴责的手指。新的争论再次拖延了方案的实施。1992年初，有关方面才基本同意将犹太厅放在地下层，别的历史性主题放在上面的楼层，但是其基本设计还是保留了，11月举行了奠基典礼。
1993年，阿·巴茨德被选为犹太展厅负责人，他认为应突出犹太人的主题，并请求扩建一个单独的犹太博物馆。但直到1996年，他的意见不仅未被采纳，反而因坚持其不妥协态度而卸任。与此同时，扩建工程一直在进行，但进度缓慢。统一后的各种财政问题影响了政府资金的到位，对设计方案的争论也从未间断。
1997年，德国犹太人历史学家米歇尔·布吕芒塔尔（也被译为米歇尔·布鲁门塔尔）受聘管理博物馆。他担任这一职务有特殊的意味，因为在1939年他的全家曾被驱逐出柏林。
1999年，该博物馆正式独立成为单一的机构，其行政管理与柏林博物馆分离。2001年，博物馆的管理权由柏林州政府移交给联邦政府，并举行了正式的开馆仪式，并丰富了展品。在其后的5年中，犹太博物馆共接待了350万参观者。
