日本国土约75%属山地丘陵地带，小规模的山间盆地及平原散布全国，成为民居、耕种、经济活动集中之处。山地面积占土地面积最大的四国，为79.9%，其次九州占64.8%，本州有63.6%，北海道最低，为49%。日本全国最高峰则是位于太平洋沿岸山梨县及静冈县交界的富士山，根据日本国土交通省国土地理院山岳标高资料， 富士山的海拔高度达3,776米。富士山自1708年之后就没有再大规模喷发过，不过仍然是一座活火山。
日本国内平原面积不大，大多都是小规模的冲积平原、海岸平原和洪积台地。当中最大的是首都东京所在的关东平原，面积约13,000km²。其他规模较大平原则包括爱知县名古屋市一带的浓尾平原、大阪及京都两府附近的近畿平原、本州东北部宫城县的仙台平原，以及北海道西部的石狩平原。因日本地狭人稠，在许多沿海的平原地区，日本通过开山填海以增加土地面积。
日本自北至南的四大岛屿是北海道、本州、四国和九州。北海道位于日本列岛的最北端，南隔津轻海峡与本州相对。北海道旧名虾夷，原住民族为爱努族，当地的很多地名也来自爱努语。北海道的主要山系有南部的日高山脉和东部的石狩山地，西部的夕张山地等。北海道内的最高山峰是旭岳，海拔2291米。在山脉的中间有富良野盆地、上川盆地、名寄盆地、北见盆地等盆地。北海道东海岸平原较少，较大的平原有十胜平原。西海岸的平原面积较大，其中最大的石狩平原也是北海道人口最为集中的地区。较低的人口密度使得北海道是日本森林面积最大的地区，森林面积占全道面积的71%，也是日本木材生产量最多的地区。和日本其他地区相比，北海道的湖泊数量颇多，主要湖泊有阿寒湖、屈斜路湖、支笏湖、洞爷湖等。
本州岛是日本最大的岛屿。北美板块和欧亚板块在本州北部挤压太平洋板块，形成了纵贯本州北部的奥羽山脉。发源自奥羽山脉及其他山脉的河流在其中游形成盆地，下游则形成平原。奥羽山脉西侧的日本海沿岸地区有大量火山景观，主要火山有岩木山、鸟海山、月山。而奥羽山脉东侧的太平洋沿岸地区的主要山脉有北上山地，高度相对较低。日本海沟位于本州东部的海域，海沟西侧发生过多次巨大地震。奥羽山脉的南侧是日本面积最大的平原关东平原，日本的首都东京也位于这里。关东平原人口密集，也是地震的多发地区。中央地堑带在关东地方一带纵贯本州的中部，而日本最高峰富士山也位于中央地堑带。中央地堑带以西则是连绵险峻的高山，自东向西分别是赤石山脉、木曾山脉和飞驒山脉，三条山脉合称为日本阿尔卑斯山脉，山脉汇集的长野县也因此成为日本地势最高的地区。而日本阿尔卑斯山脉以西的山势则比较平缓。以铃鹿山脉为界，以西是近畿地方。近畿地方没有太高的山脉，位于平缓山脉之中的京都盆地和奈良盆地是日本历史最为悠久的地区。近几地方以西是中国地方。中国山地横贯了中国地方，山脉北侧是山阴地方，南侧是山阳地方。山阴地方平原较少且面积狭小，人口密度也较低。而山阳地方则人口密集，气候温暖，是日本重要的工业地区。
四国位于日本西南部，北隔濑户内海和本州相望，南为太平洋。是日本四大岛中最小的一个。四国山地横贯四国岛中部且山势险峻，也是四国各县和主要水系的分界线。由于四国山地的存在，四国南北气候差异很大，北部的濑户内海沿岸温暖干燥，南部则高温多雨。四国地方地形崎岖多山，交通不便，经济也欠发达。
九州是日本四大岛屿中位置最南的。九州的中部是九州山地，其核心阿苏山周边为少见完整位于陆地上的的破火山口。九州的地形可大体分为三个地区：北部和中部的界线是松山－伊万里构造线；中部和南部的界线是臼杵－八代构造线。北部地势较平，而南部山地较多。中部则在数十万年之前都曾是濑户内海的延伸部份，因阿苏山的数次喷发而逐渐与其他陆地相连。九州是日本距离中国和朝鲜半岛最近的地方，也是中国大陆文化传入日本的重要地点。
日本国土的最南部是琉球群岛，范围包括了冲绳县和鹿儿岛县南部的岛屿地区。冲绳地方古为琉球国，二战后为美军接管，直到1972年日本重新统治冲绳。这里的人民独立性强，与日本本土其它地方的风俗迥然不同。冲绳地方自南向北主要的群岛有吐噶喇群岛、奄美群岛、冲绳群岛、先岛诸岛。 日本地处四个板块的交界处，地震和火山活动十分活跃。世界上每年发生的大小地震中，有约10%都是在日本附近发生。1996年到2005年期间，世界上发生的里氏6级以上的地震中，有20%都是发生在日本。20世纪以来，在日本发生并造成重大损失的大地震有1923年的关东大地震（这场地震导致超过10万人死亡，是日本史上死者最多地震。地震给日本首都东京带来毁灭性打击）、1995年的阪神淡路大地震（此次地震都之后都市的地震对策和建筑基准法的修订及防灾意识产生了重大影响）和2011年的东北地方太平洋冲地震（地震所带来的海啸给东日本太平洋沿岸地区带来重大灾害，其引发的核电站事故带来的严重影响至今仍未消除）。而在沿海地区，地震之后引发的海啸常带来远超过地震的影响，英语中的海啸（Tsunami）一词就是来自于日语。1896年发生的明治三陆大地震引发的海啸最高达38米，超过22,000人遇难或失踪。2011年发生的东北地方太平洋冲地震引发的海啸最高浪高达40.5米，约2万人遇难或失踪。
除了地震和海啸之外，火山引发的灾害在日本也不少见。1708年富士山宝永大喷发时，江户市内也堆积了大量火山灰。1986年伊豆大岛三原山喷发，岛上所有居民都被迫离岛避难。1991年发生在长崎县的云仙普贤岳喷发也导致43人遇难。而近年日本较为活跃的火山有有珠山、浅间山、三宅岛、阿苏山和樱岛等。日本其他的主要自然灾害还有山体滑坡、泥石流、洪水、台风、雪灾和低温灾害等。
