阮山1888年出生在一个贫苦的农民家庭。少年时期由于家境清贫，无法上学，他就借来别人的书，晚上在神桌上的小油灯下，埋头攻读，直至深夜。亲友们见他聪明好学，节衣缩食资助他上学。1908年阮山怀着强烈的求知欲来到福州法政大学读书。1912年毕业后不愿做官，期望以教育救国，回乡募捐，在上湖雷拱桥头创办了“毓秀学堂”，自任校长，用不同于私塾的教学方法教育培养学生。
1919年五四运动爆发后，他开始大量阅读马克思主义的书籍。1922年他感慨万分地写下了这样一首诗：“三十四年一梦消，千秋业绩尚萍飘，劳工若得展眉日，抛书洒血赛封候”，抒发了献身劳苦大众的解放事业和不惜流血牺牲的豪情壮志。1923年秋，他前往广州，与共产党人有了接触，并且阅读了马克思《资本论》的手抄本，认识到“中国维斯义（马克思主义）始能救，中国维斯义始能强”。
1924年，阮山在广州加入国民党（左派）组织。同年夏，他与林心尧、吴仰文、赖俊、熊其藻等人在湖雷成立国民党（左派）永定县党部筹备处。1925年2月，他又任永定县临时党部负责人。1925年冬，由国民党福建省临时党部秘书温阆先（永定洪山人）介绍赴厦门中山中学任教务主任，1926年春在厦门由罗明、罗扬才介绍加入中国共产党。同年3月任厦门党团特别支部干事会书记，5月任中共厦门总干事会书记。同年夏月，他受广东区委指派，回到永定县与林心尧等人一起组建福建省第一个农村党支部——中共永定支部，阮山担任支部书记。他以“毓秀学堂”为活动基地，举办平民夜校。他讲课语言幽默，旁征博引，寓意深刻，大家从中得到启发，受到教育。阮山还结合当时的革命斗争形势，创作了《救穷歌》、《土豪恶》、《军阀的罪恶》、《耕田苦》等大量具有鲜明阶级性和战斗性的山歌。他创作的山歌通俗易懂，深入人心，经久未衰，流传很广。人们赞誉他是闽西的“山歌部长”，是把革命战鼓擂得最响的人，是时代号角吹得最嘹亮的人。中共永定支部建立后，阮山积极发动群众配合北伐东路军攻克永定，积极推进国民革命运动迅猛发展。
1927年，蒋介石发动“四一二”反革命政变。随后，阮山等人转入地下斗争。同年10月，阮山与罗秋天、张鼎丞、卢肇西等组织成立了中共永定县委，统一领导全县的革命斗争。他们积极贯彻党的“八七”会议精神，深入发动群众，准备举行武装暴动。
1928年6月，阮山与张鼎丞、卢肇西等人领导了震撼八闽的“永定暴动”。阮山任暴动副总指挥（张鼎丞任总指挥）。按照县委的部署，6月29日，阮山率领武装首先在上湖雷暴动，以引诱永定城内的守敌出来，确保攻城的胜利。暴动中，阮山身先士卒，英勇杀敌，取得了暴动的初步胜利。但是，驻守在县城狡猾的敌人却按兵不动。阮山果断决定，接着率暴动武装向金丰地区挺进，与卢肇西等人领导的武装举行金丰暴动。城内国民党江湘支队得到金丰告急的消息后，暴跳如雷，立即抽调三分之二的兵力前往镇压。7月1日张鼎丞趁机率领金砂、西溪、东溪等地数千暴动队员举行溪南暴动，队伍浩浩荡荡向县城进发。经过激烈的战斗，攻破了县城。当江湘支队到达金丰时，阮山、卢肇西等人领导的队伍早已远走高飞。暴动后，阮山率领武装在湖雷和金丰大山坚持开展反敌“清剿”斗争。
1929年5月，毛泽东、朱德领导的红四军第二次入闽，解放了永定。在湖雷召开的赤卫队和地方干部会议上，毛泽东亲自宣布成立湖雷区革命委员会，推举阮山任主席。随后，毛泽东等人又于8月第二次来永定，驻在金丰大山，一面养病，一面指导革命斗争。在此期间，阮山多次与毛泽东亲切交谈，汇报情况，请示工作。10月下旬，永定县大部分地区已经解放，第一次全县工农兵代表大会在湖雷召开，阮山当选为永定县苏维埃政府主席，次年2月在第二次全县工农兵代表大会上又再次当选为主席兼县财政委员会主任，领导全县人民进行土地革命、武装斗争和经济文化建设，取得了很大成绩。
1930年3月，闽西苏维埃政府决定成立中国工农红军第九军（后改为红十二军），阮山又兼任红十二军第三团团长。同年6月，阮山调任闽西苏维埃政府财政部长。1930年9月，闽西召开了第二次工农兵大会，决定开办闽西工农银行。由于阮山在以往的革命斗争中显示了领导才能，被推选为银行委员会主任。11月，任闽西工农银行首任行长。
创办工农银行，这在中国革命史上还是第一次。要制定一套适合现代银行的管理制度，但没有任何资料，干部中没有一个人在革命前当过银行的职员，确实是一件不容易的事情。但是，在艰难困苦的情况下，阮山领导工农银行调查金融，发行纸币，保存现金，收购金银，发展社会经济和实行低利借贷，与敌人展开了经济斗争。还组织协助发展对外贸易，把根据地的土特产运到白区出售，购进药品、布匹、食盐等必需品，同时鼓励和组织商人在苏区和白区之间进行正当交易。人民群众踊跃加入自己的银行，许多青年妇女自动取下身上带的首饰，变价买股票。工农银行的基金不断充实和扩大，根据地的经济建设出现了生气勃勃的景象。银行建立的一整套制度，对各根据地开办工农银行有推动和指导的意义，也为后来创办国家总银行奠定了基础，积累了经验。阮山为开创闽西苏区的金融事业作出了重大贡献。
1932年初，由于党的工作需要，阮山被调到江西瑞金，任中华苏维埃中央临时政府教育部社会教育局局长，致力于中央苏区文化教育事业。1934年10月，中央主力红军北上长征后，阮山根据党的指示，留在苏区坚持斗争。是年隆冬，在一个寒风凌厉的夜晚，阮山被叛徒杀害于长汀四都谢坊乡，时年46岁。（《红土骄子》）
