严立三之父曾在安徽任县知事，为官清廉，在当地政声颇著。父亲英年早逝之后，家无余财，孤儿寡母，生活十分清苦。严立三少年时不苟言笑，学习勤奋刻苦，富有理想，成绩十分优异。当时正值列强侵凌日亟，外患严重，清廷腐朽无能，官吏横征暴敛，民不聊生。
为实现救国救民的理想，严立三16岁时考入安徽陆军小学，先后进入北京清河陆军第一预备学校、保定军官学校学习深造。
1924年，严立三来到黄埔军校工作。先后在第一、二、三期任总队长。在此期间，以身作则，对学生管理严格而又呵护备至，平易近人，诲人不倦，甚受同学敬佩，被誉为“黄埔良师”。
1926年7月，国民革命军誓师北伐，严立三被任命为第二十一师师长，率部出征，军纪严明，沿途秋毫无犯，深受人民欢迎和支持，取得了一系列的重大胜利，严由此得到“北伐名将”的美称。 1927年，蒋介石发动“四·一二”反革命政变，严立三与蒋介石意见不合。当时国民党左派的中心人物邓演达正在武汉，坚持反蒋，言论激烈。蒋介石素知严立三与邓演达交情深厚，对严更加不放心。在南京，蒋介石接见严立三，他对严立三说：“邓演达在武汉，天天喊要打倒我蒋介石，你同他是莫逆之交，为什么不去信劝阻他？”严当即申明，自己是革命军人，奉命北伐，只知任务是打倒军阀，与邓通信也只是说北伐尚未成功，宁汉不能分裂。蒋介石听后仍然不放心，就转移话题，问严近来身体怎么样？副师长陈诚能力怎么样？明白蒋介石的用意，严立三当即回答说：“我的胃病很厉害，请准我离职休养。陈诚是浙江青田人，能力很强，可以接替我的职务。”蒋介石要严回苏州待命，接着何应钦奉蒋之命，赶到苏州，集合队伍，宣布严师长因病休养，由副师长陈诚代理。宣布以后，全师哗然，引起骚乱，弄得何应钦不知如何收场。严立三当即出面制止，责令参谋长、军需处长交出关防及全部结余款项，由陈诚接管。严立三平时廉洁自持，这时全师还有结存银元10万多元。他一块也不留，全部交出。部属的馈赠也一概不收。交接完毕后，严立三只身乘车去了杭州，脱去军装，换上僧衣，住进了天竺寺。闻讯前去慰问的，他一概谢绝不见。“北伐名将”进了寺庙，成为轰动当时社会的一大新闻。严立三这招以退为进，以柔克刚的做法，的确精妙非常。因为当时他无法跟蒋介石硬碰硬，只有住进寺庙，当了和尚，全社会马上就会传开来，中国的舆论都会同情和支持他，他的名声也就越大，这样他就可以进一步与蒋介石抗衡。事实上，没过几个月，严立三就去湖北省当了民政厅长。
严立三的这种处世态度，与他早年的学习修养有关。他喜爱读老庄，老子、庄子的无为而治、与世无争、以柔克刚等哲学思想对他影响很大。在湖北，由于军人干预省政，严立三难以实现自己提出的关于逐步推行地方自治、实行二五减租等改革方案，十分痛苦。
1928年春，蒋桂战争发生之前，严立三突然失踪，对于他的去向，众说纷纭，实际上他已隐居庐山，开始了将近10年的隐居生活。他就任湖北省民政厅长，前后一共不到半年。严立三住在庐山含鄱岭南麓的太乙村，自己种菜，自己砍柴，用竹管导水入厨房，生活上坚持自食其力。劳动之外，便是读书，不过问时事政治。朋友知道他的情况后，纷纷给他送钱送物，他一律拒绝。有些黄埔学生前来探望，他劝他们不要来，以免招致麻烦。当时很多人对严立三的退隐，感到很不理解，称他为“怪人”。甚至有人嘲讽：“诸葛亮不求闻达于诸侯，但在南北交通要道的襄阳隆中隐居；严立三视官爵如敝屣，却住在冠盖云集的庐山。”来说明他的隐居是沽名钓誉。对于这些，严立三总是一笑置之，不加评论。 蒋介石对严立三一直都不放心，曾两次亲往太乙村访问，严立三都避而不见。由此可见严并非沽名钓誉，更见他的胆量。“九·一八”事变后，报界对严立三长期隐居庐山，有所报道，称之为“当今的‘严子陵’，清高过于严子陵”。蒋介石见报之后大为震怒，曾想派人将严立三赶出庐山。陈诚向蒋介石建议，说严立三在黄埔学生中很有威信，给严难堪影响不好。不如用共赴国难的名义，邀请他到南京担任一个空头职衔。于是蒋介石派陈诚劝严立三到南京任军事训练总监，严拒绝了；二次又派陈诚劝驾，请严立三出任中国禁烟总监，又被严拒绝。
1935年6月，“何梅协定”签定以后，华北危机日趋严重。严立三对南京国民政府的丧权辱国十分愤慨，对中华民族的前途非常忧虑。他报国无门，心情惆怅。
1936年，严立三只身北上，去陕西谒黄帝陵。他肩挑简单行李，沿途考察山川形势，访问民间疾苦。这次谒陵他一直是徒步往返，历时三个多月，在黄帝陵前，严立三洒下了悲愤的眼泪。
