南京将弁学堂毕业。早年加入同盟会，1915年袁世凯称帝时，孙中山兴师伐袁。杨虎任江苏军总司令，海军陆战队司令兼代理海军总司令。12月任淞沪司令长官部海军陆战队司令，在上海发动反袁世凯起义。12月5日，杨虎率革命党人占领肇和军舰，炮击制造局，揭开武装反袁序幕。1917年任护法军政府军事委员，1918年任广州大本营参军，后任鄂军总司令。
1922年任广州非常大总统府卫士队长、广州非常大总统府参军。民国11 年6 月，陈炯明在广州叛变，围攻总统府，杨虎率海军全力护卫，委派要员背负孙中山突围登上永丰舰，使之化险为夷。1923年任广东大本营参军兼海军处长，1924年任北伐讨贼军第二军第一师师长。孙中山逝世后，杨虎追随蒋介石与之结为拜把兄弟。1926年赴江西，任国民革命军总司令部特务处处长。
民国16 年3 月23 日，杨随蒋奔赴安庆，纠合暴徒捣毁国民党（左派）安徽省党部、安庆市党部以及省工会、农会、妇协会等左派群众团体，屠杀、殴打革命者多人。1927年任上海警备司令。是年4 月12 日，杨虎与陈群一起，在白崇禧指挥下，具体执行了蒋介石在上海发动的反革命政变。5 月7 日，杨虎被蒋帮委任为“清党委员会”委员，杨利用“清党”之机，先后在上海、杭州、宁波等地谋杀共产党人陈延年、宣中华、何赤华、杨眉山、王鲲、宣中禅、董子兴、卓兰芳、胡蕉琴、吴子衡等多人。并与陈群、黄金荣、杜月笙沆瀣一气，上海人民斥为“养（杨）虎成（陈）群。”
1928年10月任国民政府参军处中将参军，1931年11月当选中国国民党第四届中央监察委员，1932年任上海市保安处长，1935年11月再次当选国民党中央监察委员，1936年1月授陆军少将，4月任淞沪警备司令部司令，1937年8月被撤职。
民国26年8月9日，上海“虹桥事件”爆发，杨虎发动上海地方武装兴师抗日，战斗失利，国民党军队陷入重围，杨虎出面与英租界交涉，使孤军进入英租界到沪西归队。是年11 月，杨虎因谋取重庆（陪都）卫戍司令未成，与蒋介石发生矛盾，先后同张澜、李济深、沈钧儒、章伯钧、祝世康等爱国民主人士接触，并经杨杰介绍认识周恩来。次年秋，周恩来随毛泽东赴渝参加重庆谈判，国民党特务企图谋害，杨虎知情后面斥戴笠“不许暗下毒手”。1945年授陆军中将，5月再次当选国民党中央监察委员，1946年11月任制宪国民大会代表，后在上海参加爱国民主运动，1948年任监察院监察委员。
抗日战争胜利后，蒋介石挑起全面内战，杨虎由重庆返回上海，按周恩来嘱咐，常与中共地下党人吴克坚保持秘密联系，先后采取各种措施，掩护、营救过爱国民主人士章伯钧、罗隆基、张澜、王葆贞、朱蕴山和胡允恭夫妇。
