俞大光的父亲俞明涣与中科院院士俞大绂父俞明颐同辈。
俞大光出生于营口市，就学于伪满时期的营口学校，后随家庭迁往奉天。1931年“九一八”事变后不久，俞大光全家迁居湖南长沙，当地有祖父俞文瀚留下来的70多亩稻田。父亲转职到天津市北宁铁路局当科长。俞大光初中毕业后，因父亲当时已被解职，无力负担他再上大学，在哥哥的引导下，他考入湖南省立高级工业职业学校，读电机科。在战时坚持读完三年中专后，他进入湖南烟溪第十一兵工厂动力科，任助理技术员，后随工厂迁往重庆铜罐驿。通过自学于1940年考取武汉大学工学院（当时西迁在四川乐山），并申请到乙等贷金，一年后被分入电机系。
由于学习勤奋，俞大光成为工学院同年级中四年总平均成绩最高的学生，享受到优先介绍工作的权利。 1950年，俞大光被派往哈尔滨工业大学研究班向苏联专家学习教学经验。3年结业后留在哈工大任教，先后任电工教研室主任、电机系副主任、教务处副处长。他感于《三字
经》“教不严师之惰，”因此对学生的要求很严，有“铁将军”之绰号。其间他编写了《电工基础》一书，影响甚大。1956年加入中国共产党。1957年晋升为副教授。
1962年4月，俞大光被中央组织部点名调到二机部九局北京第九研究所（后称第九研究院，现中国工程物理研究院），从事核武器引爆控制系统的科研工作。
“文化大革命”中，俞大光因受迫害而中止工作4年。1968年清理阶级队伍，他被点名交待政治历史问题，停止工作进“学习班”。1970年被拘留关进西宁南滩监狱，蹲铁窗500余天。1971年7月被释放劳动教养，喂猪放羊。1972年，蒙受多年不白之冤的俞大光从‘牛棚“解放出来，老伴含泪劝他：“咱们申请调回老家吧，再也不回来了！”俞大光答以“我要在这里继续干下去！”他钟情于自己的事业，对遭难毫无怨言，惋惜的只是时间。
1973年，俞大光被任命为电子工程研究所所长。面对积重难返、问题成堆的局面，他同所党委书记密切配合，进行各方面整顿，逐步创建了一个良好的科研环境，有效地将引爆、引信、遥测、电池等系统的科研工作有条不紊地运转起来，保证了国家任务的顺利完成。
1978年，俞大光任九院副院长。1980年，任一个武器型号的核战斗部总设计师，同年晋升为研究员。1982年，为中国首次潜艇水下发射导弹试验成功作出了贡献。
1984年起，任院科技委副主任。1991年退休后返聘。
1995年，当选为中国工程院院士（信息与电子工程学部）。1998年，又由返聘改为在职，系中国核武器引爆控制系统和遥测系统的开拓者之一。
