1908年10月7日（农历戊申年九月十三日）杨遵仪出生于广东揭阳洋淇乡寨内村（今属揭东县登岗镇）一个基督教家庭，兄弟姊妹6人排行第二，全家生活靠父亲的小药店维持。1915年小学、初中、高中在洋淇、澄海、汕头教会学校就读。由于家境不济，初中、高中阶段时辍时读。高中毕业后又工作了一年，自己积攒下100块大洋后辞工告别家人去上海求学。
1928年夏同时考取南京第四中山大学（现南京大学）和上海暨南大学，选读上海暨南大学政治经济学专业。
1929年夏再次考取清华大学继续学习经济学专业。在清华大学受室友程裕淇同学的影响，第二年改学地质学专业。
1933年清华大学地质系毕业，留校当助教。用英文完成的毕业论文《地质文献目录》被当时国立北平研究院评为1933年年度奖金论文。
1935年考入清华大学中华教育文化基金资助的留美研究生。1936年进入美国耶鲁大学研究生院，在地质学家C．O．Dunbar教授的指导下习功地层学及古生物学，于1939年获理学博士学位，并以优异的成绩获美国Sigma Xi科学荣誉学会会员称号。同年回国，在香港与汕头籍船商的女儿徐增惠结婚（婚后育有一子三女）。10月，应聘于广州中山大学任地质系教授、系主任兼两广地质调查所所长。
1942年投笔从戎，参加抗日联军英国驻华（湖南）军事代表团（BMM），任秘书（翻译）。
1946年10月应聘清华大学任地学系教授，主讲地质学及古生物学。
1950年12月参加九三学社，任清华大学支社委员。
1952年国家大学院系调整后，到北京地质学院（中国地质大学前身），先后担任该学院副总务长，专修科主任，水文系、石油系、普查系、地质系系主任，是建院负责人之一。
1956年与郝诒纯、陈国达合著《古生物学教程》，这是中国自己编著的第一部高等院校古生物学教材。同年开始招收研究生并开设了古生物学课程。
1960年与同事们创办了中国第一个“地层古生物学专业”。
1962年在国内首次开设了“生物地层学”课程。夏季，带领研究小组去青海德令哈巴音河、祁连山等地考察后写出了《青海天峻德令哈巴音河二叠纪—三叠纪地层》与《祁连山二叠纪—三叠纪腕足类》两篇重要论文。
1966年〖STBZ〗〖HTSS〗?2月，北京地质学会换届，任秘书长。上半年和助手徐桂荣一起去贵州实地考察研究，此后写出了《贵州中部中、上三叠统腕足类》论文；完成了早年在贵州工作时遇难的三叠纪专家许德佑的心愿。6月，“文革”开始，大学外迁，后去安徽贵池、江西909地质队、湖北荆州劳动。在劳动中利用休息时间通读和选读了《毛泽东选集》英、法、德文版，他坚信语言工具对国家和民族都会有用的。
1971~1972年出国考察的同行专门到江陵请他帮助审查中国学者赴尼泊尔、苏丹等地考察石油的报告译稿，为他们解决燃眉之急。
1977年秋应宜昌地质矿产研究所之邀，赴海南岛石碌矿区考察，解决了有争议的地层问题；与汪啸风，曾令初合作完成了论文《关于石碌矿区地层划分与对比》。
1978年2月28日，与原北京地质学院副院长袁见齐等16位老教授联名给主管教育工作的邓小平副主席和方毅副总理写信，反映地质技术干部青黄不接，我校八年不能正常招生的严重局面，提出在北京地质学院原址“创办研究生部，招收研究生”的建议。在1978年全国科学大会和全国教育工作会议期间，与袁见齐等十多位教授再次向邓小平副主席和方毅副总理上书，恳请有关部委领导支持上述建议，早日办起研究生部。5月15日邓小平副主席批示：好意见，由教育部商同国家计委地质总局处理。9月国务院正式批准成立武汉地质学院北京研究生部，担任研究生部学术委员会委员，地层古生物研究室主任并恢复招收研究生。
1972年8月~1978年，秋，学校外迁期间，教学科研工作不能正常进行，他主动去中国地质科学院协助著名地层古生物学家徐杰编辑《地层古生物论文集》，指导中青年工作。年逾花甲，仍每周3天挤公交车去工作。只要他一到，请教和请求修改文稿的，审阅译稿的人就络绎不绝。他不管工作多忙总是有求必应。若碰到一时解答不了的问题，他将其带回学校查资料、看实物，然后及时将答案告知求教之人。受他帮助的人已不计其数，他只想将自己所有的知识传授给青年同行，让他们迅速成长起来。当时最大难题是中青年外语不过关，他便主动向学校和中国地质科学院提出办个英语班，可那时全国正在批“洋奴哲学”，这样做是要冒极大的风险的，他依然针对地层古生物方面的英语需求，给几十个人讲授了1个月。之后应部分人的要求又开了法语课。这些听课的人后来在学术上取得了成就，在国际交流中发挥了重要作用。
1979年6月下旬赴荷兰和英国考察IGCP“时间准确性”项目的研究实况，并交流了经验。
1980年2月，率代表团（任团长）赴新西兰惠灵顿（Wellington）参加第五届冈瓦纳地质讨论会，作了《华南海相二叠—三叠系界线》报告。同年，和洪友崇对河北围场发现的淡水鲎化石进行研究，该研究对其科、亚科和属的分类作了探讨及描述，并强调分类应以组合特征为依据；记述了15个新亚科、2个新属、3个新种。其成果不但提示了这一发现，填补了中国古生物学的空白门类，而且在地层对比、确定地层时代上也有一定的实用价值。12月，当选为中国科学院学部委员（院士）。
1982年4~8月，与陈燕合作研究桂、川泥盆纪虫颚，作了系统的分类和种属描述。蠕虫是动物界的大门类，虫颚在中国极少报道，填补了中国对这门动物研究的空白；本年与聂泽同合作撰写的《关于西藏阿里地区侏罗纪蛇尾纲化石的描述》的论文，填补了中国对蛇尾纲化石研究的空白。
1983年3月，经郝诒纯、李凤麟同志介绍加入中国共产党。6月，由于本人在国际学术交流方面的努力，美国科学家Prof?Cloud向武汉地质学院捐赠各类科技图书2476册，缓解了当时科研教学图书资源短缺的困难。
1984年担任国际地科联地层委员会冈瓦纳地层分会、二叠系、三叠系分会、二叠—三叠系界线工作组委员；是第一位在联合国教科文组织和国际地科联共同领导的国际地质对比计划（IGCP）项目中担任负责人的中国学者，任IGCP203项目和国内组领导人〖ZW（〗IGCP 项目设领导人（Leader）和1~3个共同领导人（co?leder）。其下，各国工作组（Working Gnoup）又有其国内组长。〖ZW）〗（Leader）组长（1983~1987），1988年又担任IGCP272项目共同领导人和国内组组长，为推动国际合作交流作出了重要贡献。7月，随中国代表团赴莫斯科参加第27届国际地质大会，作了《华南二叠—三叠系界线及生物地层分带》、《西藏及邻区的下冈瓦纳岩系及古地理古构造意义》的报告，同时主持召开了IGCP203项目工作组第二次国际会议。
1985年3月至5月，应美中学术交流协会邀请进行了为期两个多月的讲学、访问活动，在美国加州大学圣巴巴拉分校、加州大学伯克利分校、耶鲁（Yale）大学、美国地质调查所、华盛顿古生物学会、纽约自然博物馆等单位系统讲授了中国地质构造特征、地层界线问题和中国的油气地质；参观了许多大学、研究机构和博物馆，与许多知名地质学家、学者讨论了共同感兴趣的问题；出席了美国国家科学院第一百二十二次年会；多次接受美国记者的采访，美国几家报纸详细登载了他的谈话和活动。同年8月，他又率代表团赴美出席了第6届冈瓦纳地质讨论会，在会上作了《西藏阿里地区中生代生物群特征与西藏地壳构造演化的关系》的报告，同时主持召开了IGCP203项目工作组第三次国际会议。
1986年在牛津大学地质与地球物理专著系列中出版了《中国地质学》（英文版）（杨遵仪，程裕淇，王鸿祯）。这是继李四光之后50年，又一次向国际全面介绍中国地质。6月底至7月中，率代表团赴意大利参加有关西特提斯二叠—三叠系界线的地质考察和讨论会，作了《中国二叠—三叠纪事件研究的进展》的报告，并担任大会执行主席。会议期间主持召开了IGCP203项目工作组第四次国际会议。11月4日~8日参加在四川广元举行的中国二叠—三叠系界线及事件现场学术讨论会，并考察上寺二叠—三叠系剖面。
1987年8月底~9月初，参加在北京召开的由中国古生物学会牵头会同中国地质学会、煤炭学会、石油学会共同筹办的国际学术大会；同时在北京主持召开IGCP203项目工作总结会。
1978~1987年，担任教研室主任期间，结合中国的实际情况为地层古生物专业发展制定了科学和正确的目标。1990年经国家教委审定，地层古生物专业成为中国同类专业中唯一重点学科。
1988年与郝诒纯共同编写的高等学校试用教材——《古生物学教程》获国家教委全国高等学校优秀教材奖及地矿部优秀教材一等奖（排名第一）。
1989年《华南二叠—三叠系界线地层及动物群》获国家教委科技进步奖二等奖（排名第一）。
1990年年初赴澳大利亚参加IGCP272项目工作会议。2月，赴新西兰出席第2届国际腕足类会议，会上宣读了与史晓颖合写的论文《青藏高原侏罗纪腕足动物序列》。9月下旬，赴阿根廷参加国际石炭—二叠纪地层会议，报告了与梁定益、聂泽同合作研究的成果《冈瓦纳北缘及扬子陆块西缘二叠纪两个水下拉伸-沉积事件》。
1991年获北京市及全国优秀教师称号。
1992年8月24日—9月13日出席在日本京都召开的第29届国际地质大会，宣读了与殷鸿福、吴顺宝等人合作的论文《华南二叠—三叠纪事件》。《西藏阿里地区白垩纪固着蛤类及其地质意义》获《地质学报》优秀论文奖（排名第一）。同年他被美洲地质学会选为终身荣誉会员。原配夫人徐增惠因病去世。
1993年与聂泽同共编写的《西藏阿里古生物》（杨遵仪等）获地矿部科技成果奖二等奖（排名第一）。
1994年5月，获美国耶鲁（Yale）大学颁发的Association奖章。同年，《华南二叠三叠纪过渡时期地质事件》获地矿部科技成果奖二等奖（排名第一）。
1996年1月，与李晓珍女士结婚。
199710月，获何梁何利基金科学与技术进步奖和李四光地质科学奖荣誉奖。
2001年8月，赴浙江长兴参加全球二叠—三叠系界线层型及重大事件国际学术会议，主持开幕式并致词。同年“全球二叠系—三叠系界线层型研究”获湖北省自然科学一等奖（排名第二），并获科技部2001年十大科技新闻，教育部2001年十大科技进展等。
2002年11月，全球二叠—三叠系界线层型研究获国家自然科学二等奖（排名第二）。
2003年他除了自己的教学、科研、学术活动外，做得最多的还是利用休息时间帮同行改稿，来者不拒。教研室看到古稀之年的他不分昼夜地忙，怕他身体受不了，就向求教者设了一个接待程序，分轻重缓急，但这些人不去办公室了，就到家里或在路上碰见他将稿件给他，这程序就偃旗息鼓了。仅第25、第26届两届国际地质大会的论文就有50多篇是他翻译或修改的。1990年后他出外的机会少了，工作重心是国内外的学术活动和培养研究生。他对学生和求教者真是诲人不倦，满腔热情；研究生的论文、求教者的稿件，各种科研项目的评审材料，他都是逐字斟酌，不厌其烦，《地质学报》英文版从1983年开办至2003年3月，每期的稿件他都一丝不苟地修改。1995年后他已是耄耋老人了，但仍精力充沛，不改以往工作习惯。2002年9月在北京召开的IGCP447项目首届国际学术会议的英文稿件及野外路线图基本都是经他修改和校审。修改一篇文章有时比自己写一篇还难，他却总是兢兢业业，乐此不疲。助人和解决他人困难已和他的生命密不可分，成了他的人生乐趣。
2009年9月17日零点三十八分，杨遵仪院士因病医治无效，在北京逝世，享年101岁。
