谢尚从小就很孝顺。七岁时兄长去世，他哀恸的感情超出礼法，亲戚无不感到奇异。八岁时，更显得聪明早熟。谢鲲曾带谢尚为宾客饯行，有客人说：“这小孩子是座中的颜回啊。”谢尚应声答道：“座中没有仲尼，怎能辨别出颜回！”一席的宾客没有不惊叹的。
公元323年（太宁元年），谢尚十多岁时，他父亲谢鲲去世。当时丹杨尹温峤来谢尚家吊唁，谢尚号啕大哭，哀伤至极。之后擦干眼泪诉说经过，举止言语异于平常的孩童，温峤十分看重他。 谢尚在成人后，聪明坦率、智能超群，分辨理解的能力无与伦比，他行为洒脱、不拘细节，不做流俗之事。喜欢穿绣有花纹的衣裤，叔伯们责怪他，他因此改掉了这一嗜好，从此显名于世。
谢尚擅长音乐，广通多种技艺。司徒王导十分器重他，把他比做王戎，常称他为“小安丰”，召他为自己的属官。谢尚又世袭父亲爵位咸亭侯。他刚到司徒府通报名帖时，王导因府上正有盛会，便对他说：“听说你能跳《鸲鹆舞》，满座宾客渴望一睹风采，不知你可否满足众人意愿？”谢尚说：“好。”便穿好衣服戴上头巾翩翩起舞。王导让座中宾客拍掌击节，谢尚在广众之中俯仰摇动，旁若无人。他就是如此的率真任意。
他后来迁任西曹属。当时有些人因战乱遭逢父母离绝的不幸，议论的人中有人认为做官管理国家大事，婚姻延续百代世系，在道理上并无妨碍。谢尚议论说：“典法礼仪的建立，都是遵循情理，开启弘扬礼义道德。如果命运中遇到艰难不幸，就应该以大义作决断。无后之罪，天地所不容，婚姻家庭乃是延续世系光大宗族的根本，这无疑不可阻滞。至于亲属生离的悲哀，父子死别的痛苦，悲痛之沉重，莫过于此。因身患不适的小病，尚且有损于视听，使人忘却思索考虑，更何况怀抱伤心之巨痛，悲哀之至忧，方寸已乱，怎能管理国家政务呢！有良知的人决不贸然谋求荣耀利禄。贪图利禄荣耀这一类，也决非是有良知的人所追求的本旨，只会开启轻薄之门而长流弊之风。那些执意隐居田园不求仕进、守志不改的人，尚且应推崇他们的节操以弘扬高洁的风尚，更何况那些含悲怀痛的不幸之人，还要去鼓励他们谋取富贵荣耀吗？” 谢尚后来任会稽王友，入朝补任给事黄门侍郎。又出任建武将军、历阳太守，改任都督江夏义阳随三郡军事、江夏相，将军称号不变。当时，安西将军庾翼镇守在武昌，谢尚多次前往庾翼驻守处商议军务。他曾与庾翼一起练习射箭，庾翼说：“你如果射中箭靶，我就将我的鼓吹赠送给你。”谢尚应声拉弓，箭中靶心，庾翼当即将他的鼓吹送给了谢尚。谢尚为官清廉，理政简易，他刚到任时，郡府用四十匹布为谢尚造乌布帐。谢尚将其拆散，拿去为将士们做了衣裤。
公元344年（建元二年），朝廷下诏任命谢尚为南中郎将，其余官职不变。适逢车骑将军庾冰病逝，朝廷又命谢尚以原职都督豫州四郡军事，兼任江州刺史，以图抑制在荆州的庾氏，但被庾翼先发制人。谢尚便又被改任为西中郎将、督扬州六郡诸军事、豫州刺史、假节，镇守历阳。 公元352年（永和八年），殷浩北伐，派谢尚率部驻扎在寿春，进号为安西将军。当初，苻健部将张遇向谢尚投降，谢尚对他不加安抚。张遇十分恼怒，便谋反并占据许昌。五月，谢尚与姚襄一同进攻张遇。前秦苻健派苻雄、苻菁率领二万步骑兵去救援，双方在颍水的诫桥交战，谢尚等人大败，死伤共一万五千人。谢尚逃回淮南，姚襄则丢弃军用物资，护送谢尚到芍陂。谢尚把所有后事全托付给姚襄，殷浩也只能退屯寿春。谢尚因兵败被送交给廷尉治罪。当时谢尚的外甥女康献皇后褚蒜子临朝执政，便特令只将谢尚降职为建威将军。
当初，谢尚前往寿春时，派建武将军、濮阳太守戴施据守枋头。适逢冉闵之子冉智与其大将蒋干来归附，又派使者刘猗前往谢尚处求援。戴施留住刘猗，询问传国玉玺的消息，刘猗返回后将事情告诉蒋干。蒋干认为谢尚已败，无法援救自己，便犹豫不决。戴施派参军何融率壮士一百人冲破包围进入邺城，登上三台帮助守城，何融骗蒋干说：“现在可以把传国玉玺交付给我。强敌在城外，道路封锁难行，我等也不敢贸然运送传国玺，可派一名使者冲出城去奔告朝廷。天子闻知传国玉玺已在我处，知道足下等人的至诚之心，必定派大军救援，并将厚封足下等。”蒋干便把玉玺交给了何融，何融携带玉玺飞奔返回枋头。谢尚派振武将军胡彬率三百骑兵迎接玉玺，送至京师建业。当时苻健部将杨平驻扎在许昌，十月，谢尚派冠军将军王侠攻克了许昌，将杨平击败。不久，谢尚被征召回朝，授职给事中，赏赐轺车、鼓吹，驻守在石头城。 公元354年（永和十年），桓温北伐收复洛阳，上疏朝廷请求任命谢尚为都督司州诸军事。谢尚准备前往洛阳，但因病未上任。 同年五月，流民郭敞等一千多人挟持陈留内史刘仕投降反叛的姚襄。朝廷十分震惊，任命周闵为中军将军，驻扎在宫中，而谢尚则从历阳返回，戍卫京师，加固长江防线，严密守备。
公元355年（永和十一年）十月，朝廷命谢尚总督并、冀、幽三州军事。
公元356年（永和十二年），谢尚因病无法料理政事，朝廷用丹阳尹王胡之接替他。
公元357年（升平元年），谢尚又被任命为都督豫、冀、幽、并四州。因病重，被征召回朝，拜卫将军，加散骑常侍，还未到，就在历阳病逝，终年五十岁。朝廷追赠散骑常侍、卫将军、开府仪同三司，谥号简。
