他幼年时入宫，一直被高延福收为养子，因此改名为高力士，由于当时受到武则天的赏识，后由于助唐玄宗平定韦皇后和太平公主之乱，深得信任，因此其地位在唐玄宗管治期间达到顶点，官至骠骑大将军、进开府仪同三司。高力士对唐玄宗不离不弃、一生忠心耿耿，所以被誉为千古贤宦第一人。
在天宝元年因玉真公主和贺知章的称赞，玄宗看了其诗赋对李白十分仰慕，于是召里边入宫，单日便于玄宗进行了一番长谈，当玄宗问到一些当世事务时李白凭这半生饱学及长期对社会看法对答如流。玄宗大为赞赏立刻令李白供奉翰林，陪侍皇帝左右。玄宗每有宴请或郊游，必命李白侍从，而李白是一位有才华的诗人，他一心希望能为国家做一番轰轰烈烈的大事，但唐玄宗李隆基却只让他做了一个翰林供奉，他觉得很是枯燥于是常常一人喝闷酒。
话说这天李白又喝得酩酊大醉，突然有人来传皇上的旨意。原来是玄宗和杨贵妃正在花园赏花，让李白写诗助兴。李白看到如云似锦的牡丹衬托着倾国倾城的杨贵妃，借着酒劲诗兴大发提笔写下了著名的《清平调》。玄宗甚是高兴，便叫乐师李龟年演奏，亲自吹笛，宫女们演唱，听得杨贵妃如醉如痴，而高力士和杨国忠更是竭力讨好皇上。李白见了觉得十分恶心，借着酒劲把脚伸到高力士面前说：来，给我脱靴!高力士是大太监，天子称他为兄，诸王称他为翁，驸马、宰相还要称他一声公公，何等神气的高力士何时受过这种羞辱，无奈李白现在是皇帝跟前的红人，惹他不得，高力士只得忍气把他的两只长靴脱下来，靴是脱了但从此记恨在心。
李白又看了一下旁边的杨国忠，于是起身向玄宗磕了个头说：皇上，听说国舅研的墨的手艺是一流的，不如让国舅爷研墨，我把《清平调》重新抄写一遍?玄宗连头都没回就答应了。杨国忠做梦也没想到自己被李白戏弄，只好忍着气强装笑脸研起墨来。
据李肇《唐国史补》卷上《李白脱靴事》记载，李白与唐玄宗饮酒，喝醉了，唐玄宗命他作诗，并令高力士为李白脱靴，高力士照做了。另有一说，李白醉酒后，唐玄宗命他为杨玉环作诗，李白说要先换一双便鞋。唐玄宗命人去取鞋，这时，李白向站在一旁的高力士把脚一伸：“给我把鞋脱了! ”高力士权倾朝野，太子、贵妃也要对他礼让三分，李白如此无礼，自然让高力士动了怒。他一句谗言，让李白的仕途从此止步。
上元元年，已退位的唐玄宗被逼“迁宫”。高力士挺身而出，指着李辅国大骂。李辅国恼羞成怒，杀了高力士的一个侍从，唐玄宗和侍从们都吓得发抖，只有高力士对挡道的士兵喊道：“太上皇起驾，还不放下手中兵器，高呼万岁! ”最后，李辅国跳下马叩拜太上皇。事后，唐玄宗感慨：如果不是高力士，他早已成了兵士的刀下之鬼。
唐肃宗时期，太监李辅国掌权，高力士被流放。后来，唐玄宗、唐肃宗先后离世，高力士听说后痛哭流涕，吐血而亡。
在关于唐朝的影视作品中，高力士是个不可或缺的角色，但大多以奸佞猥琐、谄言媚上、恃宠弄权的形象出现。而不少学者认为，历史上的高力士不但不是奸臣，反而忠心耿耿，并为开元盛世做出过贡献。
高力士原名冯元一，说起来也是一位贵公子。他的曾祖冯盎曾任高州总督，受封耿国公;他的父亲冯君衡世袭祖上军功，担任潘州刺史。后来，冯君衡因受到一桩谋反案牵连而被抄家。当时年仅十几岁的冯元一被阉割成为太监。他长相清秀，入宫后得到武则天的喜爱，但后来因犯错被逐出宫。这时，太监高延福将他收为养子，从此改名为高力士。在此期间，高力士随高延福经常在武三思家走动，武则天见了，又把他召进宫。
