曾左二人都为湖南同乡，自从咸丰二年，曾国藩和丁母忧在湖南原籍举办湘军，便和左宗棠有了交往。当时左宗棠为湖南婉抚张亮基的幕僚，因公务书信往来不绝，交情日厚。曾国藩后来因率领湘军镇压太平军，地位显赫，督两江，领四省。曾国藩素来知人善任，网罗人才，由他推荐而受提拔的不在少数，一时出现了天下提镇无不出于曾帅的传言。左宗棠虽未进士及第，但凭着自己的才干，此时已名满天下。曾国藩军中自然不能漏掉了像左宗棠这样的人才，左宗棠在咸丰十年被曾国藩聘为幕僚。
此时清朝与太平军的战争处于胶着状态，正当用人之际，由于曾国藩的极力推荐，左宗棠被清朝任命为四品京堂候补、襄办曾国藩军务的头衔，随后被曾国藩派往湖南招募湘勇。这年6月，清政府有意调左宗棠前往四川督办军务，曾国藩认为左宗棠可以独当一面，现在突然要调走左宗棠，无异于断其臂膀，于是曾国藩婉言谢绝了清廷的谕旨，从中可见曾国藩对左宗棠多么器重。
随着安庆的克复，湘军为完成对天京的包围，进一步牵制天京外围的太平军，曾国藩决定对浙江出兵，那么选谁为统兵将领呢？曾国藩首先想到的是左宗棠。曾国藩认为，左宗棠平时用兵取势甚远，审机甚微，可挑大梁，不可久居人下，埋没人才。
天京攻陷后，曾国藩向朝廷奏报克复金陵，所有悍贼被一网打尽，并特别指出，城破后，伪幼主积薪于宫中，举火自焚。这就凸显了曾国藩对太平军有攻克全功。不想左宗棠也上一折，称据金陵逃出难民供出伪幼主洪天贵福于同治六月二十一日由东坝逃至广德，被太平军将领黄文金迎入湖州府城，想借伪幼主名号，召集太平军余众。
清政府看到左宗棠奏报后，对曾国藩大为不满。曾国藩平生自认为以诚信为本，假如按左宗棠所言，则无异于欺君罔上。于是曾国藩上折反驳左宗棠称洪天贵福可能已死而黄文金为纠合太平军余众伪称尚存，这是古来常有之事等。言外之意，左宗棠虚张声势，不过是邀功请赏。左宗棠看到此奏后，又上书为自己辩解，对曾国藩言词激烈，口诛笔伐。至此曾左二人的关系已不可挽回，十几年的交情为了各自的名利而付诸东流。
此后左宗棠在出任陕甘总督过湖北遇见曾国藩的弟弟曾国荃时，曾谈到他和曾国藩绝交的原因，他说过错在曾文正者七八，而己亦居其二三。这话不无道理，曾国藩太看重自己的名声，而左宗棠一贯语无遮掩，这是他们关系破裂的根由。但同为一代名臣，始终不因个人恩怨而在公务上掣肘对方。曾国藩为左宗棠西征筹饷，始终不遗余力，而且推荐自己最得力的湘军将领刘松山随之西征，左宗棠在陕甘新疆建功立业皆赖此军。曾国藩后来听说左宗棠收复新疆的喜讯后，认为左宗棠的能力天下无二。左宗棠平定新疆后，清廷拟封左宗棠一等公爵。慈禧太后认为从前曾国藩克复金陵，仅获封侯，左宗棠在新疆建立功业所依靠的将领刘松山和湘军又是曾国藩所派遣的，于是封左宗棠一等恪靖伯晋二等侯，以示稍亚于曾国藩。所以左宗棠在晚年，逢人便骂曾国藩，经常是喋喋不休。
然而名臣毕竟是名臣，当曾国藩离世时，人们纷纷猜测左宗棠可能不会致祭，左宗棠却送来了他的挽联：“知人之明，谋国之忠，自愧不如元辅；同心若金，攻错若石，相欺无负平生”。这是左宗棠对曾国藩和他们两个关系由衷而作的评价。此后他在给儿子的家书中说：“从前我与曾国藩彼此之间的争论，可以说是除去世事的变化，一点也没有待人处事寓于心机的意思，在这感情悲伤没有闲暇的时候，还有理由与他负气吗？