唐德宗时，杨炎与卢杞一度同任宰相。卢杞脸上有大片的蓝色痣斑，相貌奇丑无比，是一个除了逢迎拍马之外一无所长的阴险小人。与卢杞同为宰相的杨炎，却满腹经纶，一表人才。
博学多闻、精通时政、具有卓越政治才能的杨炎，虽然具有宰相之能，性格却过于刚直。因此，像卢杞这样的小人，他根本就不放在眼里，从来都不屑与卢杞往来。为此，卢杞怀恨在心，千方百计想要算计杨炎。
正好节度使梁崇义背叛朝廷，发动叛乱，德宗皇帝命淮西节度使李希烈前去讨伐。杨炎认为李希烈为人反复无常，坚决阻挠重用李希烈。
其时，德宗已经下定了决心，对杨炎说：“这件事你就不要管了！”可是，刚直的杨炎并不把德宗的不快放在眼里，还是一再表示反对用李希烈，这使本来就对他有点不满的德宗更加生气。
不巧的是，诏命下达之后，正好赶上连日阴雨，李希烈进军迟缓，德宗又是个急性子，于是就找卢杞商量。卢杞便对德宗说：“李希烈之所以拖延徘徊，正是因为听说杨炎反对他的缘故，陛下何必为了保全杨炎的面子而影响平定叛军的大事呢？不如暂时免去杨炎宰相的职位，让李希烈放心。等到叛军平定之后，再重新起用杨炎，也没有什么大关系！”
德宗果然听信了卢杞的话，免去了杨炎的宰相职务。
很显然，一味刚直的杨炎就因为不愿与小人交往而莫名其妙地丢掉了相位。
用违背道义、奉迎权势的态度处世，固然会毁坏名气、丧失气节；但一味刚正不阿，不懂韬光养晦，最终只会祸害自己。因此，正直虽然是美好的品行，但为了更好地坚持正义和保存自己，即使你是一个才华横溢的人，即使你有绝世无双的本领，必要的时候还是得收起锋芒，放低身架做人，必须学会适应环境、审时度势，万不可清高自傲，一意孤行，我行我素；应虚怀若谷，团结别人，用自己的品行感染和凝聚志同道合的人。这样，既能有效地保护自我，又能充分发挥自己的才能，在社会上争得一席之地。
