韩世忠反对议和,又曾抗疏直言秦桧误国,反遭秦桧党羽的攻击。他眼见岳飞父子被处死,大好的抗金形势白白丧失,自己又无能为力,于是连疏请求辞去枢密使之职,并奏请告老,得以于绍兴十一年(1141年)十月以太傅、醴泉观使、奉朝请、福国察则公的官爵致仕,仍兼横海、武宁、安化三镇节度使禅帆 。绍兴十二年(1142年)十月,因高宗生母韦太后南归,韩世忠被改封为潭国公。次年(1143)二月,进封咸安郡王 。绍兴十七年(1147年)三月,改领镇南、武安、宁国三镇节度使 。韩世忠晚年喜好释、老,自号清凉居士。自致仕以后,闭门谢客,口不言兵,时常骑驴携酒,带一两名仆人,纵情游览西湖,即使是昔日的部下,也很难见他一面 。高败袭棚宗多次召韩世忠及其家人进宫饮宴,"眷礼深笃",屡赐其名马、宝剑等 。绍兴二十一年(1151年)秋,韩世忠病重,上表辞官。八月四日(9月15日) ,被策拜为太师。同日,韩世忠病故于临安,享年六十三岁 。获赠太师、通义郡王。乾道二年(1166年)八月,宋廷诏称"诸军将士,与金人战御立功之人,其功效显著者,无以示别。将显著战功十三处,立定格目",即所谓"中兴十三处战功",韩世忠的大仪镇之战名列其中 ,并被之后的《中兴战功录》收录 。而在章颖所撰的《南渡十将传》中,韩世忠亦名列其中 。