回帖：反对立后
　当时，高宗想以武昭仪取代 王皇后 ，他首先赐武昭仪封号宸妃，来济和宰相 韩瑗 “宸妃古无此号”为由加以反对。然而，高宗不顾来济、韩瑗、 褚遂良 、 长孙无忌 的反对，废黜王皇后，立武宸妃为皇后。来济等都不自安；武后上表称来济忠公，请加赏慰，但心中其实厌恶他们。
　　显庆元年（656年），武后之子 李弘 被立为 皇太子 ，来济兼任 太子宾客 ，进爵南阳县侯，仍为中书令。显庆二年（657年），来济又兼 太子詹事 。同年， 许敬宗 、 李义府 诬告来济、韩瑗与褚遂良构成朋党，准备谋反。褚遂良贬桂州（今广西桂林市）都督，来济贬台州（今浙江省台州市）刺史，韩瑗贬振州（今海南三亚市）刺史，终身不许回京。
战死庭州
　显庆四年（659年），长孙无忌被逼自杀， 柳奭 （王皇后的舅舅）、韩瑗处死。显庆五年（660年），来济改任庭州（在西突厥十姓的边界，今新疆昌吉回族自治州）刺史。龙朔二年（662年），西突厥部落进攻庭州。来济统兵防御，并言“我多年前就该被处死了，蒙赦性命，当以身报国。” 他因此不穿甲胄，率军出击，力战阵亡。时年五十三，赠楚州刺史，赐灵柩还乡。