在中国书法史上，颜真卿可谓王羲之之后成就最高、影响最大的艺术大师。王羲之曾经来过温州，因而在温州留有与他相关的诸多古迹。颜真卿并未到过温州，不过由于他的后裔流落温州，所以自宋代以来，在永嘉、乐清两地有多处颜真卿的祠庙。
迁居温州的是颜真卿和颜杲卿（真卿之兄）的五世孙颜裕、颜伦、颜祥。颜杲卿官常山太守，唐“安史之乱”爆发，河北二十四郡望风披靡，只有杲卿与弟平原太守真卿联兵抵抗。次年安禄山攻破常山，杲卿与子双双殉难。而颜真卿在“安史之乱”后官至吏部尚书、太子太师，封鲁郡公。唐德宗兴元元年，淮西节度使李希烈发动叛乱。颜真卿受命前往谕降，遭软禁，三年后被缢杀。以颜杲卿、真卿的生活年代来推算，颜裕等迁居温州当在唐朝末年。至于颜氏兄弟迁居温州的原因，有不同说法。一说颜裕“官于温州”，遂与其弟在此定居；另一说则是颜氏兄弟因避乱而寓居温州。
虽然颜裕兄弟唐末就迁居温州，但颜氏后裔在温州的事实，最早被官方认定则是在北宋仁宗皇祐年间。当时有一位两浙提刑官苏舜元，听说颜氏有后人在温州，便派人进行调查。颜家拿出所保存的先祖告身（即授官文凭）和家牒（记载家族世系的谱牒），证实了他们确是颜真卿和颜杲卿嫡系后人。于是苏舜元便向朝廷建议，将颜杲卿的嗣孙颜惟孜和颜真卿的嗣孙颜似贤录用为官。苏舜元提出的理由是：“近年守臣因贼屈附，抵法诛戮，盖忠义不修，莫为之劝。今二颜之裔曰惟孜、似贤，皆为编户民，若录其嗣，显白二颜事以动天下，可不刑而化。”宋仁宗时期接连爆发了京西张海、京东王伦、河北王则等一系列的农民和士兵起义，在起义军所到之处，地方官员非逃即降。而颜杲卿、真卿都是以身殉国、“骂贼而死”的忠义烈士，表彰二颜的事迹，正好可以激励守土官员的气节。因此宋仁宗很快便采纳了苏舜元的建议，不仅录用颜氏二子，还“世复其家”，即永久性地免除颜氏家族的赋役。
宋仁宗对颜氏家族的特殊照顾，主要是一种政治考虑。时间到了南宋初年，同样是出于政治原因，刚经过播迁之苦的南宋小朝廷也想起了表彰忠臣之后。绍兴五年，宋高宗下了一道谕旨，命令温州地方官向朝廷举荐颜氏子弟。而这时的颜家已发展得颇具规模，子孙登科，颇不乏人。结果经地方官的推选，进士颜邵特补右修职郎，颜卓补右迪功郎，而颜真卿的第十一世孙颜彦辉则补下州文学。不仅如此，为了更充分地贯彻朝廷的旨意，时任温州知州的李光还筹划了温州历史上最早的颜真卿纪念堂——“忠义堂”。
忠义堂为李光的前任程迈所建，位于“州治之北”（今鹿城区公安局北面），原来只是知州公署的一个附属建筑物，跟颜真卿并没有什么关系。但李光认为“忠义堂”的名字与颜真卿的忠义事迹正好吻合，现在朝廷又有表彰颜氏的举动，将忠义堂改为颜真卿纪念堂，可谓名正言顺。于是，在李光的主持下，颜真卿的画像被供奉在了忠义堂上。而原来颜家所保存的颜真卿书法手迹，曾经被摹刻上石，现在也搬到忠义堂中，陈列在画像的两侧。
忠义堂不知废于何时。明代成化年间，江西安福进士刘逊来任永嘉知县，始重建颜氏双忠祠以祭祀颜真卿和颜杲卿。刘逊撰写的《颜氏双忠祠记》里说：“按温《志》，旧有颜鲁公祠凡几处，一在州治（今卫治）后，一在城南，余在上戍、瞿溪、乐清黄华者，今皆不知其所，盖废圮久矣。逊来官，仰止忠义，凡废圮而当兴者思续之。适东北隅遗一空宇，特修葺以奉鲁公，并以恒山公同祀焉，额曰‘颜氏双忠祠’。”这段话说得比较明白，州治（或卫治）后的颜鲁公祠，按其方位，应该就是宋代的忠义堂，但到刘逊的时候已经废圮无存了，而刘逊重建的颜氏双忠祠在永宁庙内（即今市区永宁巷附近），也可以肯定不是宋代忠义堂的旧址。
根据刘逊的叙述，再结合明清地方志的记载，我们可以把散处于永嘉、乐清的另外几处颜祠做一番梳理。永嘉有城南、上戍、瞿溪三祠。城南颜祠在慈湖，曾赐额“忠烈”。瞿溪颜祠到清初尚存。康熙初年，永嘉周天锡为父庐墓于瞿溪，曾过祠下，作《颜公祠》诗曰：“鲁公祠堂构溪渚，画壁阴森洒秋雨。精忠大义仰平原，遗像乃在兹山村。”则祠中颜真卿的画像和壁画，都还可以看到。而乐清境内，除了黄华有颜祠外，在茗屿还有一座颜仆射庙，也是祭祀颜真卿的。颜真卿的祠庙散布于永嘉、乐清，其原因大概跟颜氏后人在两地的迁徙定居有关。
往事越千载！颜真卿的祠庙已被“雨打风吹去”，而更令人惋惜的是，当年由颜氏后人带到温州的颜真卿的书法手迹，包括陈列在忠义堂中的石刻，也在岁月的风雨中流失罄尽。宋人赵希鹄的《洞天清录》有一则记载：“颜鲁公之后寓居永嘉。好事者守郡，闻其家有鲁公真迹一筐，以狱事罗织之，而择其尤者摹郡斋，筐书遂归泉南。晚年卜居武夷之下，以声妓自随。一夕暴雨，洪水发，漂所居无踪迹。其人暴尸溪侧，筐不知所在。”贪婪的官员暴尸溪侧，而藏书之筐则“不知所在”，神物天佑，颜真卿的手迹似乎还在冥冥天壤间。但作者这样写，大概也只是因为心存一种美好的愿望罢了。读此故事，令人徒增浩叹！
