这个打击是难以承受的，况且他桓谭根本就没说错什么－－图谶根本就不是儒家经典吗！怎么成了“诽谤圣贤”呢？不知道是心理难受之故，还是头伤感染（如破伤风），桓谭死在赴任的途中。

　　桓本该接受教训，在那篇建议奏章被冷落之后，就该不说话了。甚至说，连这篇奏章都不该写，因为此前他还上奏过，讨论建立公平统一的司法体系问题，针对的也是用谶文判案的现象。结果是“书奏，不省”－－皇上没搭理他这一套。

　　事实上，刘秀对言论也不是一概反对的，对那些能够迎合他内心需求的貌信忠耿的议论不仅欣然接受，而且还对建议人给予后赏。（－－刘秀是个过日子的皇帝，除了对宗室赏赐较大方外，对臣下则是“酬赏少薄”。此者，已见于史书。）

　　就在处分桓谭的那一年的前三年（建武二十八年，公元52年），刘秀厚赏了张佚（还有桓荣，与醒谭无血缘关系）。建武二十八年秋天，讨论给太子刘庄选老师的事情。刘秀内心不想让太子的舅舅当选，因为不久前灭亡的西汉就是因为重用外戚才使国祚中断的，出了王莽。但大多数官员还是按老套子说：“太子的舅父阴识可胜任。”

　　博士（相当于社科院有官职如“副部级待遇”的高级专家）张佚脸色凝重地说：“如果为了阴家的利益而立太子，那么可以任命阴识；如果为国家利益，就应选天下贤才。”

　　刘秀暗中高兴，也郑重其事地说：“设师傅的目的在于辅导太子，今天博士能匡正我，何况对太子呢？”于是任命张佚为太子太傅，博士桓荣为少傅，赏赐给他们帷车、马匹。桓荣无形之中升职受赏，高兴不已，召集全体门生，陈列受赐的车马及印信、绶带，鼓励学生们说：“今天所受赏赐，全是靠我对古书的精通，你们也当努力学习，争此殊荣呀！”

　　桓荣确在立太子师一事上虽没直接建议，可他对待皇帝的态度确实比后来的桓谭高明得多。桓谭只知一味抗争，而桓荣却知曲意迎逢。有一次，博士职位出现一个空缺，刘秀打算任用他。他叩头回谢：“我不行，不如我的同学彭闳、皋弘。”刘秀见他谦虚，不仅坚决任命他为博士，还应他的二位同学升为议郎。再后来的故事更说明桓荣确有独到之处。刘秀曾赐给众博士奇果，受赐的人都匆忙把果子揣到怀里，唯有桓荣双手捧接并拜谢。刘秀很高兴，指着桓荣对大家说：“此真儒生也！”