谢万被贬为庶民后的两年，又被朝廷起用为散骑常侍。在东晋政权中，有两个专为贵族设立的高级咨询官——黄门侍郎及散骑常侍，这两个官职合称“黄散”，相当于国务院参事，“黄散”最重要的功用是作为贵族晋升的踏脚石。换句话说，谢万借此“散骑”可以重出江湖了。这既可以说是谢家与桓家的妥协，毕竟桓温志在豫州，又不是针对谢家，也可以说是朝廷给桓温上眼药，无论如何，桓温与朝廷的对抗越来越公开了，作为东晋未来最重要的家族之一的代表人物，谢安这时需要重新站队了。

    谢万死在桓温准备北伐前夕。作为桓温军府军政长官，谢安趁机辞职。

    族中人不长寿，多英年早逝是当年谢氏的重要特点。谢氏家族自谢缵以来，去世时的年龄可以考知者，此外还有谢鲲43岁、谢尚50岁、谢据33岁、谢安66岁、谢石62岁、谢玄46岁、谢瞻35岁、谢惠连37岁、谢庄46岁，平均寿命43.2岁。谢氏除在东晋中叶出了两位60岁以上的人外，其他绝大多数人的年龄都在40岁上下，这与同一时期的世族琅琊王氏平均寿命50.07岁、太原王氏49.33岁、陈郡袁氏55岁等相比略低。

    《南史•谢庄传》有一篇谢庄因病辞官的申请，理由之一是说：他家人历代都不长寿，高祖谢万去世时年仅40岁，曾祖谢韶仅33岁，祖谢思仅47岁，而他也已经35岁，到了该去世的年龄了（他后来一直有病，直到46岁时病逝）。谢家人的不幸大约还是因为遗传学上的问题。

    如豫章太守谢鲲有子二人，其中之一幼年病逝，另一子谢尚虽风光当朝，但终因无子，不得不以从弟谢奕之子谢康继承爵位，而谢康又在未成年时病死。其后，谢康弟谢静以子谢肃出继谢尚，虽得以寿终，但又同样没有子嗣，只好再纳胞弟谢虔之子灵佑传递香火。盛极一时的谢鲲长房便是在这样的无人继承中衰落下去。同样，谢安长房谢瑶这一支，仅传了一代便无子嗣；谢安弟谢铁，长房在传了三代后无子嗣。贵显于六朝时期的谢氏家族，经常受后继乏人的困扰。

    谢安族中，因病早亡或常受病魔缠身的人也特别多，这其中除有当时医疗水平低下的原因外，很难不让人与遗传学联系起来。东晋时，谢安族中封、胡、羯、末一时竟秀，但只有谢玄一人活到了46岁，其余3人全部在10岁或20余岁病死，其中的谢渊还未留有后人。谢玄本有兄弟7人，但6人都未活到成年。其后，谢述“有心虚疾，性理时或乖谬”；谢石“少患面创，疡之莫愈”；谢出也有“脚疾”。

    谢家人的不幸早逝或体弱多病，不仅使本人深受其害，也为家族带来一系列的问题。由于族中多人早逝或绝后，家族的社会竞争力大为降低，而在孤儿寡母环境中长大的族中少年，因为缺乏兄妹子侄的帮助和影响，也难免不形成古怪个性。南朝谢灵运的狂傲不羁、谢超宗的盛气凌人，都可以把原因追溯到这里。更为重要的是，谢氏的许多房支都是因为后人不继而自动衰亡，以至最终影响到整个家族的势力。南朝末年，整个谢氏家族只剩下谢嘏和谢贞两家，显然是一个非常可悲的结局，这其中除有政治形势变化而造成其社会地位降低的原因外，失传绝后显然也是一个不容忽视的内因。

    再来说谢万。我们经常说，有的人死得重于泰山，有的轻于鸿毛，谢万像鸿毛一样死了，很窝囊地死了，但是与他的兵败被贬一样，是用悲剧拉开谢家的大剧。巴西一只蝴蝶拍动翅膀，引起中国的一场风暴，谢万就跟那只蝴蝶一样，引起中国历史的风暴。

    当然，谢万的死，一定不是谢安辞职的惟一原因。

    第一个原因，当然是站队问题，因为很明显，以桓温的强势和性格，假如真是桓温当政，是不能容下其他家族的，包括谢家。谢安为求自保，必须自觉归队到朝廷一边。

    第二个原因是桓温府里极其无趣。那里都是些什么人呀，举个例子，有一回，有人给桓温送来了一种草药，就是中药铺里常见的“远志”，其实“远志”是这个植物的根的名字，这个植物的叶子叫“小草”，中草药里常有这样一药两名的例子，比如冬虫夏草。

    桓温随口问一句：“它怎么会有两个名字呢？有什么区别？”

    参军郝隆赶紧凑上来说一句：“主公，这草药，隐在山石中的部分就叫‘远志’，可长在山石外的呢，”他瞟一眼谢安，继续说，“就叫‘小草’啊！呵呵！”这显然是讽刺谢安早前玩“隐居”，搞得名满天下，很有“远志”的样子，出山后，只当个小司马就屁颠得不行，跟“小草”一样，浪得虚名而已。

    这种下三滥的语言游戏，让谢安听得极其不爽。这位郝隆是位狂人，最出名的事，是有一年七月初七，大白天躺在院子里晒肚皮，人家问他：“你干嘛哪？”他就说：“我晒晒肚子里的书。”这人真是自大得可以，梁实秋是个厚道人，也不禁打趣说，可见那时的书真是少呀，一肚子就可装完。在桓温军府，郝隆当蛮族参军，分管少数民族，他不乐意，有一回大家一块儿做诗，他就用蛮语写，桓温很奇怪，问：“这都是什么呀？”郝隆不屑地说：“我说的是蛮语，我是蛮族参军，自然就得说蛮话了。”呵呵，搁现在，就是相当于会说几句英语，出口非得几句“洋泾浜”。一叶知秋，平时与王羲之等大名士交往的谢安，虎落平阳，与这些狂人成天混在一起，要多郁闷有多郁闷。这时候劣币驱逐良币定律发挥了作用。

    在桓温军府里韬晦了两年之后，谢安选择离开。