永元四年二月，诏令留在边郡总督军事的任尚还兵长安。
同月，大将军召集京师公卿朝会，讨论放弃凉州，移民三辅的计划：他打了一个生动的比喻：“两件衣服都坏了，拆一件补另一件，尚能保全一件。不然，两无所保。”公卿们都承认了他的逻辑。
有一个人不同意，他也是靠近河南一带的陈国人。会后，太尉张禹的府门被郎中虞翊敲开。
“大将军之策，有三不可。先帝所开疆土，费尽精力。现在害怕一点小小的花费，轻而放弃，此不可一也；凉州一旦放弃，三辅地区则成了边塞，先帝的陵园暴露于外，此不可二也；谚曰：‘关西出将，关东出相’，烈士武臣，多出凉州，民风猛壮，便习兵事。今羌胡之所以不敢入据三辅心腹之地，就是因为有凉州在其背后。凉州士民之所以推锋执锐，蒙矢石于行阵，父死于前，子战于后，而无反顾之心，就是因为他们是大汉的臣民。现在朝廷打算推而捐之，割而弃之，民众们安土重迁，一定会引领遥望，相互怨恨道：‘中国弃我于夷狄!’，倘若他们卒然间起了谋虑，趁着天下饥馑、海内虚弱之际，豪强相聚，量材立帅，驱赶着羌胡作为前锋，席卷而东，即便姜太公在世，也无法抵挡。真的如此，则函谷关以西的土地，连着旧京、园陵将非复为大汉所有，此不可三也。”
虞翊滔滔陈述，太尉大惊失色：“老夫的考虑没到这一步，没有您的这番话，几乎败了国事，请问有何对策?”
“朝廷可以收罗凉州的豪杰，引其子弟入朝为官，一则作为对他们勤于边事的鼓励，二则作为防止他们谋反的人质。”
公卿们又开了一次会，打算逐步实施虞翊的计划。但大将军有些不高兴，下面的人看出来，便找个借口把虞翊外放到朝歌做县令去了。
