李敖的表白，意味着他并不想跟姚从吾做"助理"，他要尽早要离开这里，去另做一番震天动地的大事业。
李敖在姚从吾处做了一段时间"助理"后，除了他不安心做个纯学者的原因外，还有两件事对他困扰不小，第一是不能兼差。李敖是个活动范围大，交际很广的人，不能兼差的规定将他束缚死了，使他的才能难以发挥，想做的事情无法做。第二是不按时发薪。当时，李敖除偶尔有点稿费收入外，生活主要靠工资，单位不按时发薪，使他的生活陷入困境，甚至连吃饭的钱也没有。而那些学术官吏和教授们，就不担这个心了。因为他们都有很高的本薪，发薪时间一到，财会人员将钱送上了门。
有一天，《大陆》杂志社的马宏祥托人带信给李敖，告知他想将杂志社的工作让给李敖，每月工资600元。李敖得到这一消息，很想兼着干。8月7日，他给姚从吾写了一封信，谈了自己想在《大陆》杂志社兼差的事，并在信中说，此事只是个人想法，如姚从吾同意，他就干，不同意就不干。
9月3日晚，姚从吾给李敖回了信，他说《大陆》杂志社的事，不是那么简单，即使能去，恐怕要经多次商谈才能定。他准备约《大陆》杂志社负责人赵先生到李敖处玩半天，但不知赵是否有时间。
姚从吾在信中还教导李敖说：应该有大志，要看远些。不受3年苦，难得人上人。任何事情，希多加审视。
李敖看了信，见姚从吾对工资的问题一字未提，兼差的事明未反对，实际上不太赞成。决定"通天"，将不能按时发薪的问题直接写信告诉胡适，请胡适帮助解决。
10月6日，李敖给胡适写了一封信。他在信中说："你们这个不准时给助理发薪的制度，已使我个人不好意思再向姚先生借钱，使我的3条裤子进了当铺，最后不得不向你唠叨诉苦。这是制度的漏洞还是人谋的不臧，我不清楚……"
胡适收到李敖的信后，感到此事是个问题，立即将中央研究院科学会的执行秘书徐公起叫来，当面交待要尽快将此事解决好，不能弄得"助理"们没有钱吃饭。
10月7日夜，胡适给李敖回了一封亲笔信，告知此事马上解决。胡适在信中还夹了1000元的支票，说这笔钱是送给他的，以帮他"赎当救急"，希望李敖不要推辞。
胡适还特别嘱咐李敖：过了"双十节"，一定到中央研究院来玩玩。
李敖收到胡适的信和钱，心里颇感动，觉得胡适对他太好了。可事后一想，"助理"工资即使解决了，姚从吾那里也不是自己的久留之地，因为胡适、姚从吾对自己还好，台湾学术研究机构中的体制和各种制度捆得人难以动弹，更不用说干大事业了。
为此，李敖心里苦不堪言。
1961年11月2日、12月13日，李敖给姚从吾连写了两封信，透露了自己的心里的苦恼：
每当你刚走后，我关上研究室的灯和门，准备让夜色吞蚀我的时候，我就忍
不住在"高楼"中有点黯然，"大难"随时可以当头，可是由于你的支持，我总算
觅得一块"净土"来安置我的肉体。我不是一个用功的人，我的身世与气质，使我
怀疑我能否走纯学术的路，我的许多朋友是年轻人，年轻人自然有许多被老年人感
到"奇怪"的苦恼，可是比起他们来，我的苦恼似乎更"错宗复杂"。我用这4字，
并没有什么自豪的意思，摸索了这么多年，我发现我愈来愈小，而且糟糕的是，我
又自甘于渺小，自知我不能不渺小，我用我那渺小的眼睛望着"高楼"，在我那渺
小的头脑里，我是多么不愿浮现出陈子昂那首《登幽州台歌》啊！
在第二封信中，李敖告诉姚从吾，他想去教书，用真正的汗珠，换取他应得的报酬。
李敖在信中还说，给他们这42人安排做"助理"，本意在安定学人生活，在"国家长期发展科学委员会"的安抚下，他这个小"学人"也分到了1000元，可惜，这个数目仅够维持一个学生的最低的生活而不是一个"学人"的最低生活。一个学人的最低生活标准，应该有一间安静的小房，深夜可看书，每月可买几百元的书，看两场电影，能到姚老师常去的台北新生南路三段"老爷饭店"吃一次饭。可在现时，这最低标准也达不到。
他还说，他想去教书，并不是告别学问，但在目前，学问对于他来说，简直是一件奢侈品。做学问需要大量的安定与气质，他这种"内多欲而外好学问"的人尤其如此。基于这些原因，他再不能恋栈了，不配做姚老师的助手，姚老师的研究室也不该收他这样一个文化浪人。他的个性，不是做学问的材料，他好对偏锋，他不扎实，也没有耐心，他还不满现状，在各方面都没有根，他像水面上的浮萍。
在信的末尾，李敖深情地写道：
10个月来，你对我的奖掖，对我生活的安定，是我永远不会忘记的。如果我
不是一个忘恩负义的人，我还会永远感激。在我解甲归来刚要涉世的时候，你给了
我这么漫长的一段轻松而有益的生活，使我不致做那些纯为了生活而做的与个人兴
趣毫不相干的事，使我有限的青春不会掷诸虚它。更可贵的是，你并不因我的工作
而说一句责备我的话；也不因懒惰和立异说一句责备我的话……10个月的日子
不可谓不长，10个月的包容不可谓不大，10个月的麻烦与操心不可谓不多。10个
月了，我如何还能再老下脸皮累你呢？看到你为助理事烦心，我就觉得不安，我觉
得现在正是我"请去"的时候了，所以后来当你把每人每月送300元的计划一提出
来，我就一口谢绝，我不愿我这样继续累人。
……
姚从吾接到李敖的信，心情甚为沉重。同时，他又很同情李敖。从内心讲，他太喜欢李敖，也很舍不得他离开，但李敖是蛟龙人物，个性奇特，处境如此糟，再强留在自己身边，也很难。
李敖想去教书，因台湾大学文学院院长沈刚伯作梗去不了，其他学校也一时难以进人。姚从吾想来想去，觉得惟一的办法是搞个私下交换，将李敖与台北商业专科学校的老师杨培桂对调，叫杨培桂做自己的"助理"，李敖去台北商专当教师。
