后来，国民党打手李英涛再到殷家时，被殷海光轰出了门，台湾当局陷害殷海光的阴谋败露了。
蒋氏父子的特务机关未钓到殷海光，甚为恼火，一怒之下便将帮殷海光识破其阴谋的胡虚一先生抓捕入狱，并判处有期徒刑7年。胡虚一在狱中受尽折磨，眼睛也被整瞎一只。
此事过去多年后，李敖在一篇回忆殷海光的文章中还感慨万千地说："殷海光就是这样容易被钓的人！农村小孩钓青蛙只要用根线往草里一放，青蛙就咬住不放，殷海光容易被小人利用，也正如此。……我同殷海光玩笑性地表示过：你们的为人最容易被小人包围，你们搞政治若当了政，恐怕小人当道的情形，更要严重呀！"
国民党陷害殷海光的阴谋失败后，又用监视、跟踪的办法迫害殷海光。
据殷海光的家人回忆，大约在1963年底，进入殷家的巷子口开始出现监视殷海光的便衣特务和汽车。
殷海光及家人出去有事，特务就用吉普车跟踪、监视。来看殷海光的熟人、朋友、学生，特务均要进行盘查、登记。被登了记的人，就上了"黑名单"，以后在离台、就业诸方面要受到国民党特务机关的刁难和欺视。
很多喜欢殷海光的人因怕上"黑名单"，不敢上殷家的门。这一阶段，殷海光十分孤独、寂寞。
有一天，李敖冒险来看殷海光，殷海光大受感动。他对李敖说："你在这时来看我，真有胆量啊！"
李敖笑着说："这是老师的思想和文章给我的力量嘛。"
殷海光听了，大笑了一阵。
过了一会，殷海光问李敖："门外日夜有特务监视我，怎么办呢？"
李敖说："我的意见，你不要紧张，要若无其事。这种时刻，你要告诉那些真正关心、爱护你的学生，没有特别的大事，要少来。这样，可避免牵连学生。这种时刻，你要体谅学生，因为他们都很年轻，一有记录在身，将很麻烦。学生们这时没有来看你，绝对不是有意疏离你，而是避免受当局的迫害。"
殷海光觉得李敖的建议甚好，当即在大门上贴了"不见学生"的字条。
此后一两年，殷海光的一些学生很少到他家了。李敖帮老师出的这一招，使殷海光的许多学生得以免受国民党的迫害。
60年代，李敖与殷门另几个弟子许登源、洪成完、陆啸钊等，与国民党支持的所谓的"传统派"知名学者胡秋原、任卓宣、郑学稼、徐高阮等展开了一场长达数年的"中西文化大论战"。
这场论战未开始前，李敖等人曾力邀殷海光参加或给予指导，殷海光考虑自己在《自由中国》上写的文字案未了，同时感到政治环境不利于开展文化论战，不想参加，也不愿意指导。
后来，李敖等人送文章上门，请殷海光帮助修改时，殷海光也未动笔，只对少数偏激词句或不当的地方提了一些原则性的意见。由于这几个弟子个性很强，又年轻气盛，殷海光提的一些意见，他们也未全部采纳。
李敖与胡秋原论战时，由学术论争发展到人身攻击、互揭老底，使胡秋原、徐高阮等人大为恼火。他们认为，李敖等人此次与他们展开的大论争，是代老师殷海光作战，殷海光是李敖的总后台，李敖对他们搞人身攻击，也是殷海光教唆的。
1963年底，李敖在《自立晚报》上发表了文章《中国思想趋向的一个答案》，极力主张"抛弃中国传统文化中的糟粕，热烈接受西方现代文化"。殷海光看到这篇文章后，觉得写得不错，只是一些提法欠妥。他马上给李敖去了一封信，肯定李敖提的主张"大方向不错"。殷海光的这封信，被胡秋原、徐高阮等人知道了，并抓住大做文章。
于是，胡秋原和有特务背景的徐高阮及候立朝等人一面与李敖论战，一面在报刊上猛烈围剿、攻击、丑化殷海光，他们把对李敖等人的怨气统统泄到殷海光身上，而且长达数年，给殷海光造成巨大的痛苦。
在这场大围剿中，仅胡秋原一人就在《中华》杂志上写了攻击、丑化殷海光的文章达24万字。
为把殷海光置于死地，胡秋原、徐高阮、候立朝等人还利用他们的特殊关系，给台湾当局和台湾大学校长钱思亮写信，要求取消殷海光的科研补助金，解除殷海光在台湾大学的教职。
对胡秋原、徐高阮、候立朝等人的攻击、丑化，殷海光未作一字反击。他相信"沉默是金"，故用沉默作反抗。
李敖想到老师受到牵连，心里很难过。
为了安慰伤痕累累的老师，他给殷海光写了一封长信，信中说：
这次文警或文丐们对你的集体的有计划的迫害，更增加了人们对你的关切和
同情，更增加了有识之士对他们的鄙视。在这种情形之下，我认为沉默--继续沉
默--可能胜于解释反击，你当然知道许多话，说了固然有说的好处，可不说也有
不说的好处。
……
今日中国的自由学人，你是最当之无愧。你是嘱目"天下"的人，不可以这
般无耻小人为对象，也避免使青年人错觉你在隐约之间以他们为对象。……这几
年来，我不幸跟这般文警或文丐们一起'淌浑水'，弄得不能脱身，已经深感痛苦。
骑虎尚且难下，与虎谋皮，岂可得乎？所以我老老实实劝你殷海光算了，还是让
'一不做，二不休'的李敖来对付他们罢！
"中西文化论战"已过去30多年，论战的真相已经大白。事实证明，当年"中西文化论战"时，殷海光并未支持、纵恿李敖，胡秋原、徐高阮、候立朝等人对殷海光的批判、围剿、丑化，完全是一场与国民党联手作业的政治迫害。这场论战，李敖扬了大名，殷海光却蒙受了数年的围剿、批判。
老师受了冤，李敖心里自然清楚。为了帮受冤的老师出一口气，70到80年代，李敖多次在文章、著作中抨击胡秋原、徐高阮之流当年在"中西文化论战"中无故迫害殷海光的行为。
80年代，李敖与胡秋原打了数十年的文墨官司获得大胜，使九泉之下的殷海光得到了一丝安慰。
在台湾当局与胡秋原等人的联合迫害下，殷海光于1967年7月被迫离开台湾大学。
为掩人耳目，台湾当局要殷海光到教育部任所谓的"研究委员"，殷海光深知国民党此举是要他远离青年，无法影响学生，拒不到教育部任职。
