他没有看书中的内容，强行没收了孙慧珍书摊上的《我给我画帽子》，并出具了《高雄市政府取缔违法出版品录影节目带三联单》一张，以资证明。
孙慧珍一再告诉他，此书并未查禁，不能查扣，王聪琰气势汹汹地说："我是警察，有权决定查禁任何书刊！"
说完，他将扣押的书带回了警察局。
孙慧珍无法，只得电告李敖，告知了《我给我画帽子》被查禁的经过。
李敖听了孙慧珍叙述的经过后，感到又是个反查禁的机会。因为，警察个人没有查禁书刊的权利，王聪琰此举显然违法了。要抓住此事，教训教训那些乱查乱扣的军警。
他叫孙慧珍将三联单保护好，他马上找高雄市政府扯皮。
8月10日，李敖给高雄市长苏南成去了一函，题为《致台湾第一不要脸书》。函中说，苏过去任台南市长时，他曾写文章揭发苏系台湾第一不要脸的人，引起哗然，议员们也纷纷为苏的无耻之事质询苏。今天，苏南成走马高雄，又有假借职务上的权利，教唆下属王聪琰，非法扣压他的书籍，有妨害他依法发行图书权利之嫌，已触犯"刑法"第134条，第29条及第304条之罪嫌。苏南成身为公务员，在执行职务、行使公权力时，故意不法侵害他发行图书的权利，依"赔偿法"第二条及第7条的规定，应由台南市政府担负赔偿责任。
苏南成系台湾台南市人，生于1936年1月14日，少年时代在台南念书，后考入台湾成功大学，曾获美国沛丹大学荣誉法学博士、贝富特大学荣誉政治哲学博士学位。苏早年做过铁路运输工人、教师、《台湾时报》台南分社主任，1955年加入国民党，曾两次脱党，后又加入。1966年，苏竞选台南市议员失败，1968年再次参选成功，1973年因违纪竞选台南市长又被国民党开除党籍，1977年以无党派人士参选获胜，1981年连任市长，1982年再次恢复其党籍，1985年5月调任高雄市长，1988年当选国民党第十三届中央委员、常委，1990年5月获聘为"总统府国策顾问"。
苏南成头脑灵活，反应敏捷，因一向刚愎自用，目中无人，许多人不喜欢他。
他看到李敖的挂号函，决定暂不调查，也不回复。
过了7个月，李敖见苏南成不作任何反映，心里甚有气，又委托龙云翔律师去高雄，找高雄市政府进行交涉，并递交了《损害赔偿损失书》。
在龙云翔的苦逼下，苏南成叫手下人员去作了一些调查，看李敖反映的问题是否属实。
手下立即分头下去找有关人员作了了解。了解的结果是：李敖反映的情况真实，要求也属合理。
苏南成听了汇报，感到李敖非等闲之辈，不好对付，此事再不能拖延，否则要吃官司，如果法院判决李敖胜诉，舆论一报道，他这个市长就脸上无光了。
他立即责成市政府的有关人员开协调会，并向李敖作适当赔偿。同时，他还将高雄警察局长找来，要求局里对警员王聪琰作适当处理。
1987年5月9日上午，由市政府官员廖兆祥牵头，组织协议机关代理人李文锦、法制室代表黄章一、新闻处代表王砚青及高雄警察局的代表等，与李敖一起协商处理非法查扣书籍的问题。
经过反复磋商，双方达成如下几项协议：
一、警员王聪琰因于1985年6月27日过失查扣李敖先生所著《我给我画帽子》
一书，所开具三联单039334号应予撤销；
二、查扣之书两本，已于1985年7月12日返还书摊，免于赔偿；
三、本府同意象征性赔偿请求人新台币1元；
四、本局已主动将警员王聪琰调职处分，另由本局作成案例教育（典型）。
高雄是台湾当局的"直辖市"，过去也从未向普通民众赔过款，这是首次向一个无权无势的民众低头。
虽然只得到1元钱的赔偿，李敖也很满意。因为，这1元钱意味着他未到法院打官司，就获得了胜利。
此案的另一大趣点是一向作威作福的警员王聪琰也向李敖低了头。
据李敖讲，王聪琰长得身高马大，凶猛强悍，李敖到高雄与市政府签订赔偿协议那天，高雄市警察局对他的工作作了调整，再不要他到市区巡逻。同时，还令他到市政府向李敖报告查扣经过及对处分他是否满意。当时，王聪琰心里万分痛苦。过去，他在高雄市区横冲直闯，耀武扬威，民众见他无不畏惧。他从来未向人低过头，这一回，市警察局要他去向李敖低头，比刀砍在他身上还难受。
由于他把事情做错了，上司非要他与李敖见面，他躲不脱，只得硬着头皮来见李敖。
他一见到李敖，满面羞愧，结结巴巴地说不出话来。
李敖得知王聪琰已从盐埕区肥缺调往市警察局看门，对他又产生了同情之心。他对王聪琰说："我写的书，90多本都给查禁了，警察在执行查扣任务时，难以弄清，因而出现见我的书一面世就被查扣的现象。王警员的错误是可以原谅的，我想不必进一步处罚他了。"
在场的大小警官听了李敖的话，觉得李敖很通情达理，鼓掌称赞李敖讲得好，是真正的"得饶人处且饶人"的大丈夫行为。
一度非常痛苦的王聪琰见大家笑了，紧张、害怕的心里也迅即消除。他走到李敖跟前，深深地鞠了一躬，并连连说对不起。
王聪琰的这一举动，引起在场人的赞扬。在一阵笑声中，双方结束了协议。
据1987年7月2日台湾《民众日报》报道，在赔偿李敖1元钱的问题上，高雄市政府内部曾发生了一场大争论，争论的焦点，是用现金支付，还是开"国库"支票。
市长苏南成投鼠忌器，疑虑重重，觉得用"国库"支票赔钱给个人不好，主张由会计室付现金。
有些人认为，李敖的书是被市警察查扣的，属"政府"行为，高雄市政府又出具了三联单，理应由"国库"开支票赔偿。
李敖也认为，根据"公库法"第15条"应以支票为之"的规定，这1元钱应开支票，这张支票是战利品，也是他胜利的见证，如付1元现金，就没有这个作用了。
由于李敖的坚持，加上市政府一些官员的疏导，苏南成终于同意从"国库"中向李敖开出1元钱的支票。
1987年8月7日，一张AB006574号的"高雄市市政府支票"送到了李敖手中，李敖当即用照相机将这张支票作了拍照。
