军直政治部坐落在总政左边文化沟里，与西青救和后勤部相邻。再深入进去，依次是卫生部、延安文化俱乐部、青年艺术剧院、军政学院，还有八路军大礼堂等等。公木搬到军直政治部来，住在副主任邓飞同志隔壁。政治部日常工作由邓副主任主持，胡耀邦主任只是隔三岔五过来看看。可是，文艺室的建立，却是胡耀邦主任一抓到底的。原来军直政治部一直就很重视开展文艺活动，朱子奇同志半年前就调来了。还有方杰、李溪几位同志，都是文艺里手，很活跃。不过他们都编制在宣传科，主要搞歌咏演唱，还附设着一个相当规模的平剧团，却又没人管理，大有尾大不掉之势。军委直属队包括延安地区以至整个边区连总政在内的全部军事机关单位以及附属学校、医院、工厂、农场、各种生产和事业单位，炮兵团也一度列入。卫生部系统还有不少援华抗战的国际友人，日常生活和工作都团结、紧张、生动、活泼，在文艺方面更经常放出异彩。可以说五光十色，人才济济。敏感的胡耀邦主任看到这一点，大约也还加上朱子奇、方杰、李溪诸同志的建议，便决定增设文艺室的建制，把文艺工作由宣传科划分出来，单独制定计划，大力开展进行。这样军直政治部文艺室就于1941年5月正式成立了。
文艺室的成立，并没有举行什么典礼仪式，只是开了一个在一间窑洞里就能容下的会议，十来个人各自搬来白木凳子，挨排坐下，这之中除原有的朱子奇、方杰、李溪等几位同志，还有平剧团的阿甲等二三位同志；新添进来的除公木外，还有李洁、周若冰、晋驼等几位同志，他们都是为筹建文艺室刚刚调来的。会议开始，由邓飞副主任宣布文艺室正式成立，胡耀邦主任作了一番热情洋溢的讲话，开板就说，部队文艺工作是部队政治工作的一个重要部门，因为它不仅能够帮助部队的政治教育与宣传鼓动，调节部队生活，提高部队战斗情绪，而且它还是密切部队与群众联系并对外扩大我军影响的有力工具。接着又提出几点注意：一、不要把文艺工作单纯了解为文化娱乐活动，要有计划性、全面性，戏剧、音乐、美术、文学，方方面面，都顾到。二、要了解文艺工作的特点，不完全等同于一般政治工作，它需要更多的观察、研究和更优裕、自由的时间，要工作同时又要创作。三、不要有做客思想，部队文艺工作者就是部队政治工作者，做兵的工作自己就是兵，用兵的标准要求自己并接受要求。最后还谈到军委直属队的特点是干部多、素质高、知识分子多，对文艺工作的要求也当有所不同，可以相对侧重文艺创作。而总之都是服务于抗战，要鼓舞士气，我们自己首先要鼓舞起来，抓戏剧、抓歌咏、也抓文艺，要敢闯，要发挥创造性。说得大家心里都火辣辣的，跃跃欲试。总政宣传科杨科长也从隔壁走过来向他们祝贺，公木也简单发言，表示一定全力以赴，决不辜负党和领导的信任，更不会忘记广大战士和干部的期待。这样，在公木的生命行程中就开始了一个新的阶段。
文艺室里原有的几位同志都很年轻，而且刚冒尖，朱子奇半年前还和公木一同在抗大政治部宣传科工作，方杰、李溪也是在不久前就认识了。晋驼和公木同龄，一年前由太行调回延安政审，放在后勤部供给学校教文化课，对于政审他听之任之，埋头写小说着了迷，通宵达旦，废寝忘餐，蝎子爬进裤裆里也没觉得。文艺室听说了这些，把他调过来，也正中他的意，他和公木是一见如故。李洁（就是李树藩，建国后曾任故宫博物院党委书记）是公木的老朋友，同学又同乡，大公木两岁，本来也和公木一道在抗大搞时事政策教育，也曾申请随孙志远一道回冀中，走不成了，便携同妻子周若冰和公木一道调了来。他们结交且相知已经十年了。这样成立起来的文艺室，彼此都理解、信任，充溢着和谐、友谊，当然工作起来会是团结、紧张、严肃、活泼的了。不足处只是还感到人手少些，不久后平剧团调拨中央成立延安平剧院，就更显得冷清了。
文艺室人虽然不多，但人心齐热情高。决定做什么，说干就干，抢着干，不讲究上班下班，无所谓假期礼拜日，各尽所能，全力以赴，充分体现了胡耀邦主任号召的“鼓干劲”。主要活动大致分为两个方面：“一个方面是走出去”，到军直各单位去搞歌咏、演戏，开展文艺运动。文艺室成立后，他们着重抓组建通讯组，把它当作重点，在各单位职工干部中发现创作人才。果然就发现了如沙英、黄既、沈其东等一大批作家，注重同他们加强联系。这之中建国后曾任过卫生部长的黄既是突出的，他当时在延安的白求恩医院做大夫，30年代初在北平大学医学院学习时参加左联，写小说和散文，1932年冬为了筹办《文学杂志》，公木曾向他组过稿，有一面之识，所以在这里谈得很投机，黄既表示愿意在业余时间再搞点创作。于是文艺室的同志们把他看成是军直的重点作家。第二个方面是在文艺室内部，每个成员都要搞创作，小说、散文、诗歌以至翻译，这之中李洁原是学外语的，便以翻译为主；不过，从总体上说，文艺室所有成员还是以工作为主，业余时间搞创作。主要做了这么三项工作：（1）创办了一个综合性的文艺刊物——《部队文艺》；（2）成立了一个文艺团体——鹰社；（3）置办了一个大型板报——《蒺藜》。为了开展这三项工作，文艺室的十来位同志绞尽脑汁跑断了腿，可以说是任劳任怨。《部队文艺》是解放区内最早出现的以发表作品为目的的综合性文艺刊物，公木任主编，创刊号于1941年12月印行，第二、三期是合刊，于第二年4月印行。用的是根据地自己生产的土纸，字却是用铅字排印的，封面设计和装帧精巧美观，朴素大方。刊头四个字，就是由胡耀邦题写的，四个字潇洒飘逸，很有气势。发刊词是新被任命为总政宣传部文艺科科长的吴奚如写的。
军直政治部文艺室距抗大政治部宣传科仅仅一箭之遥，往返一趟几乎用不到抽一支烟的功夫，走动起来相当方便。萧三主持的延安文化俱乐部的所有活动，公木也几乎全部参加，尤其是有关诗歌方面的活动。在端午诗歌节座谈会上，公木曾和胡乔木同志争议过屈原是不是中国最早的亦即第一个诗人。乔木同志说“伟大的”可以，不能说是“第一个”，“三百篇的作者有许多是可以考察出来的:《载驰》是许穆夫人作的，《北山》——寺人孟子，《烝民》——尹吉甫，这些都比屈原早上好几百年。”公木则卫护屈原第一个诗人的地位，所以故意说：“那么，再往上推，在涂山之阳等候大禹的涂山氏女，等得不耐烦了，唱道：‘候人兮猗！’史称其实始作南音。不更早了上千年了吗？”大家听着都当笑谈，说来说去，还是服从公议：屈原不愧为中国历史上第一位伟大的诗人。公木与何其芳同志也就诗歌创作有过争论。他回忆说，何其芳作关于诗歌创作问题的报告，表示很难说清楚诗的创作是由内而外，还是由外而内的。何侧重由内而外，但是说着说着又仿佛是由外而内了。何打比方说诗的兴会，诗思的袭来，就像挨了电击；像喷嚏、像冷战，一想要打，就非打不可。公木不同意这种观点，说写诗怎么是打喷嚏、打冷战呢？所以彼此争论了一番。但这种坦率的争论播下的是友谊的种子，打下的是结交的基础。
