约翰．乔伊斯和儿子怀揣岛德的钱回到了都柏林。岛德掏空了他们的口袋，爷儿俩对此一直耿耿于怀，而岛德的儿子恰好和詹姆斯是贝尔弗迪尔的同班同学，这对詹姆斯来说更是火上浇油。他在学校里常常奚落小茹本，72并且在《尤利西斯》中把一件发生于1911年的事挪到1904年，又把他损了一顿。当然，如果茹本•J．岛德不借给约翰•乔伊斯钱，他也会从别处借，但是，他现在之所以陷入贫穷困顿，岛德虽然并非根本的原因，起码也是起了显而易见的作用。约翰•乔伊斯每月准时到戴维-德里梅父子银行支取他的11英镑退职金，除此之外，他在别处也时不时有些零星收入。靠着写得一手好字，他偶尔为码头上一个叫艾尔沃德的律师干点零活；他还有一个不定时的职业，那便是为《自由人报》兜揽广告。"在选举期间，他也总有一些零星工作，可以当几天富人，而且必然要大醉一场。
缺钱带来的直接变化就是再一次搬家，这次搬到了德拉姆昆德拉的米尔布恩巷。斯坦尼斯劳斯•乔伊斯说这处住宅是"一处半独立式的小别墅位于一座不算高的小山脚下""，离树林和托尔卡河不远。对于他们这个曾经风光过的家庭的到来，住在这里的农场工人和修路工人多心存不满。斯坦尼斯劳斯和当地一个叫"尿达菲"的男孩儿干过一架，并且饶有兴味地发现他那好记性的哥哥在《一件伤心事》中把里面的主人公唤作了达菲，其实那个人物的原型大体上是斯坦尼斯劳斯。詹姆斯也打过一架，不过不是与当地的男孩儿按照《写照》的说法，事件发生在学校，当时，泰特先生挑出"斯蒂汾"周作文里面的一句话来讲评："这儿呢，说的是造物主和灵魂。嗯嗯对了!两者永无接近之可能。这是异端邪说。"在他的书中乔伊斯描述了当时的情景：斯蒂汾嘟哝道(其目的是教会作为调和者的地位应当维护)："我的意思是永无接触之可能。""当时的真实情况是，乔伊斯这么说说，登普西也就算了，可是他的那些同学，由于嫉妒他那出类拔萃的作文成绩，并不善罢甘休。斯坦尼斯劳斯•乔伊斯也证实了这件事，那天下午，有几个同学也走他回家走的路。他们抓住了登普西话中的把柄不放手，把话题引向文学，对马里亚特是不是最伟大的作家展开了争论。于是，他们让乔伊斯发表自己的看法。他说，最伟大的散文作家是纽曼，这是个谁也不得罪的选择，但实际上是从文体角疫而言的。"那谁是最好的诗人呢?"一个叫阿尔布雷克特•康诺利"的尖子生说是丁尼生，而乔伊斯说最好的诗人是拜伦。一个孩子说："拜伦不是个好东西。"而康诺利则大喊一声："动手，抓住这个异教徒。"于是他们扭住他让他承认拜伦不行，还用棍子抽打他，把他拥到带刺的铁丝网上，连衣服都给钩破了。乔伊斯没有拿巴涅尔的爱情纠纷来判断他的为人，他也绝不会拿这种事来判定拜伦的为人。他没有屈服，据斯坦尼斯劳斯回忆，他是哭着回家找妈妈豹，妈妈宽慰了他半天，把衣服也给他缝补好了。这是他为艺术而经受磨难的开端。
从1894年春季的中级联考结果来看，乔伊斯的优越水平得到了明显的证实。在全爱尔兰各校学生都参加的预科考试中，他是最高奖得主之一，奖金20英镑。奖金由市政府发给了约翰•乔伊斯，他又把钱给了儿子，让他爱怎么花就怎么花，其冠冕堂皇的理由就是要让儿子学会如何花钱。尽管只有十二岁，乔伊斯在花钱的观念上倒是与父亲不谋而合，大手大脚的，毫不算计，可是还像模像样地记下详细账目。他很随便地把钱借给兄弟姐妹和父母亲，出手很大方，而同时他又把支出的钱一笔一笔地记在一个账本上。他还请爸爸妈妈去看演出，下馆子，毫不吝惜。家里的人再一次体味了他们已经负担不起的奢侈生活，并且在这之后每一年，在乔伊斯拿到奖金的时候，他们都可以这样奢侈一番。他由此也有了一种自己已经慷慨到家的感觉，所以几年后，父母让他出钱负担家用，他很自负地回答说："我已经尽力了。"
兄弟姐妹当中，只有詹姆斯和父亲能处得来。他俩喜欢一起外出旅游。1894那年夏天，约翰•乔伊斯就带着他到格拉斯哥转了一圈。他和往来于都柏林和格拉斯哥的公爵号客轮之一的船长是老朋友，这次旅行是应这位船长的邀请而去的。因为下雨，他们未能尽兴游玩，不过，却使约翰•乔伊斯有了另一段海上轶事；在返回的途中，他和船长在谈论巴涅尔时大吵了一场。约翰•乔伊斯后来常说："老天作证，哎呀呀，他那天要是喝了酒的话，非得把我给扔下船去不可。""
连年累月的拮据日子使约翰•乔伊斯在家中变得脾气暴躁。在这年的夏末或是秋初又生了一个儿子弗雷迪，可刚刚出生几周就死掉了。据斯坦尼斯劳斯回忆，有一次在妈妈还没有完全恢复健康的时候，爸爸想要掐死妈妈。那次他发酒疯，一下子掐住了她的脖子，口中吼叫着："老天，现在该是：断的时候了。"孩子们尖叫着挤在他们中间，而詹姆斯则扑到父亲的背上，把爸爸妈妈一下子都扑倒在了地上。乔伊斯太太在混战中一把抱起两个最小的孩子跑到了邻居家。家里一下子就陷入了陀思妥耶夫斯基式的脏乱。斯坦尼斯劳斯说，"几天后，家里来了个警官，和父母谈了半天。从那以后，约翰•乔伊斯就光是威胁要动手打人就算了。斯坦尼斯劳斯很讨厌他，并且处处都表现：出来，结果父亲便常常连嘲带讽地说他"真是个孝顺儿子!"他对其他孩子不是打骂就是不理不睬，不理不睬对他们来说倒更好受一些，只有詹姆斯和"贝贝"(梅布尔)除外，"贝贝"是家中的老幺，父亲对她还有点疼爱。这段日子，账单越积越多，房东逼着催要房租。于是，大约在1894年底，乔伊斯家又准备搬家了。家庭生活已经成了连续不断的家庭危机，这危机是依靠当铺、朋友帮忙和偶然的工作才算勉强避免陷入灾难的，这种生活上的危机在乔伊斯的心里打上了深深的印记。他小心翼翼，竭力对这类事情泰然处之，并且在十二岁上，他就已经开始学习像个考古学家那样灵巧地在家庭的废墟中找路了。
