狱中有个小发电机，供应监狱和附近村子的用电。狱方知道约瑟夫懂机械，正好差遣他去管这台机器。这个工作给他提供了很多便利。他可以看书，可以在狱中活动，狱方还同意他挑一个助手。
这时从米特罗维察监狱押解来了一批犯人，他们当中有因出版 《共 产党人》而被判刑的莫沙·皮雅杰。约瑟夫早闻皮雅杰的大名，知道他是个理论家，而皮雅杰在狱中也早听说过约瑟夫在审判中一身正气，慷慨陈辞的表现。两人相慕已久。约瑟夫赶紧抓住这个机会，挑选皮雅杰做助手。于是皮雅杰也能跟着他一起到处走动了。
有了这个便利，他们真是如鱼得水。他们跟各个牢房串联上。首要的事就是着手建立狱中党组织。在狱外的党组织实际上已被全部破坏，大批的革命志士有的流亡国外，有的关在监狱。列波格拉瓦监狱就关了不少共产党员。在约瑟夫和皮雅杰的活动下，一个人数众多、组织严密的狱中党支部很快建立起来。开始它由9个人组成，后来又有35名政治犯从米特罗维察转移到这里，加入到组织中来了。
党的有生力量相当一部分是关在狱中的党员，将来出狱，他们就是党的骨干队伍，因此，加强狱中党员的学习和培训显得格外重要。学习一无材料；二无老师。老师倒可以能者为师，先学一步的人教后学一步的人，材料要靠外面传递进来。这个困难也不难解决，因为监狱附近村子的用电器出了毛病需要约瑟夫去修理，他可以在一名狱警的看守下在村子里随意活动。村子中有家咖啡店，它的女老板是个虔诚的天主教徒，心地善良，愿意尽力帮助那些遭到厄运的人。（顺便提一下，解放后她仍然经营这家咖啡店，并仍然帮助犯人。不过这些犯人的性质与过去是完全不同了，她等于是在帮助人民民主专政的敌人。政府逮捕了她。铁托知道了这件事，便直接干预此事，他说：“放了这个老妇人吧，她是个宗教迷，她过去曾帮我们，现在却帮助反动派，她看不出什么差别，仍然以为在做好事。”政府这才没有为难她。）
女店主与约瑟夫约好，每隔那么久，她家的电灯不是这盏就是那盏，总要安排“坏”一次。当约瑟夫跟着看守来到时，她就请看守喝杯咖啡。
而约瑟夫则上楼与同志们见面，把他们要的东西带回去。
莫沙·皮雅杰早年曾在慕尼黑的美术学院学过美术，他热衷于艺术。
在狱中，他设法搞到一些颜料和画布，有机会就替人画像。他给约瑟夫也画过像，像后来传出去。后来的南共领导人吉拉斯就是先看到这幅像而后才认识铁托这个人的。
那一天皮雅杰坐在牢房里，看到门廊上一个看守在打瞌睡。这真是个绝妙的模特：他有一个大圆鼻子，厚嘴唇，一顶油腻的帽子歪戴在头上，显得非常可笑。皮雅杰抓紧时机，很快将人像画好。他正要收拾画具，那个看守突然醒了，他跳起来，对皮雅杰大吵大嚷：“你在画我？”
他把画布抢过来，一看自己那么副尊容，勃然大怒：“你乘我睡觉时画我，这是丑化！”皮雅杰对他作解释，说这是艺术，这幅画是他最好的肖像画之一。可是任你怎么解释也消不了看守的气，他终于将画布撕了。
艺术灵感不可再现，皮雅杰为此整天闷闷不乐。
狱中党支部跟狱方作过二次斗争。一次是要求让政治犯住在一起；一次是抗议狱方虐待和侮辱犯人。两次斗争都取得了胜利。
1931年4月，狱里来了一位新的看守长，他一来就觉得列波格拉瓦监狱中的犯人享有的“自由”太多，决心整顿一下秩序。
狱中的地下室又冷又潮，已经关了好几个犯了“狱规”的犯人。这一天，他们又将一名正在发烧的政治犯关进去。党支部立刻发动全体犯人绝食，表示抗议，连刑事犯也拒绝吃东西。狱方慌了神，他们急忙找犯人代表谈判。狱方只求赶快平息事态，所以很快同意了犯人提出的条件，劝犯人们复食。但是犯人们仍不相信狱方的话，他们要约瑟夫发话才同意复食。这就使狱方看清了要打击的靶子是谁。
6月，狱方硬说约瑟夫企图组织犯人越狱，决定将他转送到马里博尔监狱去。那所监狱早就臭名远扬，监狱长的绰号叫刽子手。
约瑟夫一到，就被关进隔离室，但是他还是设法与其他难友互通消息，组织了一次绝食，迫使狱方同意每天放一次风、允许犯人点灯到半夜、允许犯人与狱外通信。约瑟夫正是利用这一条件，很快与萨比奇建立起联系。犯人们也利用放风时互相通气，虽然狱方不准放风时说话，但他们把手放在头上，看起来在搔头，其实在用莫尔斯电码打手语，这样，犯人们往往能一致行动。
狱外时常给难友们寄来一些书刊和食物。书刊当然只能是狱方许可的，包括一些哲学、文学、心理学方面的书。约瑟夫对哲学产生了兴趣。
有一次他向监狱长要求借一本希腊哲学的书。他讥讽约瑟夫：“你要哲学书干吗？你看看自己就可以找到你要的哲学了。”不过，他也确实不能理解，这些服刑的犯人怎么会有兴趣关心离他那么遥远的事。
牢房里也有一些马克思主义的书，那都是探监的人偷偷带进来的。
这些书的封面被撕掉，再贴上狱方允许看的书的封面，如 《天方夜谭》 之类。看守们虽对这些书作了检查，由于无知，往往打开来翻几页却看不懂这些书的真正内容。关在监狱里的还有好几位教授，他们把大学里的学风带进了监狱，制定了学习计划。从狱外带进来的书每种只有一本。
马克思主义的书籍都是德文本，因此大家要学就只好自己翻译。每个懂德文的人都要翻译几十页。约瑟夫在牢房里翻译过好多东西，这可以说是一种更有效的学习。
约瑟夫真正有时间坐下来看书学习，就是坐牢的这5年。这5年对他思想、文化水平的提高有着十分重要的意义。刑期快满时，他感到遗憾的是还没有完成学习计划。
1933年11月，约瑟夫服满了5年徒刑。本来他是可以申请假释，提前离监的，但他认为，申请假释就意味着犯人愿意悔过，所以决心坐到刑满。这一天他被允许穿上一套新衣，留着头发去见监狱长。监狱长告诉他，5年刑期虽满，但他得到奥古林去，他在那里还欠了第一次审讯时未服完的刑期，共有3个月。
在奥古林又蹲了3个月牢，1934年3月，约瑟夫从奥古林监狱出来。
警察局警告他，出狱之后，不得随意行动，必须永远留在他的老家库姆罗维茨，并且每天要向地方政府报到。
