夷馆里夷商们最大的不满是交易的对象受到了限制，
因为除了获得特许的约十家的“行商”，夷商不得同任何人进行交易。而行商们组织了“公行”这一同业公会的组织，结成统一战线，可以随意地压价购买棉花或提高茶叶的价格。夷商感到很不好办，他们最大的愿望是希望可以自由地同任何人进行交易。
公行
鸦片战争时，参加公行并获得清朝特许的商行恰好有十家，清朝的对外贸易就由他们所垄断。垄断企业当然会获得巨额的利润。
行商生意兴隆，财源茂盛，他们生活的豪华奢侈，举世闻名。
这些公行成员的“行商”们，也有他们的苦衷，那就是贿赂和捐款。
直接监督公行的政府机构是“户部”，户部在广州设有
“海关”。两广总督和广东巡抚等地方长官也在广州设有“公署”衙门。另外还有陆、海驻军。这些机关的官吏动辄就向有钱的公行的成员索要钱物，朝廷有什么喜庆吊丧，也立即要他们献款。兴修大规模的水利工程，强制他们摊款，军队出动时又要他们筹措军饷。除了这些临时性的费用外，每年还必须定期地向朝廷献款。巨额的献款紧紧地勒住公行成员们的脖子。
据文献记载，仅就道光年间来说，道光六年(一八二六)新疆回族叛乱时出款六十万两，道光十二年(一八三二)广东连山之乱时出款二十一万两。
由于强索贿赂和献款，行商们受到重重的剥削。但他们的不满还不仅这些。
他们是正式获得批准的贸易商行，虽然可以经营茶叶或棉花的交易，但非法的进口品鸦片却不准他们插手。当时鸦片已成为对清朝的贸易商品中的最大宗的商品。这样一来，行商们虽获得了贸易的垄断权，但等于是没有捞到贸易垄断之实。
特许商人们最大的愿望是希望公开地经营鸦片。
他们处于左右为难的境地。
如果从事非法的鸦片交易，当然可以获得巨大的利润，但这样做就有可能被吊销正式贸易的特许，而这方面的垄断也有油水可捞。行商们两方面的好处都想要，打的真是如意算盘!
最理想的是让鸦片这种商品合法化。鸦片如果成为正式的贸易商品，那就会和棉花、毛织品一样，当然由公行的成员来垄断进口。鸦片垄断会带来多大利益，只要想一想都会使他们为这种耀眼的玫瑰色的光彩而陶醉。
拥有十家成员的“公行”的代表，称作总商。道光十三年(一八三三)至鸦片战争期间，担任公行总商的是怡和行的老板伍绍荣。在外国的文献纪录上，怡和行的老板代代都叫Howqua。Howqua就是“浩官”。“官”字是敬称。郑成功的父亲叫郑一官，就是郑家的长公子的意思。怡和行几代以前的老板小名叫亚浩，人们称他为浩官，外国人也仿效这个称呼。
中国没有袭用父名的习惯，甚至不准采用父母名字中
的一个字。外国人大概是图方便，称浩官的儿子为Howqua了Junior(小浩官)，这样在形式上就变成袭用父名了。伍绍荣是浩官四世，字紫垣。当时的中国人要起好几个名字，伍绍荣另外也有元薇、崇曜等名字。外国人称他为四世，其实由于兄弟继承店务，他不过是第一代浩官的重孙子。
伍绍荣是个相当杰出的人物，后来他刊刻过《粤雅堂丛书》，在出版事业上做出很好的成绩。
他早就了解到“公行”的危机，深知行商们表面上看来好象是在夸耀他们的财富，其实经济上十分拮据。
在十家行商中，除怡和行及其他两三家行商的营业较为正常外，其他都十分困难，有几家已面临经济破产的边缘。垄断贸易商竟然事业不振，出现赤字，这确实是怪事。其原因不仅是因为要硬撑门面，拿出大量的金钱进行贿赂和献款，而且另外还有使他们掉下去的陷阱。
广州当时是世界上利率最高的地方。这当然有种种的原因，但利率高的最大原因，肯定是由于有鸦片走私这种特殊的买卖。产业革百之后，金融势力已经遍布世界，金钱当然流向利率高的地方。
