这也许和她的成长经历有关。
林家是个大家族，翻译过《茶花女》的文学家林纾，写《与妻书》的林觉民都是林家的人。
徽因的祖父名叫林孝恂，是光绪年间的进士，曾留学日本，参加过孙中山领导的革命运动。而徽因的父亲林长民也是时代的翘楚，曾两度留学东洋，投身辛亥革命，推行"宪制运动"，终身致力于公理与和平。
然而，林徽因的母亲并不受宠，她是浙江嘉兴一位小作坊主的女儿，不识字，也没有受过很好的教育，而且因出身商家而不善女红，因此讨不到婆婆和丈夫的欢心。
徽因八岁的时候，父亲又娶了一位程姓太太，她是个上海女人，很会说话，又接连生了儿子，很快，便赢得了林家的一致喜欢。
得宠的程氏二娘与她亲生的孩子住在宽敞明亮的前院里，而徽因的母亲则几乎被整个林家遗忘，她和徽因被安置在相对阴冷狭小的后院里。在徽因的童年记忆里，母亲的形象总是和怨言、泪水联系在一起，她几乎不记得母亲的笑容。
在这样的家庭里长大，徽因一生都对封建思想深恶痛绝，她厌恶男子的"三妻四妾"，也不愿做恭顺谦卑的"贤妻良母"，长大后，她只要想到自己的童年，就会无比渴望一段完整的独属于她的爱情。
就在徽因出生后不久，林长民去了日本早稻田大学留学，然后，他投身于辛亥革命，等到革命胜利，他出任了参议院秘书长，又一路升迁，直至国务院参事。随着林长民的升迁，林家也由南及北，从杭州到了北平。
林徽因渐渐长大，开始帮着料理家务，有一段时间，林家暂居天津，林徽因承担了家中一半的重担。那段时间，她照顾着两个母亲，照应着所有的弟妹，"她的早熟可能使家中的亲戚把她当成一个成人而因此骗走了她的童年"。
是环境将她逼得如此早熟。
很久以前，她生过一场大病。病榻上，她听到母亲向管家讨钱，母亲希望在月钱之外再额外支些药费，可是管家拒绝了母亲的要求。于是，母亲大声同他争吵起来，但一切都于事无补，谁叫她是失宠的太太呢，在林家，连下人都不会买她的账。
