金军在灭亡北宋以及攻打南宋的过程中，烧杀抢掠，数万生灵涂炭。金兵南侵不仅使得社会经济遭到巨大的破坏，还给人民的生命财产安全带来巨大的威胁。靖康之变后，许多世家大族也遭到沉重打击，如河内向氏家族，“遭时多顾，而向氏子孙流落殆尽”，真定韩氏家族，“被歼于颖昌”，从此“群从散亡”。南宋诗人杨万里也曾对当时情况作这样描述：“自建炎南渡，中原故家崎岖兵乱，多失其序”。南宋政权建立后，出现了“中州衣冠氏族寥落”的现象。赵州地处宋金边界的前沿地带，兵锋火起，首当其冲，1128年，赵州陷落，金改为“沃州”。不久，金又攻陷首都开封，世家大族纷纷逃难，宋氏家族成员也四处流落，“靖康之难，宋氏奔进，或在蜀，或在越，事定，解州家竟不知存亡。”叶适也感叹道：“宣献赐第，在守文极盛之时;常山徙宅，当稽古更法之际;世臣巨室，入卫都邑，尊隆本朝，岂非重内临外之义当然哉!甫一再传，天下横流，至于父子兄弟不能相保，飘转数千里外，死生莫辨，疑信不分，特以魂气之所之，歆旧祀尔。顾平棘今在何许，蜀、越有无一宗，哀哉!”。靖康之难对于宋氏家族的打击无疑是很大的，家族支系分散，从此再也没有聚集起来，势必造成家族的进一步衰落。
3、家族成员自身的淡泊名利
宋氏家族的成员大部分有这样的一个特征，即甘于清贫，淡泊名利。宋绶的父亲在馆阁任职，尽管馆阁人员的待遇优厚，但其家也并非是富有之家，据《宋会要辑稿》记载：“真宗咸平四年十一月，诏大理平事邵焕、宋绶本官俸并特给现钱，焕、绶皆以幼而能文置在书府，至是，帝知其贫故特加优给。”宋绶小时候就“手不执钱”，长大后，即使位居执政，为官也很清廉，蔡襄为其写的墓志铭中称他“唯无丰室累，清白是家传。”现存文献中也未见宋绶置地营产的记载。宋敏求也甘于淡泊，苏颂称他“公久在禁垣，时叹荣滞，而恬然裕处，未尝以世务婴虑。病中手疏治命，止戒子孙勤约清白，以绍世风。”毕仲游称他“公在仁宗、英宗之朝，天下多以论事诋大臣进者，而公惟乐善好学，居官治民而已。”宋敏求的儿子也继承了不图功利的家风，毕仲游认为他称得上是君子，“以太子太保张公方平，故户部尚书吕公公儒，故御史中丞李公之纯，皆号为相知，而未尝倚以进也……其家世门生故吏类皆闻人，后多至公卿，而未尝一挽手，公亦未尝以此望之，吾是以知公之为君子也。”宋敏求的后辈子孙也大都继承了这样甘于淡泊的家风，“子侄辈悉能奉循世范”，在仕途上不急功近利，惟家学为嗜，也未见家族成员经营田产，聚集财富的记载。在社会流动趋于扩大，经济地位变化不定的宋代，这样的家族，仅靠俸禄，便很难维持久远。