林桂芳的父亲林获，字元辅，号光山，曾任宋朝的琼州太守，致仕居乡。帝昺驻跸崖山时，林获与护驾的赵宋宗室赵必次相好，结为至交。赵必次原名逊崖，赵匡胤的十一世孙。登进士，被封为上柱国。元师攻陷临安，随杨妃护二王南逃，由闽到粤最后至崖山，均与陆秀夫、张世杰等参预朝政。及崖山兵败，托嗣长子赵良钤、次子赵良縂于林获，乃赴海殉国。林获担负抚养赵嗣之责，将他们匿藏在睦洲镇东乡，改赵良钤名为林大奴、赵良縂名为林二奴。诗礼庭训，练弓习艺，常年不懈。林获有二子，次子林桂芳好义习武，与赵氏兄弟友爱相投。后来，才有起义复宋之举。