严嵩有两个姐姐，没有妹妹。
严嵩姊妹四人，大姐嫁于官宦人家罗忠， 罗忠曾为湘贵边境的沅州(今湖南怀化市芷江侗族自治县)同知。二姐嫁的是普通人家李火高 。弟弟叫严岳，在袁州老家，为县学正规毕业生（邑庠生），字维正，号五山秀才。严岳子女比严嵩还少，只有一棵独苗，儿子严世芳为府庠生，即袁州府学里毕业生，可惜没有留下一个子女。
