这里的四王不是四个王的意思，最开始被称之死王府，后避“死”字则改“四”字同音。
四王府原是明代皇室婴幼儿夭折埋葬之处。刘若愚《酌中志》云：“西山陵坟，景皇陵、皇太子坟、王坟、公主坟，各有掌府官一员，佥书十余员。以供洒扫、看守香火，凡有祭祀，即本处掌府官行礼”。此地被称之死王府。后改名四王府。
北京四王府指哪四王
庙宇又名为四王府。四王府，一般都是供奉康保裔、玉公辅、李大亮、周铭中四位王爷的庙宇。
据永宁文史爱好者李显扬介绍，这座四王府来源于安海可慕村钟灵殿的四位王爷。“可慕分香光日月，鳌城播德耀乾坤。”这是刻在殿外柱上的一对楹联，道出了四王府的来源地和当前所在地。
