相传，西汉景帝时，此地（安乐镇）有一乐善好施的傅氏夫妇，年届五十，膝下只生四女，皆姿色出众，聪慧过人。因父母无男儿，四姊妹为侍奉双亲，改着男装，矢志不嫁，共祝二老长寿，同时为表心愿，各植一槐，对天盟誓：“槐枯则嫁，槐茂则留”。为争养双亲，四姊妹各暗中用热水浇她人之槐，以期烫死，免得贻误其他姊妹青春。殊不知，热水浇槐槐俞繁茂，结果四女同室事亲，朝夕焚修，日夜诵经，卷不释手，以祝父母长寿，遂修道成仙，举家超升。人去迹存，四棵槐树依然亭亭玉立，于是世人遂改安乐镇为四女树，后人为纪念四女，使其德世代相传，便为其建祠塑像、树碑立传，后又将四女树更名为四女寺，一直沿传至今。