神功皇后が新羅から凱旋し，姪浜に上陸され鳥飼村平山という場所に着かれた。鳥飼村の人々は皇后を厚くもてなした。また、皇后は胎内の皇子（後の応神天皇）の将来を祝い、この地に泊まって近臣たちにも杯を振る舞ったという伝説から、子供の成長を助ける子安のご利益があるとされている。その後、村ではこの地に社を建てて、『若八幡』と名付けて奉拝したのが鳥飼八幡宮の起源とされている。