宝仙寺は平安時代（寛治年間1087～1094）、源義家によって阿佐ヶ谷の地に創建されたと伝えられています。
現在の地に移ったのは室町時代のことで、江戸初期には三重の塔が建立されたことで江戸庶民にも親しまれるようになり、歴代将軍の鷹狩の際の休憩所でもありました。また、享保13年（1728）5月に江戸にやってきた牡象の骨があることでも有名です。