まだ香川家の本拠地が相模国香川荘にあった頃、
香川家の当主が狩の途中に山中で雷雨に遭い、
崖の近くの岩屋（洞穴）に逃げ込んだ。

すると岩屋には先客の老婆がおり、
濡れた体を温めるために火を焚いていた。
当主は火を借りようと老婆の側近くまで行くと、
老婆は当主が名乗ってもいないのに、
「おやおやご領主、寒かろうからこちらへ来て火にあたりなさい」
と当主が香川氏であることを言い当て、
「ご領主、峠で矢をかすめて獲物を逃がした時は惜しかったですな」
「姫君の病は今日は良いそうですね」
などと自分しかわからないような内密な話を次々と口にした。

当主は老婆を人間ではないと見抜いて、
腰に差した太刀を引き抜き、老婆の頭に切りかかった。
ところが太刀は老婆の頭に当たった瞬間、ポキリと折れてしまい、
老婆には傷ひとつ生じなかった。それでも老婆は憮然として、
「ご領主はナマクラな刀しか持っておらぬようじゃ、ならばこの太刀を進ぜましょう」
と言い、見るからも優麗な太刀を差し出したという。

以来、当主はその太刀を香川家の宝刀として珍重した。
人々はその太刀の名を岩屋に因んで「岩屋の太刀」と呼んだという。