1.2ヘクタールの江川家屋敷と、鎮守社のある裏山が韮山城の一角で、江川曲輪(くるわ)と呼ばれている。
江川氏は早雲が堀越御所を攻めて韮山へ進出した時、既にかなりの自領(私領)を持つ開拓地主であった。いわゆる土豪で、屋敷の周囲は堀をめぐらし、城の研究家はその城郭とも言うべき備えから江川城と言うべきだと言っている。

韮山江川屋敷に隣接する金谷村は、江川家大和以来の家臣の末裔(まつえい)の村で、江戸後期には郷足軽として韮山代官所に組込まれ、その機能の一部として軍事、警察の役割の一翼を担っていた。
現在でも江川家と金谷区民は強い絆で結ばれている。

　　　　　　　江川家墓地

北条早雲が伊豆に進出の際、拠点とした城で、要害の地に立地している。
早雲は韮山城をこよなく愛し、韮山城で没している。城山からの眺望は絶景で、田方平野が一望出来る。

韮山城址の西側に蛭ヶ小島の跡地と言われる場所がある。
この場所より約500メートル北の、現在の農村生活環境改善センターのあたりの極く小さな地域に小字名｢兵衛の森｣と呼ばれるところがある。たぶんそのあたりが源頼朝配流(はいる)の地であったと思われる。