Południowe skrzydło antykliny chęcińskiej, której południową część tworzy wraz z
Górą Zamkową; morfologicznie zaś należy ona do Pasma Chęcińskiego. 21 września 1991r. objęto ją ochroną, tworząc rezerwat przyrody nieożywionej o powierzchni 9,45ha. W jego skład wchodzi nieczynny kamieniołom utworów żywetu - głównie dolomitów, a częściowo - wapieni. Uwidoczniony jest w nim fragment trzonu paleozoicznego, który na południu kontaktuje się z osłoną mezozoiczną reprezentowaną przez pstrego piaskowca i górną jurę. Odsłaniające się w kamieniołomie warstwy nachylone są ku północy, czyli przeciwnie do tych z pobliskiej
Góry Zamkowej. Wynika to z wpływu ruchów alpejskich (jak wydźwignięcie i sfałdowanie), które zaznaczyły się nie tylko w osłonie mezozoicznej, ale również w trzonie paleozoicznym.
Góra Rzepka stanowi ważny element w historii chęcińskiego górnictwa skalnego i kruszcowego. Jest ona bowiem opisana już w lustracji starostwa chęcińskiego z 1569 roku. W okresie początkowym (od ok. XIV wieku) poszukiwano i eksploatowano rudy ołowiu, a później - dające się ładnie polerować - wapienie nazywane potocznie "marmurami chęcińskimi". Tutejszy wapień charakteryzuje się popielatą barwą z wiśniowymi plamkami i licznymi żyłkami różnokolorowego kalcytu. Eksploatowano go od XVI do poł. XVII wieku, a zaprzestano w związku z najazdem szwedzkim. Wydobycie wznowiono jeszcze wprawdzie na przełomie XVIII i XIX wieku, jednak po powstaniu styczniowym nastąpiła kolejna przerwa w eksploatacji trwająca do roku 1875, kiedy powstało towarzystwo akcyjne Marmury Kieleckie. Eksploatacja doprowadziła do odsłonięcia śladów starych robót górniczych zlokalizowanych głównie w obrębie stref uskokowych oraz bardzo ciekawych form krasowych - kominów wypełnionych piaskowcami wapiennymi i piaskami dolomitowymi.