Kostel svaté Anny vyrůstal z hlubší historie tohoto místa. Na místě, kde později stál chrám, byla v roce 1518 postavena kaple Kalvárie, která sloužila jako poutní místo. V průběhu 16. a 17. století byla několikrát upravována – vyzdobena v roce 1561 a v roce 1684 byla při ní vystavěna věž. Teprve v roce 1691, po dalších úpravách, se z kaple stal oficiálně kostel. Postupně se rozšiřoval: v roce 1781 byla přistavěna fara a cestu k chrámu lemovaly kapličky křížové cesty, která vážila poutníky na jejich duchovní cestě.

Stavba se vyznačovala jednolodní konstrukcí s polygonálně uzavřeným presbytářem. Věž na jižní straně kostela měla zajímavou stavbou – její spodní část měla čtvercový půdorys, horní část osmiúhelníkový. Zvláště pozoruhodná byla věž se cibulovitou bání z roku 1787. V interiéru byl kostelnický poklad: kvalitní vybavení doplňovaly gotické sochy Panny Marie, zvláště pak pozdně gotická socha Matky Boží v růženci zavěšená před vítězným obloukem.

Horní Pelhřimov se na začátku 20. století hemžil životem. Žilo zde okolo 150 obyvatel, v blízkosti stál malý zámek, který později sloužil jako restaurace. V roce 1909 byla na nedalekém Zeleném vrchu postavena rozhledna, původně zamýšlená jako Nová rozhledna, která se nakonec stala známou jako Bismarckova rozhledna. To místo přitahovalo návštěvníky nejen z blízkého Chebu. Při kostele se nacházel hřbitov a poblíž byla postavena škola. Toto idylické prostředí však nezůstalo nedotčeno válečným běsnem. V roce 1939 byla oblast vysídlena a proměnila se na vojenské cvičiště. Během druhé světové války kostel utrpěl mírné poškození.

Po válce se situace nelepšila. Odvěkem bylo německé obyvatelstvo vysídleno a obec nebyly znovu osídlena. Celá oblast se stala hraniční pásmem, kostel postupně chátral spolu se zbytky jiných staveb. Oficiálně obec zanikla v roce 1960, a v roce 1967 byl kostel i přilehlé objekty zbořeny. Z kdysi významného chrámu zůstaly jen zbytky obvodového zdiva zarostlé v krovině.

Po pádu komunismu v roce 1989 se hraniční pásmo zrušilo a krajina se otevřela znovu návštěvníkům. Překvapením bylo objevení Bismarckovy rozhledny, jež se mnohém zdálo být ztracena v zapomnění. V roce 1992 bylo z bývalého hřbitova upraveno pietní místo, kde byly umístěny zachované náhrobní kameny a postaven mohutný dřevěný kříž. Součástí nynějšího prostředí je také část památníku obětem první světové války. V roce 2019 byla instalována nová česko-německá informační tabule s historií místa. Dnes je kdysi samostatné Horní Pelhřimovo součástí vesnice Pelhřimov, která se rozprostírá na jeho bývalém území jako místní část Chebu.