Hrad Bánov se nacházel severně od kostela sv. Martina v obci Bánov, na místě bohaté na předhistorické osídlení. Již v pozdní době kamenné zde existovalo hradiště bošácké kultury. Teprve po staletích, v období Velkomoravské říše, mělo na stejném místě vzniknout další hradiště – byť dosud bez archeologického potvrzení.

Středověkého hradu samotného se datace nedočkala jednoznačné odpovědi. Kronika českého kronikáře Kosmy zmiňuje vznik údajně v poslední čtvrtině 11. století, ale archeologické nálezy posouvají začátek jeho stavby až ke sklonku 12. století. Historik Jiří Kohoutek jde ještě dále a datuje vznik až do druhé poloviny 13. století. Za prvními staviteli se předpokládají uherští králové, kteří v té době této části Moravy převládali. Písemně se hrad poprvé objevuje roku 1294 jako castrum Banoue v rukou Vítkovců, konkrétně Oldřicha II. z Hradce.

Střídavé vlastnictví hradu znázorňuje složité vztahy v regionu. Po vymření Přemyslovců jej obsadil bratislavský velmož Matúš Čák Trenčianský, který jej roku 1315 úspěšně bránil proti útoku českého vojska. O čtyřiadvacet let později páni z Hradce vyměnili Bánov za Telč a hrad přešel pod kontrolu českého panovníka. Postupně se objevují další majitelé: v roce 1407 Petr z Kravař, o padesát sedm let později páni z Cimburku. Poslední zmínkou je rok 1490, kdy Ctibor z Cimburka předal Bánov se dvorem, patronátem a mlýnem Čeňkovi ze Žeravic. V té době je již hrad uváděn jako pusté tvrziště.

Zánik pevnosti souvisí se strměním 15. a 16. století. Během husitských válek byl hrad poškozen, protože jeho majitelé stáli na straně krále Zikmunda. Konečný údiv přinesl doba česko-uherských válek, během níž byl zničen. Počátkem 16. století byl středověký hrad nahrazen tvrzí postavenou přímo ve vsi.

Z hlediska stavby šlo o dvojdílný hrad situovaný na andezitové kupě, jejíž svahy převyšovaly okolí o zhruba patnáct metrů – přirozená obrana před útočníky. Výjimkou byla jižní strana, kde bylo umístěno předhradí. Dnes již není možné si představu o podobě hradu podrobně vybavit. V průběhu 20. století byl téměř celý zničen při průmyslové těžbě andezitu. Předhradí slouží dnes jako hřbitov.

Hrad se nacházel na skále v bezprostřední blízkosti silnice I/50, která spojuje Bánov se sousední Bystřicí pod Lopeníkem. Navzdory rozmanitým problémům dostupnosti zůstává toto místo svědectvím o dlouhém období osídlení a středověkého mocenského zápasu v jižní Moravě.