Na místě dnešní kaple se dříve nacházelo městské vězení a mučírna. Po umučení Jana Sarkandra a nařízení biskupa Ditrichštejna zakázat používání mučírny byla v letech 1672–1673 na místě postavena kaple. Budova bývalého vězení sloužila vojenským účelům až do roku 1759. Na počátku 18. století, když se zahájil beatifikační proces Jana Sarkandra, byla kaple postupně zvelebována. Po opravách v letech 1703–1704 byla zasvěcena Všem svatým mučedníkům, později rozšířena v letech 1721–1724 stavitelem Janem Jakubem Kniebandlem a vybavena pěti oltáři. V roce 1860 byl vyměněn hlavní portál a upraven interiér; od tohoto roku nese kaple název kaple blahoslaveného Jana Sarkandra.

Rostoucí význam kultu Jana Sarkandra a stísněný prostor původní kaple vedly na počátku 20. století k rozhodnutí o stavbě nové, reprezentativnější stavby. Město odkoupilo přilehlé budovy, a projektant pražský architekt Eduard Sochor navázal na původní stavbu, přičemž zachoval podzemní apsidu. V letech 1908–1912 vyrostla nová kaple v novobarokním stylu, kterou vysvětil olomoucký arcibiskup Bauer. Zároveň s kaplí byla vybudována budova Sarkandrina s bohatou štukovou výzdobou určená jako domov pro přestárlé kněze a rovněž jako muzeum církevních dějin.

Kaple je volně stojící dvoupatrová stavba s oválným půdorysem a kruhovým závěrem, zastřešená kupolí s lucernou dosahující výšky 27 metrů. V závěru se nachází socha svatého Jana Sarkandra. K ulici Na Hradě je připojena sakristie a přístavek se schodištěm do podzemí. Skrze kruhový otvor v podlaze dopadá proud světla do suterénu, kde jsou uchovány dochované památky Sarkandrova mučednictví. Exteriér zdobí bohatá architektonická členitost s čtyřmi kamennými sousoší na římse kupoly – Sv. Pavlína, Sv. Hedvika, Sv. Ignác z Loyly a Sv. Klement – a pískovcovými plastikami připomínajícími architekta Eduarda Sochora, faráře Ignáce Panáka a arcibiskupa Bauera. Interiér tvoří dvě dispozičně stejné kaple nad sebou s mramorovým oltářem zdobeným plastikami klečících andělů, kůrem s malými varhanami a třemi freskami znázorňujícími výjevy ze Sarkandrova života.

Kaple byla rekonstruována v letech 1994–1995 a dne 21. května 1995 se zde konaly kanonizační oslavy svatořečení Jana Sarkandra. V roce 2007 nechalo město Olomouc před kaplí zbudovat fontánu Pramen vody živé sv. Jana Sarkandra. Nádvoří mezi kaplí a budovou Sarkandrina je vymezeno kovovou bránou na východní straně a dvojramenným kamenným schodištěm na jižní straně, kde jsou umístěny také sochy včetně sochy sv. Jana Nepomuckého. Dnes slouží kaple jako důležité poutní místo, kde věřící vzpomínají na kněze Jana Sarkandra a jeho mučednictví, které se stalo součástí české katolické tradice.