Kostel sv. Víta patřil k františkánskému klášteru, který roku 1455 založili bratři Albrecht, Hynek a Štěpán z Lichtenburka. Na místě kostela stála v polovině 15. století kaple sv. Víta. Je zřejmé, že toto místo bylo pro obyvatele od pradávna posvátné.
Františkánská komunita se těšila značné přízni okolní šlechty. Jedním z nejštědřejších příznivců byl Půta z Lichtenburka. Roku 1492 zde byl i pohřben. Svědčí o tom
figurální náhrobní kámen zasazený do severní stěny kostela. Je na něm vytesán sv. Vít v životní velikosti.
Roku 1468 město i klášter vypálili a pobořili vojáci uherského krále Matyáše Korvína. Poničení kláštera otevřelo cestu k jeho přebudování. Kostel byl přestavěn v
pozdně gotickém stylu a rozšířen o kapli Umučení Páně. Stavení konventu byla už zděná a patrová. K příslušenství náležela rozlehlá zahrada a studna. Dodnes je zachován
vstup do podzemních chodeb. S jemnickými bosáky (františkány) je spojován i první městský vodovod. Na západní straně bývalé klášterní zahrady je zachován tzv.haltýř“, do kterého přetékala přebytečná voda z bohatého pramene. Měšťané odváděli vodu z této nádrže dřevěnými rourami do města.
Roku 1529 se stal novým pánem na Jemnici luterán Jindřich Meziříčský z Lomnice. Téhož roku vydal z
ákaz kázání v klášterním kostele. V roce 1546 obyvatelé města napadli klášter a mnichy vyhnali. Roku 1560 už byl klášter pustý. Františkáni se do
Jemnice vrátili až roku 1675. Kvůli finančním nesnázím rozhodl olomoucký biskup o konečném zrušení kláštera. Stavení konventu se časem úplně rozpadla. Zůstal zachován jen kostel sv.Víta. O sto let později se jemnický farář Josef Šabatka zasloužil o stavební úpravu kostela. Jemu vděčíme za vznik překrásné
fresky „Nanebevzetí sv. Víta“, kterou namaloval Jan Josef Winterhalder. Fresková výmalba kaple Umučení Páně pochází z konce 19.století. Za josefínských reforem byl kostel
zrušen jako „
nepotřebný polní chrám“. Chrámovou stavbu
vykoupila v dražbě hraběnka Daunová a darovala ji městu.