Prvá svetová vojna olúpila kostol o štyri zvony, ktoré boli nahradené až v roku 1926 novými.
Roku 1946 preberá kláštor aj kostola sv. Jozefa rehoľa tešiteľov. V pomernej krátkej dobe, za pomoci veriacich, obnovili zničené časti budov. Pôsobenie tešiteľov v Leviciach sa skončilo náhle v pamätnú noc z 13. na 14. apríla 1950, kedy boli na Slovensku brutálnym spôsobom likvidované všetky mužské rehole a ich členovia následne internovaní.
Po odvlečení rehoľníkov do kláštora nasťahovali olaských Cigánov – Rómov. Títo ho natoľko doničili, že ich v rokoch 1982-83 bolo treba vysťahovať, pretože bola povážlivo narušená statika objektu. Potom bol kláštor provizórnym skladom Tekovského múzea. Po roku 1986 sa postupne spevnili najohrozenejšie časti kláštora.
Dnes slúži kláštor z časti ako farský úrad, časť ešte čaká na opravu.