Podle legendy stávala na místě Pivoňského kláštera původně kaple z 11. století. Nechal ji postavit český kníže Břetislav I. Při příležitosti vítězství nad vojsky německého krále Jindřicha III. V roce 1047 povýšil biskup Severin kapli na klášter a obdaroval jej pozemky a lesy. Mniši v klášteře skládali slib chudoby, ale bylo jim dovoleno vlastnit pro blaho kláštera část majetku a provozovat řemeslo – zejména pěstování bylinek pro homeopatii. Později jim bylo dokonce uděleno právo na zřízení lékárny.

Tato idyla skončila během husitských válek, kdy odsud mniši museli před rozezlenými husity uprchnout. Klášter byl vypálen. A právě tady se začíná historie kláštera psát krvavým perem.

Mniši se do Pivoně vrátili a klášter obnovili. Navrch se ujali farní správy celého okolí. V roce 1573 byl převorem kláštera jakýsi Augustinus Becinauer, který pocházel z Bavor. Tehdy vyhořel konvent a s ním i všechny písemnosti. O 13 let později uchvátil klášter i s majetky Petr ze Švamberka. Knězem tu byl jakýsi Kašpar Malesius, který byl přímo v klášteře roku 1606 zastřelen. Jeho duše prý nikdy nedošla pokoje a zůstala zde uvězněná mezi prostorem a časem.

Pak přišla švédská válka a řeholníci museli opět uprchnout. Mniši se později vrátili, ale klášter upadal v zapomnění. Snad proto, k příležitosti sedmisetletého založení kláštera, se tehdejší převor Cyrjak Votava rozhodl pro neobvyklý krok. Klášter, zapadlý v lesích, musel vyrukovat s něčím stejně senzačním, jako byl třeba obraz krvácející Panny Marie v Klatovech. A tak sem přivezli mrtvou holku – rozumějte světici Faustinu uloženou ve skleněné rakvi. A poutní místo bylo na světě.

V roce 1787 byl Pivoňský konvent zrušen a veškerý majetek kláštera připadl Náboženskému fondu. Koncem 18. století objekt koupil pražský advokát Leopold Stöhr a přestavěl jej na zámek. Ten pak vystřídal několik majitelů. Později jej využívala armáda a po 2. světové válce sloužil jako skladiště. Dnes se objekt postupně opravuje, a to díky sdružení Aurelius, kterému osud kláštera není lhostejný.

A právě při opravách se zde začal zjevovat duch. Údajně jde o ochránce kláštera, který je prý jinak neškodný. No nevíme…Dělníci, kteří ho před několika lety dokonce prý vyfotili, jsou jiného názoru. Raději se prý vrátili zpátky na Ukrajinu a na Pivoňský klášter vzpomínají jen neradi. Duch se má zjevovat mezi drolícími se zdmi kláštera a dohlížet na to, aby klid kláštera nebyl ničím rušen. Podle toho, co jsme slyšeli my, ale asi moc klidný nebude. Sotva dělníci za sebou zamkli po celodenní šichtě, kdosi do rána rozházel všechno jejich nářadí, ničil jejich práci a vůbec zkrátka řádil, jak jen mohl. Dostat se dovnitř prý nikdo nemohl, dveře byly pokaždé zamčené zvenčí. Navrch ducha spatřilo víc lidí. Možná to je duše zavražděného Kašpara, která hledá svého vraha, anebo některý nešťastník z období válek. Kdo ví. My s určitostí můžeme potvrdit, že místo samo o sobě má obrovské fluidum. Přesto dovnitř je vstup zakázán, majitelé si objekt střeží. A tak jsme nikam nelezli a pěkně si ho prohlédli z venčí a nakoukli pouze do oken.