O obci

Panská Lhota je zmiňována ve tvaru Elhota resp. Helhota roku 1233 v listině olomouckého biskupa Roberta jako desátková ves kostela ve Staré Jihlavě. Hned v následujícím roce 1234 je uvedena v tzv. Znojemské listině markraběte Přemysla, který na přání své matky královny Konstancie daroval Jihlavu, Brtnici a okolní vsi nově založenému klášteru u Tišnova. Jméno vypovídá, že se jednalo o ves založenou na méně kvalitní půdě a proto do jisté lhůty (lhoty) osvobozenou od feudálních dávek a povinností. Je  první doloženou Lhotou na Moravě. Přívlastek Panská vznikl údajně zkomolením ještě nedávno užívaného jména Panenská, odvozeného z toho, že ves v letech 1234 -1240 patřila panenskému klášteru cisterciaček Porta Coeli v Předklášteří u Tišnova.

Dominanta vesnice, kostel sv. Antonína Paduánského v Panské Lhotě byl postaven až roku 1841. V klasicistní varhanní skříni z roku 1817, přemístěné z Jihlavy, byly původní varhany v roce 1955 nahrazeny bezcenným nástrojem. V roce 2000 postavil k historické skříni nové varhany Jiří Vaculín.

V letech 1869–1950 sem příslušela vesnice Dolní Smrčné. V letech 1869–1988 k Panské Lhotě patřila osada Malé. 1. ledna 1989 se stala místní částí Brtnice.

Panská Lhota leží v okrese Jihlava, Kraj Vysočina. Nadmořská výška kolísá mezi 507 a 525 metry. Nejvyšší bod, Strážnice (606 m n. m.), leží jižně od Panské Lhoty. V severovýchodní části stojí vrch Pavlice (551 m).Vsí protéká bezejmenný potok, který se u Dolního Smrčného vlévá do řeky Jihlava, severní hranici katastru tvoří řeka Jihlava. Na západním okraji Panské Lhoty se nachází Nový rybník. Část území přírodní rezervace Údolí Brtnice zasahuje i do katastru Panské Lhoty.

Počet obyvatel k 31. 12. 2014 byl 224 osob. 

Katastrální území Panské Lhoty má výměru 9,43 km² a kromě Panské Lhoty se na něm nachází ještě místní část Malé.