První zmínka o Poleni pochází z roku 1254 kdy bývala majetkem rodu Drslaviců. Městečko v ostrožnovité poloze vzniklo ze vsi s opevněným sídlem (tvrzí, dnešní čp. 13) a kostelem (prvně zmíněn k roku 1254) povýšením před rokem 1439, má však dodnes charakter vsi. Později se stává součástí chudenického panství. Ve 14. století byla rozdělena mezi několik majitelů – proto zde byly 2 kostely a 2 fary. Mezi pamětihodnosti obce patří kostel Všech svatých, zřícenina kostela sv. Markéty, kaple sv. Salvátora, fara a vodní mlýn Pasička. V Poleni má rodný dům historik a archeolog Karel Hostaš, zakladatel klatovského muzea.
Celé historické centrum obce je vyhlášeno vesnickou památkovou zónou.
Kostel Všech svatých
Dominantní kostel Všech svatých v Poleni byl postaven na začátku 14. století. V roce 1739 byl částečně upraven v barokním stylu a zároveň byla zvýšena věž s mohutnou cibulovitou bání. V 17. století se do majetku kostela dostal deskový obraz Panny Marie s Ježíškem pocházející z dílny Lucase Cranacha. Originál je uložen v Národní galerii v Praze.
Zřícenina kostela sv. Markéty
Východně od kostela Všech svatých stojí zřícenina kostela sv. Markéty. Z původně gotického objektu z 1. poloviny 14. století se dochovalo pouze obvodové zdivo.
Pověst
V kostele sv. Markéty se nacházel zvon, který zvonil sám od sebe vždy, když obci hrozilo neštěstí, ať už to byla válka, mor, sucho či bouře. Naposled takto zvonil při vpádu z Horní Falce, kdy vyhořely Klatovy. Protože při tom vždy zvonil přesmutným hlasem, byl později sňat, aby se lidé jeho hlásku neděsili.
Fara
Areál fary je umístěn v centrální části obce, západně od kostela Všech svatých. Fara je přízemní stavbou se zvýšeným suterénem, založenou na širokém obdélném půdorysu ve svažitém terénu. Kromě dvora jsou součástí areálu i farní zahrada, stodoly a chlévy. Na ploše fasády mezi první a druhou okenní osou od severu je umístěna pamětní deska upomínající na pobyt Dr. Karla Hostaše, zakladatele klatovského muzea a významného národopisného pracovníka a historika umění. V interiéru se dochovaly slohové jedno i dvoukřídlé dveře s kazetami. V prostoru mezi chlévy a stodolou se na jižní straně dvora dochovala kamenná ohradní zeď.
Lidová architektura
V obci se dochovalo několik pozoruhodných staveb lidové architektury např. venkovská usedlost čp. 12, 35. nebo zemědělský statek čp. 30.