Den ursprungliga, medeltida kyrkan i Baltak uppfördes troligen under 1100- eller 1200-talet och byggdes med stöd av stormannen Balte, som enligt sägnen var kyrkans byggherre. Kyrkan revs år 1839, trots omfattande protester bland församlingsborna, vilket lämnade församlingen utan egen kyrka i nästan 80 år. Efter rivningen uppfördes en gemensam kyrka för Baltak och Agnetorp – Tidaholms kyrka – som invigdes 1841.På den tidigare kyrkplatsen har man rest ett kopparklätt träkors, och delar av grundmurarna i sandsten finns kvar än idag.