Änkan efter Michael Wernle gifte om sig med presidenten och burgreven i Göteborg, Gerhard Leijoncrantz, som 1669 lyckades utverka säterifrihet, dvs. skattebefrielse, för Särö. En förutsättning för detta var att gården bebyggdes med ”en ägaren värdig säteribyggnad” och så skedde också; 1670 kunde herrskapet flytta in i den nya säteribyggnaden. Den låg på den tomt mittemot Stolpboden som numera är parkeringsplats. Särös i dag äldsta byggnad, Ryttargården, ursprungligen fähus och stall till säteriet, uppfördes 1767 och Stolpboden, ursprungligen spannmålsbod, syns på kartor från 1773.