Afstand tussen scheiding buren

Beste, 19 jaar geleden heb ik een driegevelwoning aangekocht. Ik heb alleen binnen gerenoveerd (dus buitenafmetingen zijn niet gewijzigd!). Recentelijk is er op het perceel naast mij een vrijstaande woning gebouwd. De bouwheer stelde mij de vraag om een tuinmuurtje te mogen afbreken, daar dit op hun perceel zou staan. Nu heb ik zelf even nagemeten, en blijkt dat er tussen mijn zijgevel tot aan de scheidingslijn der percelen slechts twee meter overblijft. Volgens de geldende normen in onze gemeente zou dit drie meter moeten zijn. Van de nieuwbouwgevel gemeten is het perfect drie meter. Nu is mijn vraag of ik dit zomaar kan laten gebeuren, vermits mijn zijdelingse oprit te smal geworden is om de garage, achteraan gelegen, te bereiken? Ik heb de woning toendertijd gekocht zonder rekening te houden met deze perceelsgrens, doch het gebouw stond er reeds? Mvg, B.