Servitude de passage: qui doit reculer?

Bonjour, Mon acte notarié précise que ma servitude de passage pour accéder à mon terrain est établie à cheval sur la limite séparative de deux parcelles ( deux propriétaires différents) sur toute la longueur de leur limite commune. Sa largeur sera de quatre mètres, soit deux mètres sur chacune des deux parcelles. Les deux propriétaires des parcelles des fonds servants laissent donc 2 mètres chacun. Leurs terrains n'étant pas enclavés, ont ils le droit d'utiliser la servitude qui ressort sur mon titre de propriété en qualité de fonds dominant et me gênant par ce fait considérablement pour accéder à ma propriété. Il est impossible de se croiser en voiture sur cette largeur. Qui doit reculer (chemin de plus de 100 mètres) le propriétaire du fonds dominant ou ceux des fonds dominants.