Ik wil mijn sleutel terug

Graag jullie inbreng in de volgende casus. ik heb in januari 1998 een hoekhuis gekocht. tussen mijn woning en de vrijstaande woning van de buren is een steeg; deze steeg is mijn erf. er is geen sprake van recht van overpad en de buren hebben een eigen achterom maar met een beperkte hoogte. toen ik het huis kocht was de situatie dat de steeg wordt afgesloten met een toegangshek dat is bevestigd aan het huis van de buren.
na jaren kom ik erachter dat de buurman een sleutel heeft van dit toegangshek. noch de buurman noch de verkopers hebben mij dit destijds verteld. de buurman beweert dat hij destijds toestemming heeft gegeven voor het plaatsen van dit toegangshek aan zijn muur, dat hij heeft meebetaald en een sleutel heeft gekregen. ik acht me niet gebonden aan deze afspraak en wil de sleutel terug omdat de buurman keer op keer zonder mijn toestemming in mijn steeg gaat. meer concreet gebruikt hij de steeg bijvoorbeeld om steigerdelen over zijn schutting heen in zijn achtertuin te tillen; dit in verband met de beperkte hoogte van zijn eigen achterom.
nu komt het. de buurman weigert de sleutel terug te geven en dreigt zijn toestemming te zullen intrekken om het toegangshek aan zijn huis bevestigd te hebben.
wat kan ik doen? zelf denk ik dat, als de buurman weigert de sleutel terug te geven, ik een nieuw slot zou kunnen plaatsen. maar hoeveel recht heeft de buurman om zijn toestemming voor de bevestiging van het toegangshek aan zijn huis nu na al die jaren in te trekken? is de muur van zijn huis, die immers direct aan mijn steeg grenst, misschien zelfs mandelig, zodat ik helemaal niet afhankelijk ben van zijn toestemming?