Сельсовет требует снести сарай

Здравствуйте.
Мой дедушка (проживал в сельской местности) в 1980 г. построил сарай (незаконная постройка) на не принадлежащей ему земле. В 1999 г. он умер. А рядом с сараем построился другой человек, огородив участок так, что одна стена сарая является частью его забора. Мы претензий не имели, так как сараем не пользовались и прав на него не заявляли. 5 лет назад сосед умер, и участок стал принадлежать его сыну, который снёс примыкающую стену сарая и пользовался данной постройкой по своему усмотрению. Теперь же, с его слов, сарай представляет опасность с точки зрения пожарной охраны, и он обратился с жалобой в сельсовет. Сельсовет требует от нас произвести снос данной постройки. Подскажите, пожалуйста, правомерно ли требование сельсовета ввиду того, что я этот сарай не строил и фактически им не пользовался и никакими правами в отношении данного сооружения не обладаю и ни на какие права не претендую?