Выписать родственника на основании договора поднайма

Здравствуйте. В 2003 г. я по договору поднайма прописал своего брата сроком на месяц в муниципальную квартиру. Недавно решил приватизировать квартиру, но для начала выписать брата (сроки давно истекли). Но в паспортном столе мне было отказано. Якобы, выписать я его должен был еще в 2003 г., когда закончился договор. Теперь, якобы, брат прописан на постоянной основе и выписать можно только через суд. Правомерно ли действие паспортного стола, нужно ли подавать в суд? Брата я не видел с того же 03 г. и не знаю, где он находиться, связи с ним нет.