요지

원고는 1세대 1주택 비과세를 적용하여 신고하였으나, 쟁점건물이 장기간 주거용으로 사용되지 않은 것으로 보이므로 1세대 1주택 비과세 적용을 배제한 부과처분은 적법함

판결내용

판결 내용은 붙임과 같습니다.

상세내용

주 문

1. 원고들의 청구를 모두 기각한다.

2. 소송비용은 원고들이 부담한다.

청 구 취 지

주위적으로, 피고 BB세무서장이 2021. 4. 1. 원고 AAA에 대하여 한 41,794,750원, 원고 CCC에 대하여 한 41,753,990원, 원고 DDD에 대하여 한 270,723,140원의 각 2019년 귀속 양도소득세 부과처분(각 가산세 포함)을 모두 취소하고, 피고 EE시장이 2021. 4. 15. 원고 AAA에 대하여 한 4,179,470원, 원고 CCC에 대하여 한 4,175,390원, 원고 DDD에 대하여 한 27,072,310원의 각 2019년 귀속 지방소득세 부과처분(각 가산세 포함)을 모두 취소한다.

예비적으로, 피고 BB세무서장이 2021. 4. 1. 원고 AAA에 대하여 한 41,794,750원 부과처분 중 8,689,997원, 원고 CCC에 대하여 한 41,753,990원 부과처분 중 8,681,524원, 원고 DDD에 대하여 한 270,723,140원 부과처분 중 56,288,970원의 각 2019년 귀속 양도소득세 부과처분을 취소하고, 피고 EE시장이 2021. 4. 15. 원고 AAA에 대하여 한 4,179,470원 부과처분 중 868,999원, 원고 CCC에 대하여 한 4,175,390원 부과처분 중 868,152원, 원고 DDD에 대하여 한 27,072,310원 부과처분 중 5,628,897원의 각 2019년 귀속 지방소득세 부과처분을 취소한다.

이 유

1. 처분의 경위

가. 원고들은 2019. 2. 27. 서울 마포구 신공덕동 00-0, 같은 동 00-00, 같은 동 00-00 각 토지(이하 ⁠‘이 사건 각 토지’라 한다) 및 이 사건 각 토지 지상에 건축된 지하 1층, 지상 3층 건물(이하 ⁠‘이 사건 건물’이라 한다)에 관한 원고들 소유의 일부 지분을 주식회사 FFF에게 합계 5,185,900,000원에 매도하였다(이하 ⁠‘이 사건 매매계약’이라 한다). 이 사건 매매계약의 목적물, 원고별 지분 등 구체적인 내용은 아래 표 기재와 같다.

나. 이 사건 건물은 건축물대장상 지하 1층부터 지상 2층까지는 점포, 지상 3층은 주택으로 되어 있었다(이하 이 사건 건물 지상 3층을 ⁠‘이 사건 3층 부분’이라 한다). 원고들은 이 사건 3층 부분에 1세대 1주택 비과세 규정이 적용된다는 전제 하에 이 사건 매매계약에 따른 양도소득세를 계산하여, 원고 AAA의 경우 401,509,240원, 원고 CCC의 경우 390,589,500원, 원고 DDD의 경우 202,819,940원을 2019년 귀속 양도소득세로 각 신고·납부하였다.

다. 이후 피고 BB세무서장은 이 사건 3층 부분이 실제 주거용으로 사용할 수 없는 건물로서 ⁠‘주택’이 아니므로 1세대 1주택 비과세 규정이 적용되지 않는다고 판단하고, 원고들의 2019년 귀속 양도소득세를 원고 AAA의 경우 434,614,001원, 원고 CCC의 경우 432,343,508원, 원고 DDD의 경우 473,543,087원으로 각 경정하고, 이와 같이 경정된 금액과 원고들이 자진신고·납부한 양도소득세 금액과의 각 차액(이하 ⁠‘이 사건 양도소득세 차액’이라 한다) 및 각 이에 대한 가산세를 합하여 2021. 4. 1. 원고 AAA에 대하여 41,794,750원, 원고 CCC에 대하여 41,753,990원, 원고 DDD에 대하여 270,723,140원의 각 2019년 귀속 양도소득세 부과처분을 하였다(이하 ⁠‘이 사건 양도소득세 부과처분’이라 한다).

라. 피고 EE시장은 위와 같은 양도소득세 경정에 따라 2021. 4. 15. 원고 AAA에 대하여 4,179,470원, 원고 CCC에 대하여 4,175,390원, 원고 DDD에 대하여 27,072,310원의 각 지방소득세(각 가산세 포함) 부과처분을 하였다(이하 이 사건 양도소득세 부과처분과 통칭하여 ⁠‘이 사건 각 처분’이라 한다).

마. 원고들은 이 사건 각 처분에 불복하여 2021. 6. 29. 조세심판원에 심판청구를 하였으나 2021. 11. 12. 조세심판원은 위 청구를 기각하는 결정을 하였고, 원고들은 위 결정서를 2021. 11. 22. 송달받았다.

[인정근거] 다툼 없는 사실, 갑 제1 내지 3, 8, 12, 14(가지번호 포함, 이하 같다)호증, 을가 제1 내지 3, 6호증의 각 기재, 변론 전체의 취지

2. 처분의 적법 여부

가. 원고 주장의 요지

1) 세무조사의 위법성 이 사건 각 처분은 피고 BB세무서장이 2020. 9.경 원고들에 대한 세무조사(이하 ⁠‘이 사건 세무조사’라 한다)를 실시한 후 그 과정에서 확보된 과세자료를 기초로 이루어진 것인데, 이 사건 세무조사에서 담당직원은 원고 이승국을 서면이 아닌 전화로 소환한 후 위협적인 태도로 조사를 진행하였고, 허위사실을 언급하며 협박하였으므로, 이 사건 세무조사는 국세기본법 제81조의4 제1항에 위반하여 세무조사권을 남용한 것이다. 또한 이 사건 세무조사의 담당직원은 원고 AAA에게 이 사건 매매계약서의 원본 제출을 요구하여 제출받으면서 일시 보관 동의서를 받거나 일시보관증을 교부하지 않는 등 국세기본법 제81조의10 제3항에서 정하는 장부 등 보관금지 규정을 위반하였다.

2) 비과세 규정 적용배제의 위법성

소득세법 제88조 제7호에 따르면 ⁠‘주택’은 사실상 주거용으로 사용하는 건물을 의미하고, 그 용도가 분명하지 아니하면 공부상의 용도에 따라야 하는데, 원고 DDD은 이 사건 3층 부분에서 거주하다가 건강 악화로 요양병원에서 지내기 위해 일시 퇴거하였을 뿐 여전히 위 3층 부분을 주택으로 사용할 계획이므로 여전히 위 3층 부분은 주택에 해당한다. 설령 그 용도가 분명하지 않다고 보더라도 건축물대장상 ⁠‘주택’으로 기재되어 있다는 점, 2005년 이후 현재까지 이 사건 3층 부분에 대하여 개별주택가격이 고시되고 있고, 이 사건 매매계약 전까지 원고들에게 주택으로서 재산세가 부과되었다는 점을 고려하면, 이 사건 3층 부분은 주택으로 보아야 한다. 그럼에도 피고들이 이 사건 3층 부분이 주택에 해당하지 않는다는 전제 하에 1세대 1주택 비과세 규정의 적용을 배제한 것은 위법하다.

3) 가산세 부과의 위법성

설령 이 사건 3층 부분을 주택이 아니라고 보더라도, 원고들로서는 위 3층 부분이 주택이라고 믿을 수 밖에 없었으므로, 원고들이 이 사건 양도소득세 차액만큼을 과소신고하게 된 것에는 정당한 사유가 있다. 따라서 이 사건 각 처분 중 가산세를 부과한 부분은 위법하다.

나. 관계 법령

별지 기재와 같다.

다. 판단

1) 이 사건 세무조사의 위법성에 관한 판단

가) 앞서 든 증거들, 갑 제4 내지 7호증의 각 기재 및 변론 전체의 취지를 종합하면 다음과 같은 사실이 인정된다.

① BB세무서의 직원은 2020. 9.경 전화로 원고 AAA에게 이 사건 3층 부분이 주택에 해당하는지 여부에 관한 답변 및 관련 해명자료를 요청하였고, 원고 AAA은 BB세무서에 방문하여 이 사건 3층 부분이 주택에 해당하는지 여부에 관한 면담을 하였다.

② 면담 당시 BB세무서의 직원은 원고 AAA에게 ⁠‘한전에 가서 3층 전기사용료 내역을 뽑아 오시면 돼요. 저희가 수도사용 내역은 마포구청에 공문 보내놓은 상태고요. 한전 같은 데는 이제 좀 다녀오셔야 돼요’라는 취지로 말하였다.

③ 원고 AAA은 2020. 9. 21. BB세무서에 ⁠‘세무서 직원으로부터 3차례 부당한 소환을 당하였고, 위 직원은 원고 AAA을 협박하고, 불법행위를 강요하는 등 세무조사권을 남용하여 납세자의 방어권, 조력을 받을 권리 등 기본권을 침해하였으므로, 권리보호를 요청하며, 임의로 세무서가 원고 AAA으로부터 제출받아 보관중인 서류도 즉시 반환해달라’는 취지의 권리보호요청서를 제출하였다(이하 ⁠‘이 사건 권리보호요청서’라 한다). 이에 대하여 BB세무서는 2020. 9. 25. 원고 AAA에게 ⁠‘해명자료제출 안내문을 통해 요구하지 않고 구두로 해명자료 제출을 요구한 것에 대하여 규정을 준수하여 업무를 집행하도록 담당자에게 통보하였으며, 제출받은 서류는 즉시 반환하도록 하였다’는 처리결과를 통보하였다.

나) 구체적 판단

앞서 인정한 사실에다가 앞서 든 증거들 및 변론 전체의 취지를 종합하여 인정되는 다음의 사실 내지 사정들을 더하여 보면, 이 사건 각 처분이 위법한 세무조사에 기초하여 이루어졌다고 볼 수 없으므로, 원고의 이 부분 주장은 이유 없다.

① 피고 BB세무서장은 최초에는 이 사건 3층 부분에 관한 원고들의 1세대 1주택 비과세 신고를 시인하였는데, 이후 GG지방국세청 감사관이 BB세무서에 대한 종합감사를 실시한 후 이 사건 3층 부분에 대한 1세대 1주택 비과세 적용을 부인하고 양도소득세를 경정하도록 처분지시를 하였다. 이에 BB세무서의 직원은 이 사건 3층 부분이 주택에 해당하는지 여부를 확인하기 위하여 원고 AAA에게 구두로 관련 내용의 해명 및 자료 제출을 요구하였다. 이 사건 3층 부분이 1세대 1주택 비과세 적용 대상에 해당하는지 여부는 납세의무자에게 입증책임이 있는바, BB세무서 직원의 위와 같은 요구는 원고 이승국에게 유리한 자료의 제출 기회를 제공하기 위한 것이다. 이와 같은 사정들을 고려하면 BB세무서 직원이 서면이 아닌 구두로 해명 및 자료제출을 요구하였다고 하더라도 이를 국세기본법에 위반한 세무조사권의 남용이라고 볼 수 없다.

② BB세무서의 직원은 원고 AAA에게 이 사건 3층 부분이 주택에 해당한다는 점을 뒷받침할 자료로 전기사용량, 현장 사진 등을 제출할 것을 권유하였고, 원고들은 이를 두고 의무가 없는 행위를 강요하였다거나 협박하였다는 취지로 주장한다. 그러나 이는 원고들에게 유리한 비과세 규정을 적용받기 위해 도움이 되는 자료를 적극적으로 안내해준 것에 불과할 뿐 이를 두고 강요 내지 협박이라 볼 수 없다. 원고들이 제출한 녹취록 ⁠(갑 제5호증) 내용을 보더라도 위 직원이 원고 AAA에게 허위사실을 언급하며 위협적인 태도를 취한 것으로는 보이지 않는다.

③ BB세무서의 직원은 원고 AAA으로부터 한국전력공사가 발행한 지로통지서, 등기부등본 등을 제출받아 보관하였다가 원고 AAA이 이 사건 권리보호요청서를 보내자 이를 반환하였고, 그 과정에서 국세기본법 제81조의10 제3항에서 정하는 바에 따라 원고 AAA으로부터 일시 보관 동의서를 받거나, 일시 보관증을 교부하지는 않은 것으로 보인다. 그러나 이는 원고들에게 유리한 자료를 제출받은 것으로 그 제출 과정에 원고 AAA의 동의가 있었던 것으로 보이는 점, 원고 AAA의 요청에 따라 위 서류를 곧바로 반환한 점 등을 고려하면 일시 보관 동의서 또는 일시 보관증을 제출받거나 교부하지 않은것은 절차적 미비에 불과하다고 보이므로, 이를 근거로 하여 곧바로 세무조사권이 남용되었다거나 이 사건 처분이 위법하다고 판단할 수는 없다.

2) 비과세 규정 적용 여부에 관한 판단

가) 관련 법리

양도소득세의 비과세 대상이 되는 ⁠‘1세대 1주택’이라고 할 때의 주택은 등기부나 건축물대장과 같은 공부상의 용도 구분과 상관없이 그 실제용도가 주거용인 건물을 가리키고(대법원 1992. 7. 24. 선고 92누7023 판결 등 참조), 그 건물이 노후(老朽)되어 사실상 주거로서의 기능을 상실한 폐가(廢家)인 경우에는 더 이상 실제용도가 주거용이라 볼 수 없어 소득세법 소정의 주택에 해당하지 않는다고 봄이 타당하다.

나) 구체적 판단

앞서 본 법리에 비추어 이 사건에 관하여 보건대, 앞서 든 증거들, 갑 제9 내지 11, 13, 15호증의 각 기재 내지 영상, 을가 제7호증의 영상 및 변론 전체의 취지를 종합하여 인정되는 다음의 사실 내지 사정에 비추어보면, 이 사건 3층 부분은 1세대 1주택 비과세가 적용되는 ⁠‘주택’에 해당한다고 인정되지 않으므로, 원고들의 이 부분 주장은 이유 없다.

① 이 사건 건물은 1975. 9. 10. 사용승인된 것으로서 이 사건 매매계약 당시 약 44년이 경과한 노후된 건물이었고, 이 사건 3층 부분의 사진(갑 제10호증, 을가 제7호증)을 보면, 위 3층 부분은 그 출입문, 벽체, 바닥 등이 상당한 정도로 훼손되어, 부분적인 개·보수만으로는 사람이 거주할 수 없는 상태임을 알 수 있다.

② 이 사건 3층 부분은 2008년경부터 이 사건 매매계약 당시까지 사람이 거주하지 않았다. 이 사건 매매계약서 중 매매목적물 내역 부분에는 이 사건 3층 부분의 용도가 ⁠‘점포’로 표시되어 있으며, 임대현황 부분에도 ⁠‘창고사용’이라고 기재되어 있다.

③ 이 사건 3층 부분에 관하여 2005년 이후 개별주택가격이 산정·공표되었고 2008년 이후 주택으로서 재산세가 부과되기는 하였으나, 개별주택가격의 산정이나 재산세의 부과 당시 이 사건 3층 부분의 현황에 대한 실지조사가 이루어졌음을 뒷받침하는 자료가 충분하지 않은 상황에서, 이러한 사정은 이 사건 매매계약 당시 이 사건 3층 부분의 주거 기능이 유지되었는지 여부를 판단할 자료로 삼기에는 부족하다.

④ 원고들은 주택인지 여부가 불분명한 경우 공부상 기재에 따라야 한다는 취지로도 주장하나, 이 사건 3층 부분은 그 용도가 주거에 해당한다고 볼 수 없는 경우로서, 주택인지 여부가 불분명한 경우에 해당하지 않는다.

3) 가산세 부과의 적법 여부에 관한 판단

앞서 든 증거들, 을가 제4, 5호증의 각 기재 및 변론 전체의 취지를 종합하여 인정되는 다음의 사실 내지 사정에 비추어보면, 원고들이 이 사건 양도소득세 차액을 신고하지 않은 데에 정당한 이유가 있다고 볼 수 없으므로, 원고들의 이 부분 주장은 이유없다.

① 앞서 본 바와 같이 원고들은 이 사건 매매계약 당시 이 사건 3층 부분을 ⁠‘점포’로 표시하고 그 임대현황에도 ⁠‘창고사용’이라 기재하였는데, 이는 원고들이 이 사건 3층 부분을 더 이상 주거 용도의 ⁠‘주택’으로 인지하지 않았다는 사실을 뒷받침하는 사정이다.

② 이 사건 3층 부분으로 출입하는 문에는 ⁠‘위험, 절대 출입금지’라는 표시가 붙어있는데, 이러한 사정에다가 이 사건 3층 부분의 노후도, 훼손 상태를 더하여 보면, 원고들로서는 위 3층 부분이 더 이상 사람이 거주할 수 없는 상태가 되었음을 인식하였을 것으로 보인다.

③ 이 사건 3층 부분의 일부 지분 공유자였던 HHH(HHH은 2018. 3. 1 이 사건 건물 중 21,895/196,820 지분을 주식회사 FFF에게 매도하였다)은 이 사건 건물 매도 이전인 2008년경 서울 마포구 도화동 아파트를 매도함에 따라 부과되는 양도소득세에 관하여 과세전적부심사를 청구하였고, 그 과정에서 ⁠‘이 사건 3층 부분이 주택에 해당하지 않으므로 위 도화동 아파트에는 1세대 1주택 비과세 규정이 적용된다’는 취지의 주장을 하였으며, 마포세무서로부터 이와 같은 주장이 받아들여진 바 있다. 위 HHH과 원고들이 친족관계라는 점을 고려하면, 원고들은 이 사건 3층 부분이 양도소득세 산정에 있어 주택으로 취급되지 않는다는 점을 충분히 알 수 있었다.

④ 앞서 본 바와 같이 이 사건 3층 부분에 관하여 개별주택가격이 산정·공표되었다거나 주택으로서 재산세가 부과되었다고 하더라도, 이 사건 3층 부분에 대한 현황 조사를 바탕으로 이와 같은 산정, 부과가 있었던 것이 아닌 이상, 위와 같은 사정만으로 원고들에게 이 사건 3층 부분이 주택에 해당한다고 믿을 만한 정당한 이유가 있었다고 볼 수 없다.

3. 결론

그렇다면 원고들의 청구(주위적, 예비적 청구)는 이유 없어 이를 모두 기각하기로 하여, 주문과 같이 판결한다.

출처 : 대법원 2022. 08. 18. 선고 강릉지원 2022구합30066 판결 | 국세법령정보시스템