如何叫公公不要一直來住

結婚後，我跟先生租2房一廳的小公寓住，新婚蜜月時期，公公就會隻身一人來我們的小公寓小住，我先生都很晚下班，我都一人面對他，覺得很尷尬。那時我先生就會用要生小孩作功課為由不想被打擾叫他回去。後來，我們買較大的房子，有一間房間我要規劃成小孩房，但我公公堅持要弄成孝親房，要選他要睡的床要裝大電視。然後他就三不五時都來住，我先生在北部工作只有週末回來，大都時後就我跟小孩在家，但既使如此他還是會來小住，我覺得很不方便，他是不幫忙顧小孩的，只要他來我在家都不能自在（洗澡要關門、要穿內衣才能到客廳等）。我先生說他爸把這當成他的財產之一，所以要常來巡一巡。我只是覺得只有媳婦在，他兒子又沒在家，這樣常常來住真的很怪異。