住家公寓變公共場所怎麼辦

住家在一棟五樓的老公寓，沒有管理員，幾年前五樓的屋主在頂樓加蓋，蓋的過程也有被人檢舉；只是屋主似乎關係不錯，拆除日期都排好也被硬壓下來，後來變成既有違建不用拆了。這幾年陸續出租倒也沒什麼問題。

後來五樓買賣屋主換人，今年開始六樓組給了外勞。我並不是對外勞有偏見，而是每天住這邊的外勞都不一樣，連一個固定熟面孔都沒有；就因為屋主租給外勞，所以我們大樓就變成公共場所隨意人進出了？

而且顯然屋主沒給他們樓下大門的鑰匙，所以經常就會有一群外勞站在大樓門口等(人數1~5人都有)，如果剛好有住戶出入，他們就會把門擋著不讓人家關門。雖然說這些外勞男女都有，但男性偏多，加上每次都是陌生人，遇到時心理的壓力其實不小... 煙蒂亂丟已經是家常便飯，有時半夜清晨等太久沒人開門，他們就會亂按、猛烈的按住戶的電鈴。

其他樓層有好幾戶家裡都有小孩，為了這些陌生人也陸續報過警；但警察總會無奈的回覆說因為他們沒有明顯的鬧事或騷擾誰，所以也不能對他們怎樣。想請問真的是這樣嗎？一定要出事才能處理？ 鄰居也找過里長，但回覆也是「因為沒人怎樣所以沒辦法處理，而且屋主是前義警...」，所以是不是更沒辦法處理了？我不懂的是，因為屋主聲稱租給外勞，所以每位外籍勞工都能說他住這要求進來？！這方面沒有任何法規可以保障我們的安全嗎？

煩請各位先進給小弟一些意見，謝謝！