住處鑰匙是否該給另一伴?

最近男友開始跟我要鑰匙
想要鑰匙並不是因為要同居，而是想要下班後，方便在我的住處等我下班
因為之前都是男友比我晚下班，他來找我時，我再幫他開門上來
只是去年換了工作，下班時間變成比男友晚，常常男友都要在附近等我下班

這問題，也有和男友商量過，建議他下班後就直接回家了，不用再來我這邊，不然我也常常工作都還沒做完，只是因為他在附近等...怕他等太久，不得不先把工作放著等明日再做..
商量過後，男友還是不改成直接回家，一樣又要在住處附近等我下班
這真的變成是一種壓力，因為男友會隔一段時間就傳訊問好了沒?造成工作沒辦法好好做到好再打卡下班

後來男友就因為這樣，開始跟我要住處鑰匙
老實說，我並不想給
畢竟我住的地方，家人隨時都會來個突襲
如果在我不在時，男友竟然自己一個人在屋子裡，剛好家人也進來
這之後會衍生很多麻煩事

所以告訴男友，我不給鑰匙，除非...我們結婚了才會給，不然不可能，到時候要跟你拿回鑰匙也麻煩
接著就一直問，為什麼會有拿回鑰匙的可能?
心裡頓時覺得...哪有什麼不可能?

最後因為一直拒絕，後面也不太想理會
就因為這樣男友生氣了，說著不給就都不要給
雖然他這樣講，但我還是堅持不給鑰匙...畢竟還不是未來的另一伴，感覺沒這個必要
覺得既然要進屋子裡，那就必須是我也在的時候

不知道各位遇到另一伴在要鑰匙的時候，是會給呢?還是不會給呢?
給的理由又是什麼?不給的理由會是什麼?