喜歡上朋友眼中不該喜歡的人該怎麼辦？

我很久以前喜歡上一個男生，幽默風趣，聰明，有上進心，有份不錯的工作。但是我的朋友不喜歡他，覺得他太會哄女生了，最重要的一點是這男生是個殘疾人士，我朋友強力反對，她認為我跟這男生如果在一起我會很辛苦的。後來我們雙方還是沒能在一起。過了好幾年，我們又開始比較常聯絡了，這次我們聊的更多更深入，但是我猶豫了。這些年朋友也介紹很多不錯的男生給我認識，但有的男生不喜歡我的收入比他們高，有的覺得我太有想法覺得壓不住我之類的，所以通通沒下文。只有這個男生知道怎麼跟我相處，完全的包容我的個性，支持我的工作。我們雙方明知道對對方的感覺不一樣，但兩個人都不說出口，我不知道他為什麼不說，但我不說是因為我害怕，我怕我沒辦法把喜歡升為愛，最後傷害了他。他也讓我沒安全感，因為三不五時還是會有女生喜歡他（雖然他不喜歡她們）。我真不曉得現在該怎麼辦？
我覺得我正在一步一步走入他佈的陷阱中。