請問祖先牌位侍奉與否的問題(文長)

因為近日要搬家(租屋),本來以前沒有很注重這種民間習俗問題,但還是不免俗的還是找了個擇日的師傅想說算個好日子搬家,結果現在卻衍生出祖先牌位侍奉與否的問題。

先說明家中成員信仰問題:
父:無神論者。
母:基督,但可適度接受其他宗教習俗
我:偏向基督,但可適度接受其他宗教習俗
哥:虔誠密宗狂熱者,排斥其他宗教習俗。

必須先說說我家的遷移歷史,家父是當年38年來台的老兵,我家在台灣第一代。來台安家後,為緬懷先人,寄思遠在大陸的親人祖先,所以自行買了個祖先牌位,然後自己在牌位上寫上家姓歷世祖先,就這麼自己開始拜了近四十年(平時不燒香,只有逢年過節時才燒香祭祖,但後來二十年變成只有過年時才拜)
再說明一下,我家之前雖住在公墓旁三十多年,但家運都還不錯。

直到三年前,突然家運開始下坡,因為財務及官司問題,所以不得不到外租屋,租屋後,祖先牌位也沒有經過任何儀式就自行遷移過來。搬來後,家運更是加速衰敗,才搬來兩個月,父母接連都生了大病,家中財務來源更是一一斷絕。

現在,我們又要搬家了(租屋),所以我才想說這次就依點民間習俗選個好日子搬家即可,至少以後心理不會有疙瘩。本來跟師父討論到要將祖先牌位做個出火及安香儀式遷入新住處,但我說到我家祖先牌位的由來,師父覺得不妥,說當初我父親沒有經過分香的儀式,自行設置侍奉牌位,祖先並沒有請進來,這樣反而會讓其他靈體進駐。可是我說我覺得我家在老家那三十多年家運其實都還不錯,直到三年前因為一場官司而遷出(老家房屋被拆除),然後家運就開始接連出現問題及厄運,讓我不得不開始相信命理習俗。
師父說,可能之前在老家時,有受到旁邊其他友善的先靈庇蔭。我想想也是,因為老家在公墓旁,我從小在墓碑中跑跳長大(說個令大家不敢相信的事,我小時不懂事,跟鄰居小孩的遊戲竟是去各個墓碑坐一坐。)家父也會在整理家園時順手幫旁邊的墓地除除草,"鄰里間"禮尚往來,彼此都相安無事。

因此師父建議我與長輩討論,是否還要繼續侍奉這個祖先牌位,若要則要經過分香儀式,但這點比較有難度,因為正宗的祖先牌位遠在大陸。否則就得將這個牌位處理掉。

目前家父仍安在(前陣子已回大陸探親,可能會在大陸親人那安養終老),等於說從家父往下算起,除了我弟弟多年前意外往生,那我們家祖先應該是算在大陸的祖先吧?
但大陸親人已經有設牌位祭拜。所以那我們還需要拜祖先嗎?
可是若不設祖先牌位的話,那我們在台灣的後代以後都沒有祖先可拜,這樣可以嗎?
還是等以後家父百年後,再以家父當做我們家在台灣的祖先,再來設置牌位?可是那我已往生的弟弟怎辦(當初也沒設牌位,沒祭拜)?

其實我家算是個宗教自由家庭,我哥篤信密宗,他已在家中有侍奉佛像,我哥其實不太希望繼續供俸這個祖先牌位。而我自己雖沒有特定信仰,但覺得祭祖緬懷先人是個傳家美德,若能繼續保有更好,但若真如師父所言,並沒有真正侍奉到祖先,那也可放棄。
上來想聽聽各位網友的見解,我家供的這個祖先牌位該如何處理是好?若要供,是否一定得到大陸那做分香?若無法執行,還有其他不必到大陸的方法嗎?


--------3/20更新----------
目前暫定請師父將牌位處裡。