區網傳輸檔案與對外寬頻速度的影響？

各位前輩～請教些問題

我們的網路環境：
兩網域分別為192.168.6.XXX與192.168.8.XXX，以光纖連接可以互通成一大區網，
各網域光纖設備底下為100M OR 1000M的Switch HUB連接各電腦，
而兩個網域共用同一條專線。
192.168.8.XXX此網域有加裝ADSL。（但應該不會影響主要問題）
192.168.8.XXX架設FTP主機（只提供區域網路），且有連接ADSL上網。

問題：
我在192.168.8.XXX此網域架設FTP主機存放備份檔案，而我人在192.168.6.XXX，
有人反應說：我因為架設FTP而影響了他們對外連線的速度。
但是我只對我的FTP做檔案存取（幾百MB～10GB不等），使用時間皆為早上9點以後、下午6點以前，晚上極少傳輸大檔案（最多2G吧）。
但是早上卻沒人反應網路不順，到了晚上就被一直詢問是否有在抓FTP的檔案！
因為我們使用人數晚上最多約20～25人，扣除有人使用P2P外（這邊驢子、BT都不行，只能用GB），
我這種情形，使用FTP真的會影響他的對外的網路嗎？

先謝謝各位指教了！