先去香港再去台湾，需要办大陆居民往来台湾通行证吗?

已经有了台湾方面发的入台许可，但是大陆这边还要去办立项批复，才能去出入境管理局办大陆居民往来台湾通行证，怕时间上来不及，可否不办这个?直接从香港那边进入台湾?港澳通行证和护照都有的