從「陸委會」多位官員的談話內容來看，在「陸委會」提升為「行政院」本部的附設機構後，港澳處的業務將不會隨之撥歸「行政院」，而是另行尋找「安身立命」之地。而最有可能的「收容所」，將有可能是由「內政部」改組而成的「內政及國土安全部」。這將是台灣當局港澳工作機構的又一次大變動。
台灣當局港澳工作機構的第一次大變動，是在上世紀八十代初中英兩國就香港前途問題進行談判之際。而在此之前，據「陸委會」法政處官員徐榮松的碩士論文《「九七」後台灣駐港澳機構的定位與調整》，及衛民所著《台港關係：機制及發展》一書所示，主要是由「外交部」主理，並分別在香港、澳門設立有「外交部兩廣專員公署駐香港辦事處」，或「外交部駐澳門特派員公署〔後改名為「外交部駐澳門專員公署」〕。後來，台灣當局為「鞏固合法統治權威」，對海外華人採取聯合戰略以「對抗中共」，同時也象徵性地延伸其「統治權威」，就大力推行華僑政策，港澳政策亦在這樣的整體華僑政策下形成。此階段主管港澳事務的機構包括有「僑委會」、「內政部」境管局、「教育部」等。不過，「外交部」仍扮演主要角色，它並另在香港成立「中華旅行社」，以承續過去「兩廣專員公署駐香港辦事處」的任務。
一九八二年九月開始，中英兩國就香港前途問題進行談判，台灣當局的港澳政策也逐漸有所調整，超越了隸屬於華僑政策之下的範疇。在主管對港事務的機構方面，更於一九八三年八月設立「行政院對外工作會報小組香港小組」。一九八四年十月，由於中英兩國已經草簽了「中英聯合聲明」，又將前述小組改為「行政院香港小組」，自此對港事務改由「行政院」副院長統籌處理。在此段期間，由於澳葡方面執行「一二‧三事件」的「投降書」協議，將台灣當局的駐澳機構及人員驅逐出澳門，台灣當局放棄對澳工作，故上述機構都僅是專門針對香港工作，並未涉及澳門，連其稱謂也是只有「香港」二字，並無「澳門」在內。
一九八七年四月十三日，「中葡聯合聲明」簽署，台灣當局開始重視起澳門事務，並將之納入其對香港事務工作的範疇之內。為此，於同年八月將前述「行政院香港小組」改稱為「行政院港澳小組」。上述由「外交部」主導改為由「行政院」主導的調整，是為台灣當局港澳工作機構的第一次大變化。
一九九零年十月，「行政院院會」通過成立「大陸委員會」，原「行政院港澳小組」併入「陸委會」，成為其下屬的「港澳處」。這是台灣當局港澳工作機構的第二次變化，一直延續至今。
大抵而言，「陸委會」港澳處仍承續原來「行政院港澳小組」的功能，其職務在於統籌對港澳的經貿，文化等工作。台灣當局在港澳地區的工作單位，仍分別由「內政部」、「外交部」、「經濟部」、「教育部」、「僑委會」、「新聞局」等主管機關直接督導。但其主要的「代表機構」──香港中華旅行社和「駐澳門台北旅遊文化中心」，則直屬「外交部」領導。但為統籌協調駐港澳各單位，以隱秘方式臨時編組的「李復中小組」作為協調性組織，由「陸委會」督導。因此，在港澳回歸之前，「陸委會」對港澳工作仍未扮演積極的功能，而是由「外交部」擔當較為重要的角色。
港澳先後回歸後，台灣當局的港澳工作機構發生了一次不大不小的變動，就是原由「外交部」主管的香港中華旅行社及駐澳門「台北旅遊文化中心」，分別移交「陸委會」主管，並在對內名稱上分別改為「陸委會香港事務局」及「陸委會澳門事務處」，其中後者的對外稱謂則更改為澳門「台北經濟文化中心」。而原來分別由「僑委會」、「內政部」境管局、「外交部」、「經濟部」、「教育部」、外貿協會、「新聞局」等機關領導的遠東貿易中心、台北貿易中心、光華新聞文化中心、華僑旅運社、華光旅運社、海華青年活動中心、聯合教學中心等，都併歸「香港事務局」，並歸納進其服務組、聯絡組、新聞組、經貿組等。不過，其業務督導，仍是分別由其原來的上級主管機關負責。
在這一大一中兩次變動中，先後出現了兩次「權力矛盾或鬥爭疑云」。其一、是原來在「行政院」轄下兩個職級平行的任務編組──「大陸工作會報」和「港澳小組」〔兩者都是由「行政院」副院長擔任召集人〕，在成立「陸委會」後，「大陸工作會報」就變身成了「陸委會」，而「港澳小組」卻成了「陸委會」的下屬機構，亦即兩者成了上下級隸屬關係。也就是說，處理港澳事務機構的位階有所下降了。
不過，也有人指出，其實在「陸委會」成立之前，「大陸工作會報」與「港澳小組」的上層成員，幾乎完全重疊。即皆由「行政院」副院長擔任召集人，有關部會首長擔任組員。實際上，「大陸工作會報」的十六個委員，其中有十四個就是「港澳小組」的成員。兩個任務編組只是有少數幕僚人員有所不同。因此，「陸委會」港澳處的成立，似只是在策洎鴩荂u港澳小組」的幕僚編制，並稍予擴大。真正有關港澳事務的重要決策事項仍是在港澳處之外──如它的上級機構「陸委會」甚或更高單位。
另一次「權力鬥爭」，是在「九七」香港回歸之後。正如前述，此時香港中華旅行社由「外交部」主管改為由「陸委會」主管，並升格為「香港事務局」，其局長的職級套用第十三職等，亦即相當於「部長助理」。但「陸委會」港澳處的處長，其職級仍是屬於司局長的第十二職等，亦即前方將官的級別高於後方主管。更令後方主管難堪的是，「香港事務局」並非向港澳處負責，而是向「陸委會」主委負責，亦即繞過了港澳處。港澳處只不過是在後方負責研究、協調、統籌事務而已，無權直接指揮「香港事務局」。澳門回歸後，「陸委會」駐澳門機構的情況，也是同樣如此。
當時，「陸委會」港澳處處長是厲威廉，「香港事務局」局長是原來與厲威廉相同職等〔十二職等〕的鄭安國。由於兩人素有瑜亮情結，尤其是厲威廉「瞧不起」鄭安國，故據說在「陸委會」召開的港澳工作會議上，曾發生爭執，甚至有「厲威廉拍檯」的報導，但據說總是鄭安國忍讓，未有出聲反駁。後來，鄭安國更因在香港鼓吹「兩國論」而未獲香港特區政府續簽工作証，只得返台，但台灣當局又將之提升為「陸委會」副主委，領取常務副部長級的第十四職等薪水，與此時已調到澳門的厲威廉又再次拉開了距離。也有消息說，鄭安國返台後，厲威廉曾私下運作，希望能調到香港接替之，以便使自己的才幹、能力和經驗符合第十三職等的待遇。但可能是因為當年厲威廉任港澳處長時，曾說了一些話得罪了香港政府，而被其下達禁止入境令，做使他的爭取徒勞無功。