被大陸視為「台獨」分子的「教育部長」潘文忠請辭，雖然「行政院長」為他緩頰，說是家庭因素，但潘文忠卻並不領情，直說是延燒三個月的「卡管案」讓他辭職，並在辭職聲明中强調，希望透過辭職，讓所有政治操作就此停止。等於是打了賴清德的臉。
潘文忠在「卡管案」中的角色是什麼？究竟是始作俑者，還是做了蔡政府高層強令要他「卡管」，與台大校方以至泛藍陣營「挺管」兩大壓力之下的「夾心人」，讓他熬不下去？或許，前幾天「內政部長」葉俊榮及十幾位民進黨籍政務官也曾到大陸兼職任教的情況被揭發，讓他「卡管」的「武功」被「廢」掉一半，難以自圓其說，只得辭職以「明志」？
其實，潘文忠早就踩踏了蔡英文的「紅線」，應當被蔡政府問責。只不過可能此事在蔡政府的眼中，是無關「台獨」事業的「小崎士」，而沒有追究他「犯上」的責任，或者反而是認為潘文忠所做之事並沒有冒犯蔡英文，而繼續穩坐教育部長」的「釣魚船」，但現在既然潘文忠一鞠躬下台，這件「小事」也就難免會被「翻搜」出來。
事情得回溯到一九九四年至一九九五年間，李登輝授命蔡英文領銜擬撰《港澳關係條例》的草案，曾先後三次率隊到港澳地區調查研究及徵求意見。由於她不熟悉澳門的情況，因而在《港澳關係條例》草案的第一稿的第四條關於澳門居民的定義上，照搬香港的「海外領土公民護照」，將十多萬持有葡國護照的澳門華人居民排除在澳門居民之外，亦即不得享受港澳居民的各種待遇。
在座談會上，筆者和譚志強博士發言指出，這不符合澳門的實際情況及《中葡聯合聲明》中葡雙方的「備忘錄」。因為在一九八三年葡國修改《國籍法》之前，葡國對其國籍的認定，採出生地主義，凡是在葡國本土及海外屬土出生地人士，都自動具有葡籍。一九八三年葡國修改《國籍法》，對出生地主義有所收緊，並加以血統主義相結合，凡在葡國屬土出生之人，必須是其父母雙方或一方具有葡籍，才自動具有葡籍；但又增加了依婚姻可以加入葡籍，及依據幾個條件可以歸化葡籍的權宜規定。葡國《國籍法》又承認葡國公民具有雙重及多重國籍，但以葡籍為第一國籍。
由此，約有十多萬澳門華人居民擁有葡國護照，包括後來成為澳門特區行政長官的何厚鏵、崔世安，及多位按照《澳門基本法》規定必須由中國公民出任的主要官員。
經過大半年的中葡談判後，一九八七年四月十三日，中國總理趙紫陽和葡國總理斯華高在北京簽署《中葡聯合聲明》。對中葡談判中最難解決的國籍問題，中葡雙方分別以「備忘錄」的形式，以「各自表述」的方式，闡明自己的立場。中方的立場是，澳門居民凡符合中國《國籍法》規定者，不論是否持有葡國「旅行證件」或身份證件，均具有中國公民資格。考慮到澳門的歷史背景和現實情況，在澳門回歸後，中國政府允許原持有葡國「旅行證件」的澳門中國公民，可以繼續使用該「旅行證件」到其他國家和地區旅遊，但不得在澳門特區和中國的其他地區享受葡國的領事保護。而葡方的「備忘錄」則說明，凡按照葡國《國籍法》規定，在澳門回歸前因具有葡國公民資格而持有葡國護照的澳門居民，在澳門回歸後可繼續使用之。自一九九九年十二月二十日起，任何人不得由於同澳門的關係而取得葡國公民資格。
蔡英文了解到相關情況後，從善而流，立即修改《港澳關係條例》第四條對「澳門居民」的定義為：「本條例所指的澳門居民，指具有澳門永久居留資格，且未持有澳門護照以外之旅行證照或雖持有葡萄牙護照但係於葡萄牙結束治理前於澳門取得者。」因此根據條例，只要有其他護照，或者葡國護照不是在澳門回歸前取得，就不符合澳門居民定義，而被視為外國人。後來，「行政院」頒發《港澳關係條例施行細則》，其第六條更是明載：「澳門居民申請進入臺灣地區或在臺灣地區主張其為澳門居民時，相關機關得令其陳明未持有葡萄牙護照或澳門護照以外旅行證照之事實或出具證明。前項葡萄牙護照，以葡萄牙結束其治理前，於澳門取得者為限。」
應當說，蔡英文此舉，是符合《中葡聯合聲明》中葡雙方「備忘錄」的精神，及中國《國籍法》的相關規定，以及後來由全國人大常委會通過對關於中國《國籍法》在澳門特區實施的幾個問題的決定的。
而當時的「教育部」和「陸委會」，依據《港澳關係條例》上述的規定，頒布《香港澳門居民來臺就學辦法》，規定只有符合港澳居民定義者，到台灣就讀，移民署才會發出居留證，並享受僑生的各項優惠。如果要以外國人身份赴台就讀，就需按照台灣對外國學生的來台就學辦法所定的方法，不得享受僑生的各種優惠，包括在澳門回歸後才取得葡國護照者在內。
在台灣大學政治系就讀的澳門學生蘇嘉豪，針對在台就讀的港澳學生，每學期才可出境一次的情況，發起「讓澳門在臺學生自由回家行動」，向馬政府的「教育部」請願，結果「教育部」接納其訴求，同意給予港澳學生出境自由。蘇嘉豪又「乘勝追擊」，提出要讓持有回歸後取得葡國護照的澳門學生，可以享受「僑生」優惠。此時發生政黨輪替，可能是蘇嘉豪曾經參加過「小英青年軍」的活動，及「野草莓學運」等社運活動，蔡政府的「教育部」也接受了他的訴求，以公佈修訂《僑生回國就學及輔導辦法》新增第二十三條之一的辦法，向在一九九九年澳門移交後出生的青少年，持憑葡國護照赴台升讀大學，視為「僑生」，給予提供港澳學生同等的優惠。
以潘文忠為部長的「教育部」此舉，不但是嚴重抵觸由蔡英文撰的《港澳關係條例》有關「澳門居民」定義的規定，而且在法理上也犯了「下位法」抵觸「上位法」的毛病。實際上，根據台灣當局《中央法規標準法》，由「立法院」通過、「總統」公布的法律，得定名為「法」、「律」、「條例」或「通則」，在法律位階上是屬於「上位法」；而由各機關發布的命令，得依其性質，稱「規程」、「規則」、「細則」、「辦法」、「綱要」、標準」或「準則」，在法律位階上屬於「下位法」。法律不得牴觸「憲法」，命令不得牴觸「憲法」或法律，下級機關訂定之命令不得牴觸上級機關之命令。
正如前述，《港澳關係條例》第四條已經對「澳門居民」作出了較為精準的定義，而《港澳學生來台就學辦法》也是符合《港澳關係條例》第四條的規定的，因而符合「下位法」服從「上位法」的規定。但《僑生回國就學及輔導辦法》新增第二十三條之一的規範，與《港澳關係條例》第四條對澳門居民的定義中的「或雖持葡萄牙護照但係於葡萄牙結束治理前於澳門取得者」，完全扞格，亦即是作為行政命令的「下位法」，抵觸了作為由「立法院」制定的法律的「上位法」。而且更是踩踏了蔡英文擬撰的《港澳關係條例》的「紅線」。而且，《僑生回國就學及輔導辦法》是由「教育部」與「僑委會」共同頒布的，但這個「新增第二十三條之一的規範」，卻是由「教育部」單獨制定並頒布，「撇開」了「僑委會」，也不符合相關規定。由此可見，當時的潘文忠，是何等的盛氣凌人，不把其他機關如「僑委會」、陸委會等，看在眼裡。