　　中宣部部長陸定一表示：“我們對故宮應采取謹慎的方針，原狀不應該輕易動，改了的還應恢復一部分”，“關于房子改造問題，小房、小墻可以拆一些，但要謹慎。馬路可以寬一些，這是為了消防的需要，不是為了機動車進去。故宮就是要封建落后，古色古香”，“搞故宮的目的就是為了保留一個落后的地方，對觀眾進行教育，這就是古為今用”。

　　1964年6月12日，文物保護專家謝辰生參加故宮復原陳列的討論，第一次看到了陸定一在這次中宣部部長辦公會議上的講話記錄。當天，他在日記里寫道：“如果不是這次定一同志頂住，故宮真不知如何得了。可能現在已是面目全非了。有些人是好心辦壞事。好事過了頭就會走向它的反面，這就是辯證法。”

　　改建計劃被再度提起

　　1963年2月，北京市城市規劃管理局在北京展覽館舉辦“北京市城市規劃設計匯報展覽”。此間，故宮改建計劃被再度提起。

　　有關規劃官員和技術人員被召集至頤和園聽鸝館用餐。席間，北京市副市長吳晗引經據典談論故宮，稱故宮自古以來就是變化著的，溥儀為騎自行車還鋸掉了故宮的門檻。

　　1963年3月25日，吳晗在中共北京市委機關刊物《前線》的“三家村札記”中，發表《談北京城》一文，為故宮改建造勢：“現在保留下來的清朝的宮殿，不但不是明朝的原來建筑，而且，也不完全是清朝原來的建筑。當然，作為一個古代建筑藝術品，應否保留以及如何保留，是一個可以研究的問題，不過，要是像某些人所說，因為是古代建筑，就絕對不能改變，把事情絕對化了，那也是不符合歷史實際情況的。”

　　吳晗得出結論：“北京城的歷史發展告訴我們，無論是城市建置，政治中心，街道布局，房屋高低等等，都不是不可改變的。相反的結論是必須改變。我們必需有這樣的歷史認識，才不致于被前人的陰影所籠罩，才能大踏步地健康地向前邁進。”

　　董光器在《古都北京五十年演變錄》中，印出一張1963年北京市城市規劃管理局制作的北京城區布局方案圖，顯示天安門、端門、故宮皆被拆除改建為大型公共建筑。

　　1966年“文化大革命”爆發，其信號是吳晗響應毛澤東倡議而作的京劇劇本《海瑞罷官》遭到批判。

　　在這場風暴中，中共北京市委書記彭真、劉仁、鄭天翔等7人和副市長吳晗、樂松生等6人分別被扣上了“叛徒”“特務”“反革命修正主義分子”“反動資本家”“反動學術權威”等罪名。劉仁、鄧拓、吳晗被迫害致死。

　　故宮改建計劃被列為中共北京市委要給劉少奇蓋宮殿的“罪證”。

　　紫禁城并未獲得安寧。“文革”時期出臺的故宮“整改方案”，提出要把一切代表封建意識的宮殿、門額全部拆掉。

　　1966年8月18日，毛澤東在天安門廣場第一次接見全國各地的紅衛兵及群眾代表。當晚，周恩來得知紅衛兵準備沖入故宮“破四舊”，當即指示關閉故宮，并通知北京衛戍區派一個營的部隊前去守護。

　　次日，紅衛兵要沖故宮，工作人員按照周恩來的指示把紅衛兵勸退。幾日后，周恩來又派軍隊守護故宮四周。

　　1987年12月，故宮成為中國首批被列入《世界遺產名錄》的文化遺產。