據不當黨產處理委員會（下稱黨產會）資料指出，位於北市中正區中山南路11號的張榮發基金會，在日治時期為「日本赤十字社」，由「日本赤十字會社」（紅十字會）所有，該會的名譽總裁為日本皇后。而台大城鄉所教授夏鑄九2007年接受《聯合報》訪問時表示，總統府在日治時期為總督府，具男性象徵，兩者因此形成了紅十會女性象徵與總督府男性象徵遙相對應的意涵。

黨產會資料指出，二戰結束後，國民政府來台，雖將日本赤十字社收歸國有，實際上卻被國民黨中央委員會當作辦公廳使用，期間數十年，國民黨針對此處房地和國家成立借用、租賃關係，並在1990年以3億7千多萬買下此處房地，計劃改建成黨部大樓，在當時引起民間文史團體抗議，深怕日治舊址會因改建而不見。

1994年國民黨旋風式拆除日治舊址後，由建築師李祖原接手設計，規劃成地上十二層、地下四層的舊中央黨部大樓，1998年在李登輝總統任內竣工，耗資22億元。李祖原還在大樓前方設計兩道三層樓高、向前延伸的牆壁。據當時媒體報導，雖然設計意涵是要「擁抱大眾」，但從空中看來又像是在對應總統府高塔，再度與「陰陽調和」的說法不謀而合。

但這「陰陽調和」似乎不夠牢靠，2000年間國民黨輸掉總統大選，終結長達55年的統治，最終國民黨在2006年將舊中央黨部大樓以23億元賣給張榮發基金會。時任長榮集團總裁張榮發則因不相信風水，接手後就將風水牆打掉，並重新規劃內外部格局。對於自己的作品轉賣張榮發基金會後，風水牆就此消失，當時曾有媒體訪問設計者李祖原，他表示沒有意見，「不關我的事」。

2016年蔡英文上任總統後，積極推動戒嚴時期轉型正義，行政院也成立不當黨產處理委員會追討黨產，黨產會在2018年認定，國民黨在國民政府來台後長期占用日本赤十字社作為辦公廳，又在不符合條件、不具備資格的情況下和國家簽訂借用、租賃契約，買下後又以高價轉售，據此認定舊中央黨部大樓為不當黨產，作成行政處分，扣除購買房地的必要支出後，向國民黨追徵11億元，後續國民黨提出行政訴訟，目前官司尚未了結。