根據日媒《朝日新聞》報導，重達約6噸的「晃晃石」，因具有怎麼搖晃都不會掉落的特性，成為考生聖地，不少人在考前會前往該地參拜，祈求自己不會落榜。然而，在2022年11月26日，來自關東地區的5名男大學生和1名女大學生，從東京租車前往該地搞破壞，揚言要讓石頭墜落。

當天晚上，這群人抵達現場，經實際測試「晃晃石」不會墜落懸崖後，就到當地商場購買槌子和繩索等工具，試圖讓「晃晃石」墜落，眼見沒成功，這群人仍不死心，又到汽車用品店買了千斤頂，沒想到千斤頂壞了，巨石仍未掉落，最後宣告失敗，這群人也就將工具丟棄在現場離開。

不過，此舉也改變了「晃晃石」的角度，導致巨石無法再晃動，當地居民發現後氣得報警，但起初警方只依非法傾倒工具的罪名起訴大學生，2023年巨石所在山林的神社，集結了500位居民的簽名連署，向警察署提出刑事告訴，同年底高知地檢署認定6名大學生破壞觀光資源，以器物損毀罪起訴，簡易裁判所則判處大學生罰金，最高可處新台幣6.8萬元。