不堪噪音侵擾的鄰居向《鏡週刊》投訴，得知隋棠看中該社區原本很開心，不料隋棠一家5口與外傭、管家搬到樓上後，3個孩子常自清晨6點多起床後就開始奔跑、嬉鬧，製造的大量噪音至深夜也不停歇。

鄰居曾分別與隋棠及Tony溝通，並主動釋出善意，稱願意負擔隔音墊等設備費用，不料隋棠表示幼兒難約束，「你們就跟著早點起床囉！」Tony則是一開始承諾改善，沒多久就故態復萌，後續更反咬鄰居造謠、騷擾，當面大吼：「Don't speak to me,speak to my lawyer !」（不要跟我說話，有話跟我的律師說吧！）

鄰居深受噪音所苦，甚至去看了身心科門診，倚靠藥物入眠並二度報警，但都因為隋棠夫婦不在家，員警也莫可奈何。鄰居更在去年底提出民事訴訟，希望隋棠夫婦出面，但對方卻只請友人代為出庭，鄰居認為隋棠夫妻毫無解決問題的誠意，與其公益形象相去甚遠，只得訴諸輿論，只求重回寧靜生活。截至出稿為止，隋棠方尚未做出任何回應。