李世聰和劉萍婚後，曾多次被媒體爆出婚外情，雖然如此正宮卻始終待在身邊，一雙兒女李俊毅和李凱莉也未發聲，直到李世聰和賴英里交往後，兩人愛得高調，李世聰餐敘時常帶上賴英里，常不避諱公開放閃，且兩人在工作領域也開始許多合作。

有知情人士曾透露，李世聰過去雖然花邊不斷，但始終沒威脅到劉萍及兒女地位，不過和賴英里交往就不一樣了，據悉，李世聰相當看重她，聚餐時多次和友人說「幾乎拿賴英里沒輒」，讓當時準備接班的李凱莉、李俊毅對賴英里心生芥蒂。

李世聰和賴英里2018年5月前往日本旅遊，被《壹週刊》直擊兩人一路摟腰、靠肩、拍臀、牽手，就像一般熱戀情侶互動親密，兩人當時還搭乘斥資日幣30億打造的「九州七星號」，列車號稱最奢華移動城堡，還配有米其林廚師，6天5夜繞九州一圈的行程價格極其豪奢。

不過就在交往兩年多後，李世聰2020年因罹患腦瘤，開刀住院後都由家人在身邊照料，沒有任何親友身份的賴英里，因此難以接觸李世聰，最終不敵現實狀況，兩人在當年就分手結束關係。

今早李世聰離世時，據龍巖集團發出的聲明顯示，他在世的最後一刻，身邊有家屬、子孫等人陪同，人生最後旅程已圓滿。