富邦勇士在2022年用林書緯跟新北國王交易洪楷傑、張文平與2024年首輪（前2順位保護，第3含之後則歸富邦勇士所有）選秀權，這也是台灣職籃近年最大咖的交易之一。林書緯近來則爆料：「我是自己要被交易的，我自己跟老闆提的，我在那之前就想被交易了，可是老闆拜託我再留1年，再拿1年冠軍，拿冠軍後如果想走再走。」

儘管拿到總冠軍也沒有改變他想離開的心，林書緯說出堅持離開的原因：「我覺得教練對我有點不公平，我在富邦大部分的時候都是這樣，不被重用、被低估。」稱每一年總教練許哥（許晉哲）總是讓他從板凳出發，但到了季後賽又要打上先發，「因為他發現我必須打先發，我覺得那段時間很困難，我認為我值得更多上場時間」，直言自己值得更多的上場時間。

林書緯在富邦勇士最後一年場均出賽28分鐘 ，繳出11.8分、2.9籃板、3.9助攻、1.3抄截的成績單，上季轉戰新北國王之後，場均上場時間提升至31分鐘，繳出11.9分、3.5籃板、5.1助攻、1.4抄截的數據，其中他與哥哥林書豪組成「林家兄弟」成為出賽一大賣點。