Dwa sposoby, które działają. Wydajności nie testowano.

SELECT * FROM `fe_users` WHERE (FIND_IN_SET('4',usergroup)>0);

SELECT * FROM `fe_users`WHERE usergroup REGEXP "[[:<:]]4[[:>:]]";