Csak bizonyos esetekben használja a rendszer a swap-ot, ezt elég jó eldönti (rendelkezésre álló RAM függvényében). De ha nem tetszik neked, akkor a prioritást változtathatod, erre most röviden a kézikönyvet ajánlom:
man swapon
man swapoff
Esetleg a "zram" megoldásra nézz rá.