Valahol olvastam még a Natty megjelenésekor, hogy van valami bug a vlc-ben, ami max RAM/swap használatot okoz. Lehet, hogy ez is ennek a "folyománya". Ez a "probably corrupt input" elgondolkodtató ugyanakkor, de ez nekem bugnak tűnik, főleg hogy írtad, hogy többször előfordult már (nem lehet egy hibás fájl az ok - bár alaphelyzetben annak se kéne ilyet csiálnia)
Ajánlok egy launchpad-es bugreportot, biztos, ami biztos.