Van megoldás :)
Felrakod a 10.7-es Catalystot (ne újabbat, mert bugosak), majd kiadod a "sudo aticonfig --initial -f" parancsot, aztán restart, s ha már így működik a Xorg, hogy az fglrx drivert használja, akkor leszeded ezt és futtatod: http://kanotix.com/files/fix/mplayer-vaapi-latest.txt - Így lesz vaapi támogatású mplayered, s utána megy rendesen elvileg, ha az mplayer -vo vaapi -va vaapi paranccsal indítod a filmeket.
Íme kis írás, hogy mit hogyan csináltam: http://ubuntu.hu/node/22452#comment-236343
Azóta rájöttem, hogy 10.7 Catalyst kell csak és még -va vaapi opció is.
Illetve itt egy bejegyzés, kommentben is írtam, hogy jó minden: http://logout.hu/bejegyzes/frescho/xvba_masodik_kor/hsz_1-100.html