"DOSBox" ya trabaja con un códec de compresión de vídeo, aunque no así de audio. En el caso de que quieras comprimirlo más aun puedes usar programas como "Avidemux" o "VirtualDub" que te permiten elegir entre un listado de codecs, siempre que tengas instalado el paquete correspondiente (te recomiendo el "K-Lite").
Eso sí, para grabar juegos de MS-DOS tendrás que seguir haciendo uso de la utilidad de grabación de "DOSBox" y comprimirlo a continuación. En el caso de que se trate de juegos de Windows, podrás hacer uso de "Camtasia" o "Fraps".
Y, por último, únicamente podrás comprimir los vídeos grabados con "DOSBox" si trabajas con Windows Xp. El códec ZMBV no lo reconocen Windows Vista ni Windows 7, por lo que dichos vídeos te los rechazarán los programas de compresión que te he comentado anteriormente.