MP4文件做流媒体开发

各位大神：
哪位大神能解一下我的困惑呢？谢谢！
我的想法其实挺简单的，就是把MP4文件解析出来，然后通过RTP包发出去，然后VLC播放器接收进行播放。有一个很好的开源例子，NALUDecoder这个代码可以借鉴，所以RTP基本没问题了。这个例子用.h264文件时可以的，但是MP4文件不行。 我的想法其实挺简单的，就是把MP4