WPF下YUV播放的D3D解决方案
在视频媒体播放,监控系统的构建当中,经常会涉及到YUV数据的显示问题。一般的播放控件以及SDK都是通过使用Window句柄,利用DirectDraw直接在窗口上渲染。但是,如果用户界面是使用WPF开发的时候,通常只能通过WinFormHost在WPF界面中嵌入WinForm来完成。但这么做会遇到AeroSpace的问题,即winform的控件永远浮在WPF的最上层,任何WPF元素都会被盖住,同时缩放和拖动的时候都会造成很差的用户体验。原因是由于WPF和Winform使用了不同的渲染技术。
要在WPF中完美的支持YUV数据的显示,通常的解决方式是使用先把YUV数据转换成WPF可以支持的RGB数据,然后利用类似于WriteableBitmap的控件,把他展现在WPF上。这么做的主要问题是在做RGB转换的时候,需要消耗大量的CPU, 效率比较低。一种优化方式是使用FFMPEG里的SwScale或者Intel的IPP库,这些库经过了一定的优化,可以有限度的使用硬件加速。下面为一个使用WritableBitmap的例子。
WriteableBitmap imageSource = new WriteableBitmap(videoWidth, videoHeight, DPI_X, DPI_Y, System.Windows.Media.PixelFormats.Bgr32, null); ... int rgbSize = width * height * 4; // bgr32 IntPtr rgbPtr = Marshal.AllocHGlobal(rgbSize); YV12ToRgb(yv12Ptr, rgbPtr, width, height); // 更新图像 imageSource.Lock(); Interop.Memcpy(this.imageSource.BackBuffer, rgbPtr, rgbSize); imageSource.AddDirtyRect(this.imageSourceRect); imageSource.Unlock(); Marshal.FreeHGlobal(rgbPtr);
另一种解决方法是使用D3DImage作为WPF与显卡的桥梁。我们可以借助D3DImage,直接将D3D渲染过后的部分送到WPF中显示。一个参考就是VMR9在WPF中的应用。VMR9是微软提供的DirectShow的Render。经过仔细参考了WpfMediaTookit中VMR9相关的代码后,其核心的思想就是在初始化DirectShow构建VMR9渲染器时,让其输出一个D3D9Surface,D3DImage将使用该Surface作为BackBuffer。当有新的视频帧在该Surface渲染完成后,VMR9将发送一个事件通知。收到通知后,D3DImage刷新一下BackBuffer即可。下面代码展现了核心思想部分。
private VideoMixingRenderer9 CreateRenderer() { var result = new VideoMixingRenderer9(); var cfg = result as IVMRFilterConfig9; cfg.SetNumberOfStreams(1); cfg.SetRenderingMode(VMR9Mode.Renderless); var notify = result as IVMRSurfaceAllocatorNotify9; var allocator = new Vmr9Allocator(); notify.AdviseSurfaceAllocator(m_userId, allocator); allocator.AdviseNotify(notify); // 在构建VMR9 Render时,注册新视频帧渲染完成事件 allocator.NewAllocatorFrame += new Action(allocator_NewAllocatorFrame); // 注册接收新D3DSurface被创建的事件 allocator.NewAllocatorSurface += new NewAllocatorSurfaceDelegate(allocator_NewAllocatorSurface); return result; } void allocator_NewAllocatorSurface(object sender, IntPtr pSurface) { // 为了方便理解,只保留核心部分。省略改写了其他部分 ... // 将pSurface设置为D3DImage的BackBuffer this.m_d3dImage.Lock(); this.m_d3dImage.SetBackBuffer(D3DResourceType.IDirect3DSurface9, pSurface); this.m_d3dImage.Unlock(); ... } void allocator_NewAllocatorFrame() { ... // 重绘 this.m_d3dImage.Lock(); this.m_d3dImage.AddDirtyRect(new Int32Rect(0, /* Left */ 0, /* Top */ this.m_d3dImage.PixelWidth, /* Width */ this.m_d3dImage.PixelHeight /* Height */)); this.m_d3dImage.Unlock(); ... }
由此,只要是使用DirectShow的视频播放就可以借助VMR9在WPF上完美显示。但很多时候,DirectShow不能解决所有问题。例如在做交互式视频优化处理或是视频叠加的时候, 采用固定滤镜流水线的DirectShow很难满足要求。有的时候还是需要便捷的直接渲染的方式。
由VMR9的例子我们可以看出,产生出一个D3D9Surface并在上面渲染是其中的关键。那么剩下的问题就是如何把YUV数据渲染到D3D9Surface。
D3D没有直接支持YUV图像格式。因此需要我们想办法让D3D能够渲染YUV数据。在用C#改写的过程当中,我突然发现D3D已经提供了更简单的方法帮助我们实现YUV到RGB颜色空间的转换,而且是通过显卡硬件直接支持。效率相当的高。主要原理就是借助D3DDevice的StrentchRectangle方法。
public void StretchRectangle( Surface sourceSurface, Rectangle sourceRectangle, Surface destSurface, Rectangle destRectangle, TextureFilter filter );
StrentchRectangle方法的主要功能是将一个Surface上的某个区域的内容拷贝到另一个Surface的指定区域中。在Copy的过程当中,只要是显卡直接支持的格式,如YV12,YUY2等等, 都会自动的进行D3D PixelFormat的转换!因此,我们只需要创建一个指定好PixelFormat的D3D OffscreenPlainSurface, 把原始数据填充进去,调用StrentchRectangle向目标Surface拷贝,我们就得到了想要的Surface。剩下的事情就交给D3DImage了。下面是例子代码的核心部分
public void Render(IntPtr imgBuffer) { lock (this.renderLock) { // 将图像数据填充进offscreen surface this.FillBuffer(imgBuffer); // 调用StrentchRectangle把原始图像数据Copy到TextureSurface中 this.StretchSurface(); // 执行渲染操作 this.CreateScene(); } // 通知D3DImage刷新图像 this.InvalidateImage(); }
以上所述是小编给大家介绍的WPF下YUV播放的D3D解决方案,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对猪先飞网站的支持!
相关文章
c# WPF中通过双击编辑DataGrid中Cell的示例(附源码)
这篇文章主要介绍了c# WPF中通过双击编辑DataGrid中Cell的示例(附源码),帮助大家更好的理解和学习使用c#,感兴趣的朋友可以了解下...2021-03-03- 最近在网上看到了新版的360安全卫士,感觉界面还不错,于是用WPF制作了一个,时间有限,一些具体的控件没有制作,用图片代替了。感兴趣的朋友一起跟着小编学习WPF实现类似360安全卫士界面的程序源码分享...2020-06-25
- 这篇文章主要为大家详细介绍了WPF仿三星手机充电界面实现代码,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 这篇文章主要介绍了C# WPF 通过委托实现多窗口间的传值的方法,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2020-06-25
- 这篇文章主要介绍了C#中WPF使用多线程调用窗体组件的方法,涉及C#中多线程的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下...2020-06-25
- 这篇文章主要为大家详细介绍了WPF TextBox实现按字节长度限制输入功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 这篇文章主要为大家详细介绍了WPF InkCanvas绘制矩形和椭圆,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 这篇文章主要给大家介绍了关于WPF基础教程之形状画刷与变换的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-06-25
- 这篇文章主要给大家介绍了关于WPF如何自定义TabControl控件样式的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。...2020-06-25
- 下面小编就为大家分享一篇WPF水珠效果按钮组的实现教程,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-09-22
- 本篇文章是对WPF实现音频文件循环顺序播放的方法进行了详细的分析介绍,需要的朋友参考下...2021-09-22
- 这篇文章主要为大家详细介绍了WPF实现转圈进度条效果,如何设计自定义的绕圈进度条,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-09-22
- 如果注册快捷键,RegisterHotKey中的fsModifiers参数为0,即None选项,一些安全软件会警报,可能因为这样就可以全局监听键盘而造成安全问题,感兴趣的你可以参考下本文...2020-06-25
- 这篇文章主要为大家详细介绍了WPF中自定义GridLengthAnimation的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-09-22
- 这篇文章主要介绍了WPF/Silverlight实现图片局部放大的方法,结合实例形式分析了WPF/Silverlight针对图片属性操作相关实现技巧,需要的朋友可以参考下...2020-06-25
- 这篇文章主要为大家详细介绍了WPF MVVM发送短信小按钮的制作方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-06-25
- 这篇文章主要给大家介绍了关于WPF中窗体最大化问题的解决方法,文中通过示例代码介绍的非常详细,对大家学习或者使用wpf具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-06-25
- 这篇文章主要介绍了C# WPF 父控件通过使用可视化树找到子控件的示例代码,需要的朋友可以参考下...2020-06-25
- 贝塞尔曲线,又称贝兹曲线或贝济埃曲线,一般的矢量图形软件通过它来精确画出曲线,下面这篇文章主要给大家介绍了关于WPF如何绘制光滑连续贝塞尔曲线的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下。...2020-06-25
- 这篇文章主要介绍了WPF的ListView控件自定义布局的方法,结合实例形式分析了WPF中ListView控件的布局方法,需要的朋友可以参考下...2020-06-25