WebCodecs API 实战:用浏览器原生 VideoEncoder/VideoDecoder 做音视频编解码(帧处理与封装)

#WebCodecsAPI实战:用浏览器原生VideoEncoder/VideoDecoder做音视频编解码(帧处理与封装)去年年底,我接了个现在回想起来挺要命的需求:运营上传的商品短视频,要在浏览器本地先转一遍码,统一成1…

WebCodecs API 实战:用浏览器原生 VideoEncoder/VideoDecoder 做音视频编解码(帧处理与封装)

去年年底,我接了个现在回想起来挺要命的需求:运营上传的商品短视频,要在浏览器本地先转一遍码,统一成 1080p 再传到我们自己的存储,服务端只收成品,原片不在任何中间环节落盘。需求评审会上,产品同事特别随意地问了一句——既然 H.265 体积更小,能不能默认导出 H.265?我当时嘴比脑子快,回了一句"先看浏览器支不支持"。

回到工位我盯着屏幕愣了半分钟,才发现这句轻飘飘的话里藏着好几个我根本没想清楚的问题。编码端怎么知道这台机器上到底能用什么编码器?"支持"两个字究竟是什么意思,是能编出来,还是编得够快,还是编出来的东西能解开?就算我这边编得出 H.265,看商品详情页的用户那边能不能播?我原以为这是一行接口调用就能搞定的小事,结果踩了一整圈坑之后,整套方案变成了探测、回退、编完自检、播放端再检测、失败再兜底、浏览器升级后继续回归。中间有两次我差点想把需求推回服务端,最后还是咬牙把浏览器这条路线走通了。这篇文章我把心路和落地代码都摊开讲讲,权当给自己留个记录,也顺便治一治后来者的头疼。

一、先搞清楚 WebCodecs 到底管哪一段

我最早犯的错,就是把 WebCodecs 当成一个"万能视频处理库"。真去翻规范我才明白,它只负责编解码这一段:把原始帧压成码流,或者把码流解回原始帧。它不负责封装,也不负责解封装,更不是录制工具。你要的 mp4 文件长什么样、时间戳怎么组织、音轨怎么和画面对齐,这些它一概不管。想明白这件事,我反而松了一口气——职责边界清楚,就不用在错误的方向上白费劲。

它的数据管线其实非常对称,这也是这套接口设计得最舒服的地方。视频这一路,原始画面叫 VideoFrame,编码器是 VideoEncoder,压缩后的数据块叫 EncodedVideoChunk,解码器是 VideoDecoder;音频那一路完全对称,原始音频叫 AudioData,编码器是 AudioEncoder,压缩块叫 EncodedAudioChunk,解码器是 AudioDecoder。整条链路就是原始帧进编码器变成压缩块,压缩块进解码器又变回原始帧。

下面这段代码是我最初写的"能跑起来就行"的最小编码器,用 OffscreenCanvas 当帧的来源。它没有任何花哨的东西,却能帮你看清编码器从创建到收尾的完整生命周期,后面所有优化都是在这上面加料。

js
复制
// 最小可用视频编码器:从 canvas 逐帧编码,输出压缩后的视频块const encoder = new VideoEncoder({ // output 回调是异步吐出编码结果的唯一出口 output: (chunk, meta) => { // chunk 就是压缩数据,meta 里带着解码所需的 decoderConfig console.log('编码块类型:', chunk.type, '时间戳:', chunk.timestamp); // 真实项目里要在这里 copyTo 出来存好,不能直接持有 chunk }, error: (e) => console.error('编码翻车了:', e.message) // 编码出错必须自己接住});// 配置编码器:codec 字符串、分辨率、码率、帧率一个都不能少const config = { codec: 'avc1.640028', // H.264 High Profile Level 4.0 width: 1920, height: 1080, bitrate: 4_000_000, // 4 Mbps framerate: 30};encoder.configure(config); // 配置好才能真正开始编码// 借助离屏画布造一帧,注意 timestamp 用微秒const canvas = new OffscreenCanvas(config.width, config.height);const ctx = canvas.getContext('2d');ctx.fillStyle = '#409eff';ctx.fillRect(0, 0, config.width, config.height);const frame = new VideoFrame(canvas, { timestamp: 0, duration: 33333 });encoder.encode(frame, { keyFrame: true }); // 第一帧强制关键帧frame.close(); // 用完立刻释放,显存不等人await encoder.flush(); // 把队列里剩下的帧全部冲出去encoder.close(); // 主动关闭,否则会挡住别的编码器

编码器和解码器用完之后一定要主动关闭,这是我用内存曲线换来的教训。浏览器原生能力这几年开放得越来越猛,像Web Bluetooth API 实战:在浏览器里直连蓝牙设备(requestDevice 与 GATT 服务读写) 那样能直接摸到硬件的接口已经不再稀奇,但能力越强,资源回收的责任就越落在我们自己头上。WebCodecs 不会帮你收拾烂摊子。

如果你还想系统了解这套接口的设计动机,可以直接看MDN 上的 WebCodecs API 文档和W3C 的规范原文,比任何二手教程都准。至于浏览器支持面,caniuse 的 WebCodecs 页面能让你一眼看清哪些版本能用。

二、我踩得最惨的坑:返回支持不等于真的能用

最开始我们的判断逻辑简单到可笑:拿 HEVC 的配置问一次 VideoEncoder.isConfigSupported,返回 supported 为真就导出 H.265,否则退回 H.264。代码上线前的压测把我打醒了。同一份配置放到几个不同的浏览器构建上,有的返回支持但编码飞快,有的同样返回支持却慢得让人想砸键盘。

问题出在哪?接口回答的其实是"这个构建在这台机器上、按这份配置、此刻能不能建出一个编码器",它压根没承诺编码器够快,没承诺真的走了硬件,更没承诺编出来的码流能被解开、能被用户播出来。我拿一个"能不能建"的回答,去决定了"该不该默认导出"的业务决策,这是彻头彻尾的错位。更要命的是,版本号相同的两个构建,能力可能天差地别:完整版浏览器能编能解能播 HEVC,精简版连编码接口都直接返回不支持,而它们的主版本号一模一样。

还有一次更隐蔽。有个浏览器对硬件加速的三个提示——优先硬件、优先软件、不挑——全都返回支持。我一度以为它硬件能力最全,结果真编一段发现三个提示编出来的字节完全相同,耗时也落在一个区间。它返回支持只代表"能编",不代表"按你要的方式编"。自嘲一句,我当时还真在周报里写过"某浏览器硬件支持最完善",现在看脸有点疼。

还有个更让人哭笑不得的发现:有的浏览器编码端问 HEVC 一律返回不支持,但用标签直接播 H.265 文件却完全正常;反过来也成立,有的浏览器编码解码都支持,播放端却挑三拣四。这几套能力背后走的是不同的系统组件,编码走一套,解码走另一套,播放又是一套,彼此之间没有任何承诺关系。我把这件事讲给组里的同事听,他自己动手验证了一遍,回来只说了句"以后再也不敢信一行判断了"。

所以后来我们定下一条铁律:编码能力、解码能力、播放能力是三套彼此独立的东西,绝不能互相推断。想深入折磨这个问题的同学,可以顺手看看Web Crypto API 实战:用浏览器原生 SubtleCrypto 做加密、哈希与密钥管理(AES-GCM 与 RSA),那篇里对"原生接口给出的能力声明要如何验证"也有类似的较真思路。

三、codec 字符串必须写全,简写会被无情拒绝

第二个坑是 codec 字符串。我一开始很自然地写了 h264、h265 这种平时说话用的简称,结果接口连看都不看。WebCodecs 要的是带 profile 和 level 的完整字符串,写错一个字符就返回不支持,而且它不会告诉你哪里错了,只会冷冷地给你一个 false。

我们最后针对 1080p30 定下来的四个字符串是这样的:H.264 用 avc1.640028,代表 High Profile Level 4.0;VP9 用 vp09.00.40.08,代表 profile 0、level 4.0、8 位;AV1 用 av01.0.08M.08,代表 Main Profile、level 4.0、8 位;HEVC 用 hvc1.1.6.L120.B0,代表 Main Profile、Level 4、Main tier,刚好覆盖 1080p30。这里有个细节:分辨率、帧率一变,level 就得跟着调。导出 4K 时 level 不够,接口会直接判不支持;导出 720p 则可以适当降 level。

探测配置必须和真正编码的配置一字不差,否则探测通过、编码失败的场景会让你怀疑人生。另外 HEVC 有 hvc1 和 hev1 两种写法,前者把参数集放进 MP4 的样本描述,后者允许参数集留在码流里。我们编码端只用 hvc1,原因后面讲播放端的时候会说到。下面这段是我们最终落地的探测器,按容器排成两条有序的回退链。

js
复制
// 按容器排探测链:数组顺序就是回退顺序,从上往下问const ENCODER_PLAN = { mp4: [ { codec: 'hvc1.1.6.L120.B0', accel: 'prefer-hardware' }, // 先问 HEVC 硬件 { codec: 'avc1.640028', accel: 'prefer-hardware' }, // 再问 H.264 硬件 { codec: 'avc1.640028', accel: 'no-preference' } // 最后不挑兜底 ], webm: [ { codec: 'av01.0.08M.08', accel: 'prefer-hardware' }, // AV1 硬件优先 { codec: 'vp09.00.40.08', accel: 'no-preference' }, // VP9 主力兜底 { codec: 'av01.0.08M.08', accel: 'no-preference' } // AV1 兜底垫后 ]};// 生成一份完整配置, avc/hevc 字段让参数集写进 decoderConfig.descriptionfunction buildConfig(codec, accel) { const cfg = { codec, width: 1920, height: 1080, bitrate: 4_000_000, framerate: 30, hardwareAcceleration: accel }; if (codec.startsWith('avc1')) cfg.avc = { format: 'avc' }; // H.264 参数集 if (codec.startsWith('hvc1')) cfg.hevc = { format: 'hevc' }; // HEVC 参数集 return cfg;}// 逐格探测,返回第一个可用的编码器,同时记录每一格的回答方便回归async function probeEncoder(container) { const tried = []; for (const step of ENCODER_PLAN[container]) { try { const result = await VideoEncoder.isConfigSupported(buildConfig(step.codec, step.accel)); tried.push({ ...step, supported: result.supported }); if (result.supported) { return { pick: step, config: result.config, tried }; // 用浏览器回传的配置 } } catch (err) { tried.push({ ...step, error: err.name }); // 抛异常也记一笔,继续问下一格 } } return { pick: null, tried }; // 理论上走不到,真走到就该报警了}

四、硬解与软解:便宜的算力不是白给的

回退链排好之后,最值得说道的就是硬件加速那一栏。我们在一台机器上量过:HEVC 编码选优先硬件,三十帧 1080p 大概一百多毫秒;同样配置选优先软件,三十帧要六秒出头,最慢的一次接近七秒。文件体积确实更小,但运营一次上传三五十秒的视频就是上千帧,线性外推要等好几分钟,这在业务上完全不可接受。所以 MP4 链的第一格只问 HEVC 的硬件,软件 HEVC 根本不进探测链。

链尾则统一用不挑硬件的兜底策略。因为在某些关掉硬件视频编码的构建里,带硬件提示的 H.264 探测会全部失败,只有最后一格能救场。这里的思路很明确:不追求快,只求总能把文件导出来。我们跑完六个构建两条链一共十二组,没有一组落到空手而归的境地。

中途有人提过:没硬件 HEVC 时干脆加载 WebAssembly 版的 x265 继续导 H.265。我没自己编译,而是去看了一个线上工具的真实代价——编码核心要下载二十五兆字节,软编五十多秒,硬件只要八秒多,慢了六倍多,画质评分却几乎没差。对我们这种大多是 H.264 原片的场景,为了省一点体积让人多等几十秒还要先下个二十多兆的包,实在划不来。这条回退最终没接。

说到这里就不得不提老对手 ffmpeg.wasm。它把整套 ffmpeg 编解码器搬到浏览器里,好处是什么都能干,代价是体积大、多线程支持差、调用显卡的效果也不理想,渲染速度常常让人绝望。WebCodecs 直接复用浏览器内置的编解码器,能吃到硬件加速,执行效率高出一个量级,但代价是 API 偏底层、封装得自己来。这不是谁取代谁的问题:要极致的控制力和性能,选 WebCodecs;要一堆现成的滤镜和格式转换,ffmpeg.wasm 仍然有它的位置。类似的取舍在 PHP WeakRef 与 WeakMap 实战:用弱引用破解长驻进程的内存泄漏(缓存与监听器场景)里也能看到——工具没有绝对好坏,只有适不适合当前的场景。

五、帧处理才是真正的重头戏

编解码本身不难,难的是围绕帧的那一堆细节。我列几个当初把我坑得最狠的点,现在想起来还觉得好笑。

第一,VideoFrame 非常占显存,用完必须立刻 close。解码器的输出队列尤其讲究,它吐出来的每一帧你都要负责关掉,否则队列一堵,它就干脆停止输出了。我第一次写解码循环忘了关帧,画面卡在第三帧不动,控制台还没报错,排查了整整一个下午。

第二,编码器的 encodeQueueSize 要盯着。这是编码器内部还没处理的帧数量,如果它一直往上涨,说明编码器已经吃不消了,你还在一个劲地造新帧往里塞,内存迟早爆炸。正确做法是做个简单的背压:队列超过阈值就暂停生产,等它降下来再继续。千万别想着先把所有帧存成数组再批量编码,那是长时间录屏稳定性的分水岭,存满即崩。

第三,时间戳必须统一到微秒。画面帧、音频块、MP4 内部各自有不同的时钟源,不建立一个统一的录制时钟,最后音画不同步能让你怀疑人生。我的做法是以第一帧为基准,维护一个虚拟时钟,每编码一帧就加上固定的微秒增量,强制固定帧率,这样导出的文件时间轴非常干净,拖动进度条也不会对不上。下面这段把背压和时间戳两件事放在一起,是我后来重构过的核心循环。

js
复制
// 带背压和时间戳管理的编码循环const MICROS_PER_FRAME = Math.round(1_000_000 / 30); // 每帧固定 33333 微秒const HIGH_WATER_MARK = 8; // 队列水位线,超了就歇口气async function encodeFrames(encoder, sourceFrames) { let pts = 0; // 虚拟时钟,从零开始单调递增 for (const raw of sourceFrames) { // 背压:编码器积压太多就等它消化,避免内存一路飙升 while (encoder.encodeQueueSize > HIGH_WATER_MARK) { await new Promise(resolve => setTimeout(resolve, 8)); } // 用新帧包裹原帧,目的就是覆写 timestamp,统一到我们自己的时钟 const framed = new VideoFrame(raw, { timestamp: pts, duration: MICROS_PER_FRAME }); encoder.encode(framed, { keyFrame: shouldKeyFrame(pts) }); // 按间隔插关键帧 framed.close(); // 及时释放,切勿攒着 pts += MICROS_PER_FRAME; // 时钟推进,保持固定帧率 }}// 解码循环同理:输出帧用完即关,否则解码器会停止吐帧const decoder = new VideoDecoder({ output: (frame) => { drawToCanvas(frame); // 先画到画布上做帧处理 frame.close(); // 画完立刻关,这是血泪教训 }, error: (e) => console.error('解码出错:', e)});

帧处理这套玩法做到后面,会越来越像在写一条流水线:每一帧进来,先缩放、加水印、调色,再送入编码器。想对这套"逐帧接管"的思路建立整体印象,也可以对照CSS 滚动驱动动画实战:用 animation-timeline 让动画跟随滚动进度(scroll() 与 view())里那种把动画节奏交给底层机制掌控的思路——时机控制得好,画面才顺滑。

六、编完自己解一遍,才算真的能用

被 isConfigSupported 骗过一次之后,我给压测清单加了一条近乎偏执的规则:选中的编码器必须真编一段,再用 VideoDecoder 解回来,帧数对得上才算过关。这一步看着多余,实际上是我们整个方案里最值钱的保险。

做法是这样的:先真编六十帧,把每个 EncodedVideoChunk 用 copyTo 拷进自己的缓冲区,同时把编码器 output 回调里第一次附带的 decoderConfig 存下来。这里面的 description 就是 H.264 的 avcC 或 HEVC 的 hvcC,封装 mp4 时要直接写进样本描述。然后用这份 decoderConfig 再问一次解码器的 isConfigSupported,通过就配置 VideoDecoder,把所有压缩块重新包成 EncodedVideoChunk 送进去解码,数一数解回来多少帧。

js
复制
// 编码再解码的往返自检:只有帧数对得上才算通过async function roundTrip(cfg, frameCount = 60) { const chunks = []; let decoderConfig = null; const encoder = new VideoEncoder({ output: (chunk, meta) => { const data = new Uint8Array(chunk.byteLength); chunk.copyTo(data); // 必须拷贝,不能持有瞬时对象 chunks.push({ type: chunk.type, timestamp: chunk.timestamp, duration: chunk.duration, data }); if (meta?.decoderConfig && !decoderConfig) { decoderConfig = meta.decoderConfig; // 只取第一次的解码配置 } }, error: (e) => console.error('编码阶段出错:', e.name) }); encoder.configure(cfg); const canvas = new OffscreenCanvas(cfg.width, cfg.height); const ctx = canvas.getContext('2d'); for (let i = 0; i < frameCount; i++) { drawTestFrame(ctx, i); // 画测试画面 const vf = new VideoFrame(canvas, { timestamp: i * 33333, duration: 33333 }); encoder.encode(vf, { keyFrame: i === 0 }); // 首帧关键帧 vf.close(); } await encoder.flush(); encoder.close(); // 用编码器给出的解码配置做往返验证 let decoded = 0; const check = await VideoDecoder.isConfigSupported(decoderConfig); if (check.supported) { const decoder = new VideoDecoder({ output: (frame) => { decoded++; frame.close(); }, // 解一帧关一帧 error: (e) => console.error('解码阶段出错:', e.name) }); decoder.configure(decoderConfig); for (const c of chunks) decoder.decode(new EncodedVideoChunk(c)); await decoder.flush(); decoder.close(); } return { encoded: chunks.length, decoded, passed: chunks.length === frameCount && decoded === frameCount };}

我们十二组跑下来全部是编六十、解六十,没有一个报错。这份基线后来成了回归的定海神针:每次浏览器升级,把这张表重跑一遍,选中第几格、解回几帧、选了哪个源、有没有画面,四列一对比就知道有没有退化。至于字节数和耗时这类连续量,波动太大,只记录不判定。

七、封装 mp4:WebCodecs 不管的那一段

这是很多人的认知盲区,也是我一开始卡住的地方:编码器吐出来的 EncodedVideoChunk 只是一堆裸的压缩数据,几乎没有播放器能直接播。你必须把它们按 mp4 的格式规范装进容器,组合出 ftyp、moov、mdat 这些 box,写清楚轨道信息和样本时间戳,播放器才认。WebCodecs 明确说自己不负责封装,这一段要么自己手写 muxer,要么用现成的库。

手写 mp4 muxer 要处理字节序、box 嵌套、轨道类型、样本时间偏移等一大堆细节,工程量接近一个中型开源项目。除非你就是想研究格式本身,否则现实的做法是用成熟库。我们选了 mp4-muxer,它体积小巧、逻辑直接,专门接 WebCodecs 输出的压缩块;mp4box.js 也是同类里很靠谱的选择,能帮你在浏览器里解析和封装 mp4。

下面这段用 mp4-muxer 演示如何把编码块装进 mp4。注意 fastStart 这个参数:开了之后元数据会放到文件开头,播放器不用下载完整文件就能起播。

js
复制
// 用 mp4-muxer 把 WebCodecs 的编码块封装成可播放的 mp4import { Muxer, ArrayBufferTarget } from 'mp4-muxer';const muxer = new Muxer({ target: new ArrayBufferTarget(), video: { codec: 'avc', // H.264 对应 avc width: 1920, height: 1080 }, fastStart: 'in-memory' // 元数据前置,边下边播});// 编码器 output 回调里,每出来一个块就 addVideoChunkfunction onEncodedChunk(chunk, meta) { muxer.addVideoChunk(chunk, { keyFrame: chunk.type === 'key', // decoderConfig 里的 description 要传给封装器写进样本描述 decoderConfig: meta.decoderConfig });}// 全部编码结束后收尾,拿到完整的二进制数据function finalize() { muxer.finalize(); const buffer = muxer.target.buffer; const blob = new Blob([buffer], { type: 'video/mp4' }); const url = URL.createObjectURL(blob); // 生成下载地址触发下载 return url;}

音频那一路也是对称的:从 AudioContext 拿到一小块 PCM,包成 AudioData 喂给 AudioEncoder,压缩块交给封装器的 addAudioChunk。要提醒一句,MP4 里装 H.264 加 AAC 是兼容性最稳的组合,剪辑工具、播放器、聊天软件基本都认。VP9 虽然浏览器支持也不错,但 mp4 装纯 VP9 的兼容性依然不如 H.264,最终文件常常要发给别人,对方手机上能不能放才是第一位的。

很多人会拿 MediaRecorder 来对比,这里也顺带说说我的看法。MediaRecorder 用起来确实省事,一行 start 就能录,浏览器把编码和封装全包了,你几乎不用操心。但它的代价是黑盒:输出格式基本固定, WebM 居多,编码速度、输出缓冲、关键帧间隔这些参数你一点都控制不了,想要逐帧加滤镜更是想都别想。我们这个需求要在本地统一转码并精确控制时间戳,MediaRecorder 根本满足不了。WebCodecs 正好补上这块空白,把每一帧都摆到你面前,代价就是前面说的那些脏活全得自己写。工具选型这件事,本质上就是在省心和控制力之间做交易,看清自己的需求站在哪一边,答案自然就出来了。

八、播放端:导出得出去,还得播得出来

最后一块拼图在播放端。导出了 H.265 却没人能播,等于白忙。我们的底线是:播不了的用户必须自动拿到一份 H.264。

这里有个特别阴的坑。如果 video 标签里的 source 只写 type 为 video/mp4,浏览器只知道这是 mp4 容器,不知道里面装的是什么编码。有个精简版构建能播 mp4,于是认下了 H.265 那个源,时间轴也在走,进度条在动,就是画面全黑,而且不抛任何错误。排查时我差点以为是编码坏了,最后才发现是 type 没写 codecs。把 type 改成带 codecs 参数的写法之后,它自己就跳过 H.265 选了 H.264。

正确的做法是给每个 source 写全 codecs:H.265 用 video/mp4; codecs="hvc1.1.6.L120.B0",H.264 用 video/mp4; codecs="avc1.640028"。注意 codecs 字符串必须和文件里的真实编码一致,写错比不写更糟。我们的成品是自己编码的,codec 字符串直接从 decoderConfig.codec 拿到存进数据库即可。

即便如此,检测接口仍可能说错话。我们的做法是要求 canPlayType 和 MediaSource.isTypeSupported 两个接口都通过,才把 H.265 排进候选;任何一个说不行,就老老实实用 H.264。检测是"事先问",还会错,所以又加了一道"事后看":源加载后等第一帧真正渲染出来,用 requestVideoFrameCallback 监听,超过一千二百毫秒还没画面就换下一个源。这一千二百毫秒是我拍脑袋定的,失败时用户会多等一秒多,门槛太短又会把慢机器误判成不支持,后续只能靠监控数据慢慢调。

js
复制
// 播放端:双接口检测 + 等第一帧兜底const HEVC_TYPE = 'video/mp4; codecs="hvc1.1.6.L120.B0"';// 两个接口都通过才认为 H.265 能播function hevcPlayable() { const probe = document.createElement('video'); const canPlay = probe.canPlayType(HEVC_TYPE); const mse = window.MediaSource ? MediaSource.isTypeSupported(HEVC_TYPE) : false; return canPlay !== '' && mse;}// 等第一帧真正渲染,超时则用 videoWidth 兜底判断function waitFirstFrame(video, timeout) { return new Promise(resolve => { let done = false; const timer = setTimeout(() => { if (!done) { done = true; resolve(video.videoWidth > 0); } }, timeout); if ('requestVideoFrameCallback' in video) { video.requestVideoFrameCallback(() => { if (!done) { done = true; clearTimeout(timer); resolve(true); } }); } });}// 依次尝试候选源,哪个真出画面就用哪个async function playWithFallback(video, sources) { for (const src of sources) { video.src = src; video.load(); const loaded = await new Promise(ok => { const timer = setTimeout(() => ok(false), 8000); // 加载超时 video.addEventListener('loadeddata', () => { clearTimeout(timer); ok(true); }, { once: true }); video.addEventListener('error', () => { clearTimeout(timer); ok(false); }, { once: true }); }); if (!loaded) continue; // 这个源加载失败,换下一个 try { await video.play(); } catch (e) {} // 自动播放可能被拦,忽略 if (await waitFirstFrame(video, 1200)) break; // 出画面了才停 }}

九、写在最后

这一整套做下来,最大的收获不是写了多少代码,而是改掉了一个思维习惯:不要把"接口说支持"当成"业务上可用"。WebCodecs 把编解码能力直接交到我们手里,代价是所有脏活——探测、回退、帧释放、背压、时间戳、封装、播放兜底——都得自己扛。它更像一辆手动挡车,换来了对整条视频管线的完全掌控,也换来了满手的油泥。

现在那个需求已经上线跑了一段时间,H.265 默认导出,同时默默存了一份 H.264 兜底,存储成本涨了些,但传输体积降下来了,页面也没再出现过黑屏投诉。如果再看一遍我当初那句"先看浏览器支不支持",只能说:年轻,太年轻。希望这篇踩坑记录能帮你少走点弯路——尤其是别忘了给每一帧 close,真的,别问我怎么知道的。

标签:javascript, 前端, 开发语言描述:以第一人称踩坑视角讲透浏览器原生 WebCodecs 编解码实战:VideoEncoder/VideoDecoder 的探测与回退、codec 字符串配置、帧处理与显存释放、编码往返自检、mp4 封装,以及与 ffmpeg.wasm、MediaRecorder 的取舍和播放端兜底方案。

xhgmjhxz8kxhgmjhxz8k
评论

评论列表共有0条评论

发表评论发布评论后审核成功,即可显示在列表中...

文章4
粉丝0
获赞0
私信