Avplayer

发现很多人对视频格式存在一些误解，之前写的一篇文章讲AVPlayer的支持格式也有一些问题，所以这里单独出一篇文章讲一下，希望大家能明白。基本概念 一个在线视频能够播放，大致是经过了如下步骤：可以总结为：拉数据->解协议->解封装->音视频解码->音视频同步->播放。 下面就针对这几个概念一一做下解释： 播放协议 一般点播采用HTTP，而直播的话，大部分还是采用RTMP或者私有协议，原因是延时会比较小，RTMP本身也是为了直播设计的。常见的流媒体协议：简写 全称 推出机构 目前使用领域HLS HTTP Live Streaming 苹果 多应用于苹果RTP 实时传输协议 IETF 范围较广RTCP 实时传输控制协议 IETF 范围较广RTSP 实时串流协议 RealNetworks等 范围较广RTMP 实时消息协议 Adobe 较流行MMS 串流媒体协议 Microsoft 范围较广RTP/RTSP/RTCP的区别RTSP发起/终结流媒体、RTP传输流媒体数据 、RTCP对RTP进行控制，同步。HLS(Http Live Streaming) HLS是苹果推出，实现的基于HTTP的流媒体传输协议: 优点： 1、通过m3u8索引文件可实现针对当前浏览设备的智能选择播放源， 2、通过m3u8索引文件可实现添加备份索引文件，防止服务器崩溃视频播放失败 3、和http视频一样 不需要太多服务器额外配置 缺点： 1、并非真正实时视频，30s左右时间差 2、需要视频处理 3、因为需要请求索引文件（ts视频文件）请求次数相对较多，对服务器负载较大 视频编码 所谓视频编码方式就是指通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式文件的方式。它是一种为了减少视频体积，同时保证画面质量的压缩技术，常见的视频编码有：名称 推出机构 推出时间 目前使用领域HEVC(H.265) MPEG/ITU-T 2013 研发中H.264 MPEG/ITU-T 2003 各个领域MPEG4 MPEG 2001 不温不火MPEG2 MPEG 1994 数字电视XviD OpenDivX 2002 流行VP9 Google 2013 研发中VP8 Google 2008 不普及VC-1 Microsoft Inc. 2006 微软H.264H.264又叫AVC，是国际标准化组织（ISO）和国际电信联盟（ITU）共同提出的继MPEG4之后的新一代数字视频压缩格式，它集合了H.263和MPEG4的优点，拥有更高的数据压缩比。在同等的图像质量条件下，H.264的数据压缩比能比H.263高2倍，比MPEG-4高1.5倍。 也是目前苹果支持最好的编码格式。 音频编码 和视频编码类似，音频编码的作用是减少音频中的冗余，同时在保证一定音频质量的条件下作的压缩处理。名称 推出机构 推出时间 目前使用领域AAC MPEG 1997 流媒体AC-3 Dolby Inc. 1992 DVD, 数字电视MP3 MPEG 1993 各个领域（旧）WMA Microsoft Inc. 1999 WindowsAACAAC（高级音频编码技术 Advanced Audio Coding)，出现于1997年，是基于MPEG-2的音频编码技术。由Fraunhofer IIS、杜比、苹果、AT&T、索尼等公司共同开发，以取代mp3格式。2000年，MPEG-4标准出台，AAC从新整合了其特性，故现又称MPEG-4 AAC，即m4a。苹果的CoreAudio对AAC有较好的支持。封装格式 我们常见的视频格式MP4, AVI, RMVB, 3GP, MKV都是指视频的封装格式,大部分情况就是视频文件的后缀。常见的组合方式有：名称 简介 常用编码格式 扩展名Flash Video 由Adobe Flash延伸出来的的一种流行网络视频封装格式。随着视频网站的丰富，这个格式已经非常普及。 H.264+MP3 flvAVI（Audio Video Interleave） 比较早的AVI是微软开发的。其含义是Audio Video Interactive，就是把视频和音频编码混合在一起存储。AVI也是最长寿的格式，已经存在10余年了，虽然发布过改版（V2.0于1996年发布），但已显老态。AVI格式上限制比较多，只能有一个视频轨道和一个音频轨道（现在有非标准插件可加入最多两个音频轨道），还可以有一些附加轨道，如文字等。AVI格式不提供任何控制功能。 Xvid+MP3 aviWMV（Windows Media Video） 同样是微软开发的一组数字视频编解码格式的通称，ASF（Advanced Systems Format）是其封装格式。ASF封装的WMV档具有“数字版权保护”功能。 VC-1+WMA wmv/asfMPEG（Moving Picture Experts Group） 是一个国际标准化组织（ISO）认可的媒体封装形式，受到大部分机器的支持。其存储方式多样，可以适应不同的应用环境。MPEG-4档的档容器格式在Part 1（mux）、14（asp）、15（avc）等中规定。MPEG的控制功能丰富，可以有多个视频（即角度）、音轨、字幕（位图字幕）等等。MPEG的一个简化版本3GP还广泛的用于准3G手机上。 H.264+AAC,H263+AAC dat(VCD),vob(DVD), mp4, 3gpMatroska 是一种新的多媒体封装格式，这个封装格式可把多种不同编码的视频及16条或以上不同格式的音频和语言不同的字幕封装到一个Matroska Media档内。它也是其中一种开放源代码的多媒体封装格式。Matroska同时还可以提供非常好的交互功能，而且比MPEG更方便、强大。 各种编码格式的组合 mkvReal Video Real Media（RM） 是由RealNetworks开发的一种档容器。它通常只能容纳Real Video和Real Audio编码的媒体。该档带有一定的交互功能，允许编写脚本以控制播放。RM，尤其是可变比特率的RMVB格式，没有复杂的Profile/Level，制作起来较H.264视频格式简单，非常受到网络上传者的欢迎。此外很多人仍有RMVB体积小高质量的错误认知，这个不太正确的观念也导致很多人倾向使用rmvb，事实上在相同码率下，rmvb编码和H.264这个高度压缩的视频编码相比，体积会较大。 RealVideo+RealAudio rm/rmvbQuickTime File Format 是由苹果公司开发的容器。1998年2月11日，国际标准化组织（ISO）认可QuickTime文件格式作为MPEG-4标准的基础。QuickTime可存储的内容相当丰富，除了视频、音频以外还可支持图片、文字（文本字幕）等。 H.264+AAC mov, qtMP4 mp4格式是H.264编码指定使用的标准封装格式，3GP是MP4格式的一种简化版本，减少了储存空间和较低的频宽需求，让手机上有限的储存空间可以使用。 实际上这些封装格式对应的音频视频编码格式也不是固定的，就拿MP4来说，常见的MP4是由H.264+AAC封装，但是也由Xvid+AAC编码的可能。如果解码器不支持Xvid，则可能会出现无法播放，或者播放播放过程有声音无画面的情况。 苹果支持哪些音视频编码格式 我们可以在手机介绍界面，找到手机支持的视频格式iPhone - Compare Models - Apple 这里我们可以找到对应iPhone7支持的视频编码格式：Video formats supported: HEVC, H.264, MPEG-4 Part 2, and Motion JPEGHEVC 又叫H.265，iOS11+A9芯片才开始对HEVC的支持，iPhone6s及以前的设备不支持HEVC解码。 音频格式用红框标出来了，内容较多，可自行对比。 AVPlayer支持哪些视频格式 苹果设备支持音视频格式并不是就代表AVPlayer也支持那么多格式，确定AVPlayer的支持格式，我们可以查看AVKit中的一个API: //展示当前支持的音视频格式 let asset = AVURLAsset.audiovisualTypes() //打印asset可以得到（已经转过展示格式） asset type ( "audio/aacp", "video/3gpp2", "audio/mpeg3", "audio/mp3", "audio/x-caf", "audio/mpeg", "video/quicktime", "audio/x-mpeg3", "video/mp4", "audio/wav", "video/avi", "audio/scpls", "audio/mp4", "audio/x-mpg", "video/x-m4v", "audio/x-wav", "audio/x-aiff", "application/vnd.apple.mpegurl", "video/3gpp", "text/vtt", "audio/x-mpeg", "audio/wave", "audio/x-m4r", "audio/x-mp3", "audio/AMR", "audio/aiff", "audio/3gpp2", "audio/aac", "audio/mpg", "audio/mpegurl", "audio/x-m4b", "application/mp4", "audio/x-m4p", "audio/x-scpls", "audio/x-mpegurl", "audio/x-aac", "audio/3gpp", "audio/basic", "audio/x-m4a", "application/x-mpegurl" )还有一个方式用来判断当前格式是否可播： //An extended MIME type string such as video/3gpp2; codecs="mp4v.20.9, mp4a.E1" or audio/aac; codecs="mp4a.E1". let playable: Bool = AVURLAsset.isPlayableExtendedMIMEType("video/3gpp2; codecs=\"mp4v.20.9, mp4a.E1\"")这里的MIMEType可以在这里找到 System-Declared Uniform Type Identifiers 总结 由此我们可以下一个总结，AVPlayer支持的： 视频编码格式：H.264、HEVC(iPhone7及以后设备)、MPEG-4。 视频格式（封装格式）：.mp4、.mov、.m4v、.3gp、.avi等。 如果想支持更多的视频格式，可以使用使用第三方的框架，常用的视频编码和解码框架有VLC和ffmpeg。 参考文献 视频文件格式 - 维基百科，自由的百科全书 音频编码格式的比较 - 维基百科，自由的百科全书

最近工作内容基本都是围绕视频播放展开的，从AVPlayer到IJKPlayer，期间遇到挺多问题，趟了很多bug，也总结了一些心得。对AVPlayer了解的更多一些，因为涉及点比较多，所以打算做一个系列详尽的写一下这部分内容。希望大家多多支持，有问题的地方欢迎指正。思维导图 先来一张思维导图，作为这篇文章的目录索引：为什么使用AVPlayer： 首先在iOS平台使用播放视频，可用的选项一般有这四个，他们各自的作用和功能如下：使用环境 优点 缺点MPMoviePlayerController MediaPlayer 简单易用 不可定制AVPlayerViewController AVKit 简单易用 不可定制AVPlayer AVFoundation 可定制度高，功能强大 不支持流媒体IJKPlayer IJKMediaFramework 定制度高，支持流媒体播放 使用稍复杂由此可以看出，如果我们不做直播功能AVPlayer就是一个最优的选择。 另外AVPlayer是一个可以播放任何格式的全功能影音播放器 支持视频格式： WMV，AVI，MKV，RMVB，RM，XVID，MP4，3GP，MPG等。 支持音频格式：MP3，WMA，RM，ACC，OGG，APE，FLAC，FLV等。 支持视频格式： MP4，MOV，M4V，3GP，AVI等。 支持音频格式：MP3，AAC，WAV，AMR，M4A等。 详见AVPlayer支持的视频格式 ##如何使用 AVPlayer存在于AVFoundation框架，我们使用时需要导入： #import <AVFoundation/AVFoundation.h> 几个播放相关的参数 在创建一个播放器之前我们需要先了解一些播放器相关的类AVPlayer：控制播放器的播放，暂停，播放速度 AVURLAsset : AVAsset 的一个子类，使用 URL 进行实例化，实例化对象包换 URL 对应视频资源的所有信息。 AVPlayerItem：管理资源对象，提供播放数据源 AVPlayerLayer：负责显示视频，如果没有添加该类，只有声音没有画面我们这片文章就围绕这几个参数展开，光说这些你可能还有点不明白，那我们就围绕一个最简单的播放器做起，一点点扩展功能，在具体讲解这几个参数的作用。 最简单的播放器 根据上面描述，我们知道AVPlayer是播放的必要条件，所以我们可以构建的极简播放器就是： NSURL *playUrl = [NSURL URLWithString:@"http://baobab.wdjcdn.com/14573563182394.mp4"]; self.player = [[AVPlayer alloc] initWithURL:playUrl]; [self.player play];是不是很简单，只有三行代码！ 但是它太简单了，仅可以完成音频的播放，连画面都没有。回看上面播放相关类的介绍，是因为缺少AVPlayerLayer；作为一个播放器，我不能只播放一条视频啊，我还想根据需要切换视频，那我们就得把AVPlayerItem也加上。 加上这两个属性之后的播放器是这样的： NSURL *playUrl = [NSURL URLWithString:@"http://baobab.wdjcdn.com/14573563182394.mp4"]; self.playerItem = [AVPlayerItem playerItemWithURL:playUrl]; //如果要切换视频需要调AVPlayer的replaceCurrentItemWithPlayerItem:方法 self.player = [AVPlayer playerWithPlayerItem:_playerItem]; self.playerLayer = [AVPlayerLayer playerLayerWithPlayer:self.player]; self.playerLayer.frame = _videoView.bounds; //放置播放器的视图 [self.videoView.layer addSublayer:self.playerLayer]; [_player play];现在的播放器稍微完整了一些，我们在自己创建的容器里可以看到画面了！ 更多功能 但是它作为一个视频播放器，还是有很多不能让人满意的地方。例如：没有暂停、快进快退、倍速播放等，另外如果遇到url错误是不是还要有播放失败的提示，还有播放完成的相关提示。 为完成这些，我们需要对AVPlayerItem和AVPlayerLayer进一步了解一下。 一、AVPlayer的控制 前面讲过该类是控制视频播放行为的，他的使用比较简单。 播放视频： [self.player play];暂停视频： [self.player pause];更改速度： self.player.rate = 1.5;//注意更改播放速度要在视频开始播放之后才会生效还有一下其他的控制，我们可以调转到系统API进行查看 二、AVPlayerItem的控制 AVPlayerItem作为资源管理对象，它控制着视频从创建到销毁的诸多状态。 1、播放状态 status typedef NS_ENUM(NSInteger, AVPlayerItemStatus) { AVPlayerItemStatusUnknown,//未知 AVPlayerItemStatusReadyToPlay,//准备播放 AVPlayerItemStatusFailed//播放失败 };我们使用KVO监测playItem.status，可以获取播放状态的变化 [self.playerItem addObserver:self forKeyPath:@"status" options:NSKeyValueObservingOptionNew context:nil];在监听回调中： - (void)observeValueForKeyPath:(NSString *)keyPath ofObject:(id)object change:(NSDictionary<NSKeyValueChangeKey,id> *)change context:(void *)context{ if ([object isKindOfClass:[AVPlayerItem class]]) { if ([keyPath isEqualToString:@"status"]) { switch (_playerItem.status) { case AVPlayerItemStatusReadyToPlay: //推荐将视频播放放在这里 [self play]; break; case AVPlayerItemStatusUnknown: NSLog(@"AVPlayerItemStatusUnknown"); break; case AVPlayerItemStatusFailed: NSLog(@"AVPlayerItemStatusFailed") break; default: break; } } } }虽然设置完播放配置我们可以直接调用[self.player play];进行播放，但是更稳妥的方法是在回调收到AVPlayerItemStatusReadyToPlay时进行播放 2、视频的时间信息 在AVPlayer中时间的表示有一个专门的结构体CMTime typedef struct{ CMTimeValue value; // 帧数 CMTimeScale timescale; // 帧率（影片每秒有几帧） CMTimeFlags flags; CMTimeEpoch epoch; } CMTime;CMTime是以分数的形式表示时间，value表示分子，timescale表示分母，flags是位掩码，表示时间的指定状态。 获取当前播放时间，可以用value/timescale的方式： float currentTime = self.playItem.currentTime.value/item.currentTime.timescale;还有一种利用系统提供的方法，我们用它获取视频总时间： float totalTime = CMTimeGetSeconds(item.duration);如果我们想要添加一个计时的标签不断更新当前的播放进度，有一个系统的方法： - (id)addPeriodicTimeObserverForInterval:(CMTime)interval queue:(nullable dispatch_queue_t)queue usingBlock:(void (^)(CMTime time))block;方法名如其意， “添加周期时间观察者” ，参数1 interal 为CMTime 类型的，参数2 queue为串行队列，如果传入NULL就是默认主线程，参数3 为CMTime 的block类型。 简而言之就是，每隔一段时间后执行 block。 比如：我们把interval设置成CMTimeMake(1, 10)，在block里面刷新label，就是一秒钟刷新10次。 正常观察播放进度一秒钟一次就行了，所以可以这么写： [self.player addPeriodicTimeObserverForInterval:CMTimeMake(1, 1) queue:nil usingBlock:^(CMTime time) { AVPlayerItem *item = WeakSelf.playerItem; NSInteger currentTime = item.currentTime.value/item.currentTime.timescale; NSLog(@"当前播放时间：%ld",currentTime); }];3、loadedTimeRange 缓存时间 获取视频的缓存情况我们需要监听playerItem的loadedTimeRanges属性 [self.playerItem addObserver:self forKeyPath:@"loadedTimeRanges" options:NSKeyValueObservingOptionNew context:nil];在KVO的回调里: if ([keyPath isEqualToString:@"loadedTimeRanges"]){ NSArray *array = _playerItem.loadedTimeRanges; CMTimeRange timeRange = [array.firstObject CMTimeRangeValue];//本次缓冲时间范围 float startSeconds = CMTimeGetSeconds(timeRange.start); float durationSeconds = CMTimeGetSeconds(timeRange.duration); NSTimeInterval totalBuffer = startSeconds + durationSeconds;//缓冲总长度 NSLog(@"当前缓冲时间：%f",totalBuffer); }4、playbackBufferEmpty 监听playbackBufferEmpty我们可以获取当缓存不够，视频加载不出来的情况： [self.playerItem addObserver:self forKeyPath:@"playbackBufferEmpty" options:NSKeyValueObservingOptionNew context:nil];在KVO回调里： if ([keyPath isEqualToString:@"playbackBufferEmpty"]) { //some code show loading }5、playbackLikelyToKeepUp playbackLikelyToKeepUp和playbackBufferEmpty 是一对，用于监听缓存足够播放的状态 [self.playerItem addObserver:self forKeyPath:@"playbackLikelyToKeepUp" options:NSKeyValueObservingOptionNew context:nil]; /* ... */ if([keyPath isEqualToString:@"playbackLikelyToKeepUp"]) { //由于 AVPlayer 缓存不足就会自动暂停，所以缓存充足了需要手动播放，才能继续播放 [_player play]; }AVURLAsset 播放视频只需一个url就能进行这样太不安全了，别人可以轻易的抓包盗链，为此我们需要为视频链接做一个请求头的认证，这个功能可以借助AVURLAsset完成。 AVPlayerItem除了可以用URL初始化，还可以用AVAsset初始化，而AVAsset不能直接使用，我们看下AVURLAsset的一个初始化方法： /*! @param URL An instance of NSURL that references a media resource. @param options An instance of NSDictionary that contains keys for specifying options for the initialization of the AVURLAsset. See AVURLAssetPreferPreciseDurationAndTimingKey and AVURLAssetReferenceRestrictionsKey above. */ + (instancetype)URLAssetWithURL:(NSURL *)URL options:(nullable NSDictionary<NSString *, id> *)options;AVURLAssetPreferPreciseDurationAndTimingKey.这个key对应的value是一个布尔值, 用来表明资源是否需要为时长的精确展示,以及随机时间内容的读取进行提前准备。 除了这个苹果官方介绍的功能外，他还可以设置请求头，这个算是隐藏功能了，因为苹果并没有明说这个功能，我是费了很大劲找到的。 NSMutableDictionary * headers = [NSMutableDictionary dictionary]; [headers setObject:@"yourHeader"forKey:@"User-Agent"]; self.urlAsset = [AVURLAsset URLAssetWithURL:self.videoURL options:@{@"AVURLAssetHTTPHeaderFieldsKey" : headers}]; // 初始化playerItem self.playerItem = [AVPlayerItem playerItemWithAsset:self.urlAsset];补充：后来得知这个参数是非公开的API，但是经多人测试项目上线不受影响。 播放相关通知 1、声音类： //声音被打断的通知（电话打来） AVAudioSessionInterruptionNotification //耳机插入和拔出的通知 AVAudioSessionRouteChangeNotification根据userInfo判断具体状态 2、播放类 //播放完成 AVPlayerItemDidPlayToEndTimeNotification //播放失败 AVPlayerItemFailedToPlayToEndTimeNotification //异常中断 AVPlayerItemPlaybackStalledNotification对于播放完成的通知我们可以这么写： [[NSNotificationCenter defaultCenter] addObserver:self selector:@selector(playerMovieFinish:) name:AVPlayerItemDidPlayToEndTimeNotification object:[self.player currentItem]];3、系统状态 //进入后台 UIApplicationWillResignActiveNotification //返回前台 UIApplicationDidBecomeActiveNotification提示：所有通知和KVO的使用我们都要记得在不用时remove掉。 小结 视频播放相关的知识比较多，细节的方面需要一点一点去扣。暂且写这么多吧，以后有需要会及时补充。 参考： ZFPlayer AVPlayer那些坑 如果还有什么不理解的可以简书私信问我，或者查看我写的Demo，欢迎star- ( ゜- ゜)つロ乾杯~