189 8069 5689
最近需要在Android的客户端中使用PCM声音播放和录制，简单学习了一下。有不正确的地方还请指出。
站在用户的角度思考问题，与客户深入沟通，找到元宝山网站设计与元宝山网站推广的解决方案，凭借多年的经验，让设计与互联网技术结合，创造个性化、用户体验好的作品，建站类型包括：网站建设、成都做网站、企业官网、英文网站、手机端网站、网站推广、域名注册、网络空间、企业邮箱。业务覆盖元宝山地区。
首先有几个概念需要了解一下：采样频率、声道数、采样位数。
采样频率一般是sample rate， 代表的是数字化音频时每秒采样的次数。常见的有44.1KHz（CD品质）、48KHz等。
这个很好理解，单声道Mono就是声音从一个方向传出来；双声道Stereo也叫立体声，声音是从两个方向传来。通常的流行音乐中，仔细听能发现每个声道可能侧重不同的乐曲声部，比如左声道吉他，右声道钢琴，人声似乎两个声道都有，听起来就像站在中间一样。（这里没有考证，随便举例）
每一个采样都是一个数据点，采样位数是指这个数据点使用了几位来记录。AudioTrack类只支持8位和16位的PCM音频。8位就是2的8次方，即256个值；而16位则是2的16次方，有65536个值。
这个在音频的编解码中还是比较常用的。在PCM格式中，1秒钟音频的数据大小是SampleRate×Channel×Bit/8，单位是byte字节。由于PCM本身没有音频帧的概念，所以通过这个公式就能计算出任意时长音频的大小，或者得到任意大小音频的时长。如果规定1个音频帧是“每个声道256个采样”，双声道下就是512个采样，那么1帧的数据量就是256×Channel×Bit/8，同理可以推断出1秒钟有多少音频帧等等。音频帧的概念在各种编解码中各有不同，但计算公式大同小异，这里不展开。
Android中音频的播放使用的是AudioTrack类，具体用法非常简单。
首先设置buffer大小。AudioTrack播放时需要先写入buffer，如果这个buffer没有写满，那么这部分是不会播放的。所以buffer不能设置太小，这样会导致播放不连贯；而buffer也不能设置太小，这样不间断写入会消耗许多CPU资源。AudioTrack自带了getMinBufferSize方法可以给出一个最小buffer，一般用这个值就可以。getMinBufferSize方法三个参数分别是sample rate、channel和bit。
设置完buffer size就可以实例化一个AudioTrack。其中第一个参数streamType是指不同的音频流类型，包括STREAM_MUSIC、STREAM_ALARM、STREAM_VOICE_CALL、STREAM_RING等，是Android对不同音频的分类。中间三个参数很好理解，第四个是buffer size，刚刚计算出来了。最后一个参数mode有两种：MODE_STREAM和MODE_STATIC。前者是以流形式播放，后者则是一次性全部写入然后播放。
调用实例的play()方法就可以开始播放了。不过播放得要有数据吧？要填写数据就要用到write()方法。write方法中第一个参数是一个byte[]类型，是要写入的数据源，可以是从文件流中读取出来的；第二个参数offset是初始位移，即从source的哪个位置开始；第三个参数则是输入长度。
当write方法写满一个AudioTrack的buffer时，就会有声音播放出来了。
当播放完成后记得要把AudioTrack停止并释放。
Android 音频焦点(Audio Focus)
引子
说 Audio Focus 前先说个很简单需求：来电时暂停正在播放的音乐，电话结束时恢复播放。
音频焦点
问题的解决方法就是：请求系统的音频焦点（Request the Audio Focus)。
官方文档指出Android 在处理音频播放是分了多个“音频流”的，如音乐流、音效流、电话声音流等，使控制音量时可以互不干涉。多数情况下我们播放音乐都是使用 STREAM_MUSIC 音频流。
另外，系统中可能会有多个应用程序会播放音频，所以需要考虑他们之间该如何协调，为了避免同时播放音乐，Android 系统使用音频焦点来进行统一管理，即只有获得了音频焦点的应用程序才可以播放音乐。
那么，播放音频应该这样来做：
获取音频焦点 requestAudioFocus
获取成功后，开始播放音频
处理音频焦点的丢失和“DUCK”
播放完毕后取消焦点
如此便可以完美的解决引子里的需求。
一个简单的示例
MusicService.java
public class MusicService extends Service {
private AudioManager mAm;
private boolean isPlaymusic;
private String url;
private MediaPlayer mediaPlayer;
@Override
public void onCreate() {
super.onCreate();
mAm = (AudioManager) getSystemService(AUDIO_SERVICE);
}
@Override
public void onStart(Intent intent, int startId) {
if (intent != null) {
Bundle bundle = intent.getExtras();
if (bundle != null) {
isPlaymusic = bundle.getBoolean("isPlay", true);
url = bundle.getString("url");
if (isPlaymusic)
play();
else
stop();
}
}
}
OnAudioFocusChangeListener afChangeListener = new OnAudioFocusChangeListener() {
public void onAudioFocusChange(int focusChange) {
if (focusChange == AudioManager.AUDIOFOCUS_LOSS_TRANSIENT) {
// Pause playback
pause();
} else if (focusChange == AudioManager.AUDIOFOCUS_GAIN) {
// Resume playback
resume();
} else if (focusChange == AudioManager.AUDIOFOCUS_LOSS) {
// mAm.unregisterMediaButtonEventReceiver(RemoteControlReceiver);
mAm.abandonAudioFocus(afChangeListener);
// Stop playback
stop();
}
}
};
private boolean requestFocus() {
// Request audio focus for playback
int result = mAm.requestAudioFocus(afChangeListener,
// Use the music stream.
AudioManager.STREAM_MUSIC,
// Request permanent focus.
AudioManager.AUDIOFOCUS_GAIN);
return result == AudioManager.AUDIOFOCUS_REQUEST_GRANTED;
}
private void resume() {
if (mediaPlayer != null) {
mediaPlayer.start();
}
}
private void pause() {
if (mediaPlayer != null mediaPlayer.isPlaying()) {
mediaPlayer.pause();
}
}
OnCompletionListener completionListener = new OnCompletionListener() {
@Override
public void onCompletion(MediaPlayer player) {
if(!player.isLooping()){
mAm.abandonAudioFocus(afChangeListener);
}
}
};
private void play() {
if (requestFocus()) {
if (mediaPlayer == null) {
try {
mediaPlayer = new MediaPlayer();
mediaPlayer.setDataSource(url);
mediaPlayer.prepare();
mediaPlayer.setOnCompletionListener(completionListener);
} catch (IOException e) {
e.printStackTrace();
}
}
if (!mediaPlayer.isPlaying()) {
mediaPlayer.start();
}
}
}
@Override
public void onDestroy() {
super.onDestroy();
if (mediaPlayer != null)
mediaPlayer.release();
}
private void stop() {
if (mediaPlayer != null) {
mediaPlayer.stop();
}
}
@Override
public IBinder onBind(Intent arg0) {
// TODO Auto-generated method stub
return null;
}
}
经模拟器测试，当来电时音频焦点会给到铃声流，并打出日志：
I/AudioService(1235): AudioFocus requestAudioFocus() from AudioFocus_For_Phone_Ring_And_Calls
此时MusicService中的afChangeListener会得到AUDIOFOCUS_LOSS_TRANSIENT，于是会暂停播放音频。
当通话结束或者挂掉电话，afChangeListener会得到AUDIOFOCUS_GAIN，于是恢复播放音频。
注意:
播放完毕一定要禁止掉请求的音频焦点abandonAudioFocus(afChangeListener)，否则，如果播放完毕后的某个时段刚好有个通话结束，并且此时没有其他的应用占用了焦点，系统会重新通知服务里的afChangeListener，导致音频再次的播放。
如果丢失的短暂音频焦点允许DUCK状态AUDIOFOCUS_LOSS_TRANSIENT_CAN_DUCK，在这种情况下，应用程序降低音量继续播放，不需要暂停。再次获取后，恢复原来的音量。
最近项目中需要实现手机采集声音频率实现设备律动的效果，整理了下Android与声音相关的知识。
根据声音振幅、频率获取颜色值，通过蓝牙mesh发送指令给灯改变其颜色值。
Android声音采集相关Api
快速傅里叶变换公式
Mesh网发送rgb值相关指令
人主观感觉声音的大小（音量），振幅与人离声源的距离决定，振幅越大，离声源的距离越小，响度越大。
LP= 20×lgP/P0
LP:声压级（db）
P:声压（Pa）
P0:基准声压：2*10-5Pa，该值是对800HZ声音人耳刚能听到的最低声压。
声音的高低，由频率决定，频率越高，音调越高。
频率是每秒经过一给定点的声波数量，单位赫兹（Hz）
人耳能听到20~20kHz的声音。
音品，波形决定声音的音色。
MediaRecorder：基于文件录音，已集成录音、编码、压缩
把模拟信号数字化的过程
采样频率越高，红色间隔越密集，记录音频所用数据量越大，音频质量越高。
采样定理(奈奎斯特理论)：当采样频率大于信号中最高频率的2倍时，采样后的数字信号完整地保留原始信号中的信息。人耳能听到20~20kHz的声音，为了保证声音不失真，采样频率应在40kHz以上。
目前44100Hz是唯一可以保证兼容所有Android手机的采样率。
指将模拟信号分成几个等级，量化精度越高，声音质量越好，单位Bit。
CD标准量化精度16Bit，DVD标准量化精度24Bit。
16Bit可以保证兼容所有Android手机。
音频采集、播放可以叠加，可以同时从多个音频源采集声音，例如：单声道/双声道。
即采样时间，例如20ms一帧代表20ms为单位的数据量为一帧音频。
一帧音频帧大小 = 采样率 x 位宽 x 采样时间 x 通道数
例：采样率8000，位宽8，通道2，采样间隔20ms
(8000 * 8/8 *2)/ (1000/20 ) = 320Byte //1字节 = 8 bits
对audioData进行快速傅里叶变化，时域-频域的变化，可以将信号的频谱提取出来。
傅立叶变换就是多个正余弦波叠加可以用来近似任何一个原始的周期函数，它实质是是频域函数和时域函数的转换。
Visualizer：检索当前正在播放的音频，对其进行编码
以下基于AudioRecord采集的音频数据后进行快速傅里叶变换得到频率值
向各位推荐百度网盘的会员专享功能“音频倍速”，它可以五种倍速模式随意转换，满足各种用户的需求。
步骤一：打开百度网盘APP，点击“文件”
步骤二：找到需要播放的音频文件，点击它，进入播放页面。
步骤三：点击“倍速”，即可调整倍速。
帧，是视频的一个基本概念，表示一张画面，如上面的翻页动画书中的一页，就是一帧。一个视频就是由许许多多帧组成的。
帧率，即单位时间内帧的数量，单位为：帧/秒 或fps（frames per second）。一秒内包含多少张图片，图片越多，画面越顺滑，过渡越自然。 帧率的一般以下几个典型值：
24/25 fps：1秒 24/25 帧，一般的电影帧率。
30/60 fps：1秒 30/60 帧，游戏的帧率，30帧可以接受，60帧会感觉更加流畅逼真。
85 fps以上人眼基本无法察觉出来了，所以更高的帧率在视频里没有太大意义。
这里我们只讲常用到的两种色彩空间。
RGB的颜色模式应该是我们最熟悉的一种，在现在的电子设备中应用广泛。通过R G B三种基础色，可以混合出所有的颜色。
这里着重讲一下YUV，这种色彩空间并不是我们熟悉的。这是一种亮度与色度分离的色彩格式。
早期的电视都是黑白的，即只有亮度值，即Y。有了彩色电视以后，加入了UV两种色度，形成现在的YUV，也叫YCbCr。
Y：亮度，就是灰度值。除了表示亮度信号外，还含有较多的绿色通道量。
U：蓝色通道与亮度的差值。
V：红色通道与亮度的差值。
音频数据的承载方式最常用的是 脉冲编码调制 ，即 PCM 。
在自然界中，声音是连续不断的，是一种模拟信号，那怎样才能把声音保存下来呢？那就是把声音数字化，即转换为数字信号。
我们知道声音是一种波，有自己的振幅和频率，那么要保存声音，就要保存声音在各个时间点上的振幅。
而数字信号并不能连续保存所有时间点的振幅，事实上，并不需要保存连续的信号，就可以还原到人耳可接受的声音。
根据奈奎斯特采样定理：为了不失真地恢复模拟信号，采样频率应该不小于模拟信号频谱中最高频率的2倍。
根据以上分析，PCM的采集步骤分为以下步骤：
采样率，即采样的频率。
上面提到，采样率要大于原声波频率的2倍，人耳能听到的最高频率为20kHz，所以为了满足人耳的听觉要求，采样率至少为40kHz，通常为44.1kHz，更高的通常为48kHz。
采样位数，涉及到上面提到的振幅量化。波形振幅在模拟信号上也是连续的样本值，而在数字信号中，信号一般是不连续的，所以模拟信号量化以后，只能取一个近似的整数值，为了记录这些振幅值，采样器会采用一个固定的位数来记录这些振幅值，通常有8位、16位、32位。
位数越多，记录的值越准确，还原度越高。
最后就是编码了。由于数字信号是由0，1组成的，因此，需要将幅度值转换为一系列0和1进行存储，也就是编码，最后得到的数据就是数字信号：一串0和1组成的数据。
整个过程如下：
声道数，是指支持能不同发声（注意是不同声音）的音响的个数。 单声道：1个声道
双声道：2个声道
立体声道：默认为2个声道
立体声道（4声道）：4个声道
码率，是指一个数据流中每秒钟能通过的信息量，单位bps（bit per second）
码率 = 采样率 * 采样位数 * 声道数
这里的编码和上面音频中提到的编码不是同个概念，而是指压缩编码。
我们知道，在计算机的世界中，一切都是0和1组成的，音频和视频数据也不例外。由于音视频的数据量庞大，如果按照裸流数据存储的话，那将需要耗费非常大的存储空间，也不利于传送。而音视频中，其实包含了大量0和1的重复数据，因此可以通过一定的算法来压缩这些0和1的数据。
特别在视频中，由于画面是逐渐过渡的，因此整个视频中，包含了大量画面/像素的重复，这正好提供了非常大的压缩空间。
因此，编码可以大大减小音视频数据的大小，让音视频更容易存储和传送。
视频编码格式有很多，比如H26x系列和MPEG系列的编码，这些编码格式都是为了适应时代发展而出现的。
其中，H26x（1/2/3/4/5）系列由ITU（International Telecommunication Union）国际电传视讯联盟主导
MPEG（1/2/3/4）系列由MPEG（Moving Picture Experts Group, ISO旗下的组织）主导。
当然，他们也有联合制定的编码标准，那就是现在主流的编码格式H264，当然还有下一代更先进的压缩编码标准H265。
H264是目前最主流的视频编码标准，所以我们后续的文章中主要以该编码格式为基准。
H264由ITU和MPEG共同定制，属于MPEG-4第十部分内容。
我们已经知道，视频是由一帧一帧画面构成的，但是在视频的数据中，并不是真正按照一帧一帧原始数据保存下来的（如果这样，压缩编码就没有意义了）。
H264会根据一段时间内，画面的变化情况，选取一帧画面作为完整编码，下一帧只记录与上一帧完整数据的差别，是一个动态压缩的过程。
在H264中，三种类型的帧数据分别为
I帧：帧内编码帧。就是一个完整帧。
P帧：前向预测编码帧。是一个非完整帧，通过参考前面的I帧或P帧生成。
B帧：双向预测内插编码帧。参考前后图像帧编码生成。B帧依赖其前最近的一个I帧或P帧及其后最近的一个P帧。
全称：Group of picture。指一组变化不大的视频帧。
GOP的第一帧成为关键帧：IDR
IDR都是I帧，可以防止一帧解码出错，导致后面所有帧解码出错的问题。当解码器在解码到IDR的时候，会将之前的参考帧清空，重新开始一个新的序列，这样，即便前面一帧解码出现重大错误，也不会蔓延到后面的数据中。
DTS全称：Decoding Time Stamp。标示读入内存中数据流在什么时候开始送入解码器中进行解码。也就是解码顺序的时间戳。
PTS全称：Presentation Time Stamp。用于标示解码后的视频帧什么时候被显示出来。
前面我们介绍了RGB和YUV两种图像色彩空间。H264采用的是YUV。
YUV存储方式分为两大类：planar 和 packed。
planar如下：
packed如下：
上面说过，由于人眼对色度敏感度低，所以可以通过省略一些色度信息，即亮度共用一些色度信息，进而节省存储空间。因此，planar又区分了以下几种格式：YUV444、 YUV422、YUV420。
YUV 4:4:4采样，每一个Y对应一组UV分量。
YUV 4:2:2采样，每两个Y共用一组UV分量。
YUV 4:2:0采样，每四个Y共用一组UV分量。
其中，最常用的就是YUV420。
YUV420属于planar存储方式，但是又分两种类型：
YUV420P：三平面存储。数据组成为YYYYYYYYUUVV（如I420）或YYYYYYYYVVUU（如YV12）。
YUV420SP：两平面存储。分为两种类型YYYYYYYYUVUV（如NV12）或YYYYYYYYVUVU（如NV21）
原始的PCM音频数据也是非常大的数据量，因此也需要对其进行压缩编码。
和视频编码一样，音频也有许多的编码格式，如：WAV、MP3、WMA、APE、FLAC等等，音乐发烧友应该对这些格式非常熟悉，特别是后两种无损压缩格式。
但是，我们今天的主角不是他们，而是另外一个叫AAC的压缩格式。
AAC是新一代的音频有损压缩技术，一种高压缩比的音频压缩算法。在MP4视频中的音频数据，大多数时候都是采用AAC压缩格式。
AAC格式主要分为两种：ADIF、ADTS。
ADIF：Audio Data Interchange Format。音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。这种格式常用在磁盘文件中。
ADTS：Audio Data Transport Stream。音频数据传输流。这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。
ADIF数据格式：
ADTS 一帧 数据格式（中间部分，左右省略号为前后数据帧）：
AAC内部结构也不再赘述，可以参考AAC 文件解析及解码流程
细心的读者可能已经发现，前面我们介绍的各种音视频的编码格式，没有一种是我们平时使用到的视频格式，比如：mp4、rmvb、avi、mkv、mov...
没错，这些我们熟悉的视频格式，其实是包裹了音视频编码数据的容器，用来把以特定编码标准编码的视频流和音频流混在一起，成为一个文件。
例如：mp4支持H264、H265等视频编码和AAC、MP3等音频编码。
我们在一些播放器中会看到，有硬解码和软解码两种播放形式给我们选择，但是我们大部分时候并不能感觉出他们的区别，对于普通用户来说，只要能播放就行了。
那么他们内部究竟有什么区别呢？
在手机或者PC上，都会有CPU、GPU或者解码器等硬件。通常，我们的计算都是在CPU上进行的，也就是我们软件的执行芯片，而GPU主要负责画面的显示（是一种硬件加速）。
所谓软解码，就是指利用CPU的计算能力来解码，通常如果CPU的能力不是很强的时候，一则解码速度会比较慢，二则手机可能出现发热现象。但是，由于使用统一的算法，兼容性会很好。
硬解码，指的是利用手机上专门的解码芯片来加速解码。通常硬解码的解码速度会快很多，但是由于硬解码由各个厂家实现，质量参差不齐，非常容易出现兼容性问题。
MediaCodec 是Android 4.1(api 16)版本引入的编解码接口，是所有想在Android上开发音视频的开发人员绕不开的坑。
由于Android碎片化严重，虽然经过多年的发展，Android硬解已经有了很大改观，但实际上各个厂家实现不同， 还是会有一些意想不到的坑。
相对于FFmpeg，Android原生硬解码还是相对容易入门一些，所以接下来，我将会从MediaCodec入手，讲解如何实现视频的编解码，以及引入OpenGL实现对视频的编辑，最后才引入FFmpeg来实现软解，算是一个比较常规的音视频开发入门流程吧。
播放音频用到MediaPlayer类，具体用法如下：
我们写一个简单的例子，播放手机存储的根目录下motto.mp3文件。定义三个按钮play、pause、stop来控制播放。
另外，本范例涉及到SD卡的读取，还要在在Manifest.xml注册写SD卡的权限。