啃论文俱乐部——移植Speexdsp到OpenHarmony标准系统（五）

Apache License 2.0
Mulan Permissive Software License, Version 2
BSD 2-clause
BSD 3-clause
DOM4J License
PostgreSQL License
Eclipse Distribution License 1.0
MIT
ISC
ICU
University of Illinois/NCSA
W3C Software License
zlib/libpng
Academic Free License 3.0
Python Software Foundation License
Python Imaging Library Software License
Boost Software License Version 1.0
WTF Public License
UNICODE, INC. LICENSE AGREEMENT - DATA FILES AND SOFTWARE
Zope Public License 2.0

GNU GPL 1, 2, 3
GNU Affero GPL 3
GNU LGPL 2, 2.1, 3
QPL
Sleepycat License
Server Side Public License (SSPL) version 1
Code Project Open License (CPOL)
BSD-4-Clause/BSD-4-Clause (University of California-Specific)
Facebook BSD+Patents license
NPL 1.0/NPL 1.1
The Solipsistic Eclipse Public License
The "Don't Be A Dick" Public License
JSON License
Binary Code License (BCL)
Intel Simplified Software License
JSR-275 License
Microsoft Limited Public License
Amazon Software License (ASL)
Java SDK for Satori RTM license
Redis Source Available License (RSAL)
Booz Allen Public License
Creative Commons Non-Commercial
Sun Community Source License 3.0
Common Development and Distribution Licenses: CDDL 1.0 and CDDL 1.1
Common Public License: CPL 1.0
Eclipse Public License: EPL 1.0
IBM Public License: IPL 1.0
Mozilla Public Licenses: MPL 1.0, MPL 1.1, and MPL 2.0
Sun Public License: SPL 1.0
Open Software License 3.0
Erlang Public License
UnRAR License
SIL Open Font License
Ubuntu Font License Version 1.0
IPA Font License Agreement v1.0
Ruby License
Eclipse Public License 2.0: EPL 2.0

Copyright 2002-2008   Xiph.org Foundation
Copyright 2002-2008   Jean-Marc Valin
Copyright 2005-2007 Analog Devices Inc.
Copyright 2005-2008 Commonwealth Scientific and Industrial Research
                       Organisation (CSIRO)
Copyright 1993, 2002, 2006 David Rowe
Copyright 2003    EpicGames
Copyright 1992-1994 Jutta Degener, Carsten Bormann
Redistribution and use in source and binary forms, with or without
modification, are permitted provided that the following conditions
are met:
- Redistributions of source code must retain the above copyright
notice, this list of conditions and the following disclaimer.
- Redistributions in binary form must reproduce the above copyright
notice, this list of conditions and the following disclaimer in the
documentation and/or other materials provided with the distribution.
- Neither the name of the Xiph.org Foundation nor the names of its
contributors may be used to endorse or promote products derived from
this software without specific prior written permission.
THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
``AS IS'' AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL THE FOUNDATION OR
CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF
LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING
NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS
SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.

wc -l *

#ifdef HAVE_CONFIG_H
#include "config.h"
#endif
//要使用重采样器，必须包含它的头文件speex_resampler.h:
#include "speex/speex_resampler.h"
//基本输入输出函数的声明
#include <stdio.h>
////头文件<math.h>中声明了一些数学函数和宏
#include <math.h>
/*
stdlib.h中，包含了C语言的一些常用库函数。
如动态内存相关的malloc, realloc,zalloc,calloc,free等。
随机数相关的rand,srand等。
系统相关的system, getenv,setenv等。
字符串转数值函数，atoi, atof,strtoul等。
如果在代码中，调用了这个头文件中的函数或者宏定义，则需引用该头文件。
*/
#include <stdlib.h>
//NN定义的是帧长度
#define NN 256
int main()
{
   spx_uint32_t i;
   short *in;
   short *out;
   float *fin, *fout;
   int count = 0;
//对于每一个被重采样的流(流是一种抽象的概念,表示一连串的数据元素;流中的数据元素称为帧Frame。)，有必要创建一个重采样状态:SpeexResamplerState *resampler;
//resampler = speex_resampler_init(nb_channels, input_rate, output_rate, quality, &err);
// nb_channels声道数量，这段测试程序要求输入的音频声道数量为1
// input_rate和output_rate指的是输入音频的采样率和输出音频的采样率。
// err错误码
/*
    quality 是语音编解码器方面的概念，范围是0~10.通常，
   对于一般使用质量为3是可以接受的，
   而对于专业音频工作，质量为10是最推荐的。
   质量0通常具有良好的声音（当然比使用线性插值重采样更好），但可能会听到伪影。 
*/
/*在数字音频领域，常用的采样率有：
        8000 Hz - 电话所用采样率， 对于人的说话已经足够
        11025 Hz - 电话所用采样率
        22050 Hz - 无线电广播所用采样率
        32000 Hz - miniDV 数码视频 camcorder、DAT (LP mode)所用采样率
        44100 Hz - 音频 CD, 也常用于 MPEG-1 音频（VCD，SVCD，MP3）所用采样率
        47250 Hz - 商用 PCM 录音机所用采样率
        48000 Hz - miniDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音所用采样率
        50000 Hz - 商用数字录音机所用采样率
*/
   SpeexResamplerState *st = speex_resampler_init(1, 8000, 12000, 10, NULL);

//96000是输入音频的采样率，44100是输出音频的采样率。单位为Hz
   speex_resampler_set_rate(st, 96000, 44100);
   speex_resampler_skip_zeros(st);
 /* 
   malloc函数的作用是让系统寻找空闲地址后为你分配一块指定大小的空间来给你使用，
   这一块空间其实要比你申请的空间大一些，它包含两个部分：1.你申请的空间；2.记录这个空间信息的空间。
*/
   in = malloc(NN*sizeof(short));
   out = malloc(2*NN*sizeof(short));
   fin = malloc(NN*sizeof(float));
   fout = malloc(2*NN*sizeof(float));
//while(1):这是一个死循环，一直在while里循环.
//调试代码时，为了检测一部分代码是否OK，可加测试点while(1),测试这段代码。
   while (1)
   {
      spx_uint32_t in_len;
      spx_uint32_t out_len;
/*从终端获取音频数据*/
      fread(in, sizeof(short), NN, stdin);
//feof()是检测流上的文件结束符的函数，如果文件结束，则返回非0值，否则返回0
      if (feof(stdin))
         break;
      for (i=0;i<NN;i++)
         fin[i]=in[i];
      in_len = NN;
      out_len = 2*NN;
      /*if (count==2)
         speex_resampler_set_quality(st, 10);*/
//实际的重采样是使用speex_resampler_process_int(resampler, channelID, in, &in_length, out, &out_length);
//其中"channelID"是输入的音频的声道。对于单声道，使用0。也可以同时处理多个通道。
//其中"in"指针指向所选通道的输入缓冲区的第一个样本，输出指向输出的第一个样本。
//in_length和out_length分别指定输入和输出缓冲区的大小。
      speex_resampler_process_float(st, 0, fin, &in_len, fout, &out_len);
      for (i=0;i<out_len;i++)
         out[i]=floor(.5+fout[i]);
      /*speex_warning_int("writing", out_len);*/
/*转换后的数据输入到终端显示*/
      fwrite(out, sizeof(short), out_len, stdout);
      count++;
   }
   speex_resampler_destroy(st);
//free函数接受一个指针，然后将指针指向的地址还给系统。（但它不会改变指针的指向，所以一般在free之后还要将指针置
   空，不然你的这个指针就会变成野指针）
//一般来说，malloc函数应该和free函数成对出现，防止向系统要的内存太多系统不高兴。
   free(in);
   free(out);
   free(fin);
   free(fout);
   return 0;
}

/* 
Speex 源码中附带的这个例子，只适合于串行的链式媒体流，当媒体播放、媒体采集、媒体网
络数据接口分属在不同现成时，就会存在同步问题，异步线程会导致信号延迟加大，回声消除收敛效果不好。
*/
#ifdef HAVE_CONFIG_H
#include "config.h"
#endif

/*使用回声消除器需要加#include "speex/speex_echo.h"*/
#include "speex/speex_echo.h"
/*使用预处理器需要添加#include "speex/speex_preprocess.h"*/
#include "speex/speex_preprocess.h"
#include <stdio.h>
//stdlib 头文件即standard library标准库头文件 
#include <stdlib.h>
// sys/types.h中文名称为基本系统 数据类型。在应用程序源文件中包含 <sys/types.h> 以访问 _LP64 和 _ILP32 的定义
#include <sys/types.h> 
//stat.h头文件，轻松获取文件属性
#include <sys/stat.h> 
//fcntl.h相关函数 open，fcntl，shutdown，unlink，fclose
#include <fcntl.h> 
//NN是frame_size帧长度，TAIL是filter_length滤波器长度
#define NN 128
#define TAIL 1024 
//当你需要程序带参数地启动的时候，就用int main(int argc, char *argv[])
int main(int argc, char **argv) 
{
//FILE* 指针作为文件句柄，是文件访问的唯一标识，它由fopen函数创建，fopen打开文件成功，则返回一个有效的FILE*指针，否则返回空指针NULL //[nʌl]
   FILE *echo_fd, *ref_fd, *e_fd;
   short echo_buf[NN], ref_buf[NN], e_buf[NN];
   SpeexEchoState *st;
   SpeexPreprocessState *den;
//采样率为8000.单位为hz
   int sampleRate = 8000;
   if (argc != 4)
   {
      fprintf(stderr, "testecho mic_signal.sw speaker_signal.sw output.sw\n");
      exit(1);
   }
// fopen函数用于打开文件
   echo_fd = fopen(argv[2], "rb");
   ref_fd  = fopen(argv[1],  "rb");
   e_fd    = fopen(argv[3], "wb");
/*
1.创建一个回声消除状态:SpeexEchoState *echo_state = speex_echo_state_init(frame_size, filter_length);
前边的语句SpeexEchoState *st;  
2.NN是frame_size帧长度，TAIL是filter_length滤波器长度
*/·
   st = speex_echo_state_init(NN, TAIL);
   den = speex_preprocess_state_init(NN, sampleRate);
   speex_echo_ctl(st, SPEEX_ECHO_SET_SAMPLING_RATE, &sampleRate);
/*
如果你想进一步减少信号中的回波，你可以通过将回波消除器与预处理器相关联来实现.这是通过调用:
speex_preprocess_ctl(preprocess_state, SPEEX_PREPROCESS_SET_ECHO_STATE,echo_state);
*/
   speex_preprocess_ctl(den, SPEEX_PREPROCESS_SET_ECHO_STATE, st);
   while (!feof(ref_fd) && !feof(echo_fd))
   {
      fread(ref_buf, sizeof(short), NN, ref_fd);
      fread(echo_buf, sizeof(short), NN, echo_fd);
/*创建回声消除器状态后，可以通过以下方式处理音频： 
speex_echo_cancellation(echo_state, input_frame, echo_frame, output_frame); 
其中，input_frame是麦克风捕捉到的音频，echo_frame是扬声器播放的信号(需要去除)，output_frame是去除回声的信号。
*/
      speex_echo_cancellation(st, ref_buf, echo_buf, e_buf);
      speex_preprocess_run(den, e_buf);
      fwrite(e_buf, sizeof(short), NN, e_fd);
   }
   speex_echo_state_destroy(st); 
//可以用以下方法消除回声抵消状态:speex_echo_state_destroy(echo_state);
   speex_preprocess_state_destroy(den);
// fclose(FILE *fp) 一般地，fclose(fp)应与fopen配对使用，特别是含有写方式的文件，若不关闭，可能会造成文件数据丢失。
   fclose(e_fd);
   fclose(echo_fd);
   fclose(ref_fd);
   return 0;
}

#ifdef HAVE_CONFIG_H
#include "config.h"
#endif
//使用预处理功能先#include "speex/speex_preprocess.h"
#include "speex/speex_preprocess.h"
#include <stdio.h>
//定义NN为160
#define NN 160
int main()
{
   short in[NN];
   int i;
/*
然后，可以创建一个预处理器状态:SpeexPreprocessState *preprocess_state = speex_preprocess_state_init(frame_size,sampling_rate);
preprocess_state（预处理状态）
frame_size指的是帧长度
sampling_rate指的是采样率
*/
   SpeexPreprocessState *st;
   int count=0;
   float f;
/*frame_size（帧长度）为160，采样率为8000*/
   st = speex_preprocess_state_init(NN, 8000);
/*预处理器的行为可以通过以下方式改变:speex_preprocess_ctl(preprocess_state, request, ptr);*/
/*SPEEX_PREPROCESS_SET_DENOISE Turns denoising on(1) or off(2) (spx_int32_t)*/
   i=1; // i=1就是打开预处理器的降噪功能；i=2就是关闭降噪功能
   speex_preprocess_ctl(st, SPEEX_PREPROCESS_SET_DENOISE, &i); 
/*SPEEX_PREPROCESS_SET_AGC Turns automatic gain control (AGC) on(1) or off(2) (spx_int32_t)*/
/*AGC全称是自动增益控制，作用是针对不同的强度的信号使用不同的增益进行放大，使得信号最终的输出幅度维持在同一标准*/
   i=0; // 
   speex_preprocess_ctl(st, SPEEX_PREPROCESS_SET_AGC, &i);
   i=8000;
   speex_preprocess_ctl(st, SPEEX_PREPROCESS_SET_AGC_LEVEL, &i);
/*SPEEX_PREPROCESS_SET_DEREVERB Turns reverberation removal on(1) or off(2) (spx_int32_t)*/
//reverberation removal混响消除
   i=0;
   speex_preprocess_ctl(st, SPEEX_PREPROCESS_SET_DEREVERB, &i);
   f=.0;
   speex_preprocess_ctl(st, SPEEX_PREPROCESS_SET_DEREVERB_DECAY, &f);
   f=.0;
   speex_preprocess_ctl(st, SPEEX_PREPROCESS_SET_DEREVERB_LEVEL, &f);
/* while(1):这是一个死循环，一直在while里循环,调试代码时，为了检测一部分代码是否OK，可加测试点while(1),测试这段代码*/
   while (1)
   {
      int vad;
      /*C 库函数 size_t fread(void *ptr, size_t size, size_t nmemb, FILE *stream) 从给定流 stream 读取数据到 ptr 所指向的数组中。*/
      fread(in, sizeof(short), NN, stdin);
/*
feof()是检测流上的文件结束符的函数，如果文件结束，则返回非0值，否则返回0
一般在文件操作，中经常使用feof()判断文件是否结束。
*/
      if (feof(stdin))
         break;
/*
对于每个输入帧，需要调用:speex_preprocess_run(preprocess_state, audio_frame);
其中audio_frame被用作输入和输出。
*/
//fwrite和fread是以记录为单位的I/O函数，fread和fwrite函数一般用于二进制文件的输入输出。
      vad = speex_preprocess_run(st, in);
      /*fprintf (stderr, "%d\n", vad);*/
      fwrite(in, sizeof(short), NN, stdout);
      count++;
   }
//预处理器状态可以通过以下方式销毁:speex_preprocess_state_destroy(preprocess_state);
   speex_preprocess_state_destroy(st);
   return 0;
}

#ifdef HAVE_CONFIG_H
#include "config.h"
#endif
/*jitter buffer可以通过以下方式启用:#include <speex/speex_jitter.h>*/
#include "speex/speex_jitter.h"
#include <stdio.h>
union jbpdata {  
/*
联合类型的声明,union是联合体关键字;联合是一种特殊的自定义类型，该种类型定义的变量也包含一系列的成员，特征是这些成员共用同一块空间，所以联合体也被称为共用体。
抖动缓冲器是一个共享的数据区域
*/
  unsigned int idx; 
//unsigned int是整数类型 ，存储大小为2 或 4 字节，值范围为0 到 65,535 或 0 到 4,294,967,295
//unsigned char的表示范围为0~255 此处定义了一个拥有四个元素的数组
  unsigned char data[4];
};

void synthIn(JitterBufferPacket *in, int idx, int span) {
  union jbpdata d;
  d.idx = idx;

  in->data = d.data;
  in->len = sizeof(d);
  in->timestamp = idx * 10;
  in->span = span * 10;
  in->sequence = idx;
  in->user_data = 0;
}
void jitterFill(JitterBuffer *jb) {
   char buffer[65536];
   JitterBufferPacket in, out;
   int i;
   out.data = buffer;
   jitter_buffer_reset(jb);
   for(i=0;i<100;++i) {
     synthIn(&in, i, 1);
     jitter_buffer_put(jb, &in);
     out.len = 65536;
     /*
     当解码器准备解码数据包时，需要解码的数据包可以通过以下方式获得:
     int start_offset;
     err = jitter_buffer_get(state, &packet, desired_span, &start_offset);
     */
    //如果从不同的线程调用jitter_buffer_put()和jitter_buffer_get()，那么需要使用互斥锁来保护jitter缓冲区状态。
     if (jitter_buffer_get(jb, &out, 10, NULL) != JITTER_BUFFER_OK) {
       printf("Fill test failed iteration %d\n", i);
     }
     if (out.timestamp != i * 10) {
       printf("Fill test expected %d got %d\n", i*10, out.timestamp);
     }
/*因为jitter缓冲区被设计为不使用显式计时器，所以需要显式地告诉它时间。这是通过调用:jitter_buffer_tick(state);
*/
     jitter_buffer_tick(jb);
   }
}
/*
当一个包到达时，它需要通过以下方式插入到jitter buffer中:
JitterBufferPacket packet;
jitter_buffer_put(state, &packet);
*/
int main()
{
   char buffer[65536];
   JitterBufferPacket in, out;
   int i;
   /* 新的抖动缓冲状态可以通过以下方式初始化:JitterBuffer *state = jitter_buffer_init(step);
   step参数是用于调整延迟的默认时间步长还有做隐藏，step参数的值总是为1，也可以是更高的值。
   */
   JitterBuffer *jb = jitter_buffer_init(10);
   out.data = buffer;
   /* Frozen sender case */
   jitterFill(jb);
   for(i=0;i<100;++i) {
     out.len = 65536;
     jitter_buffer_get(jb, &out, 10, NULL);
     jitter_buffer_tick(jb);
   }
   synthIn(&in, 100, 1);
   jitter_buffer_put(jb, &in);
   out.len = 65536;
   if (jitter_buffer_get(jb, &out, 10, NULL) != JITTER_BUFFER_OK) {
     printf("Failed frozen sender resynchronize\n");
   } else {
     printf("Frozen sender: Jitter %d\n", out.timestamp - 100*10);
   }
   return 0;
}

gcc testdenoise.c -L /home/jiajiahao/Desktop/speexdsp-SpeexDSP-1.2.1/build/lib -o testdenoise -I /home/jiajiahao/Desktop/speexdsp-SpeexDSP-1.2.1/include -lm -lspeexdsp

hdc_std shell               
mount -o remount,rw /     ## 重新加载系统为可读写
mkdir speexdsp              ## 创建speexdsp目录存放测试用例
exit                        ## 退出开发板系统

hdc_std file speexdsp.tar /speexdsp

hdc_std shell              ## 进入开发板系统
cd speexdsp
tar -xvf speexdsp.tar
cp libspeexdsp_share.z.so /system/lib64/ ## 将库文件拷贝系统目录

chmod 777 testresample
./testresample < input.pcm > output.pcm

chmod 777 testresample                  ## 添加可执行权限
./testresample < input.pcm > output.pcm

hdc_std file recv /speexdsp/output.pcm C:\Users\jjh\Desktop\

./testresample2 > output.pcm

./testresample2 > output.pcm

1000 0 1024 22 -> 1024 0                  
1100 0 1024 24 -> 1024 15
1200 0 1024 26 -> 926 26
1300 926 1122 31 -> 1048 31
1400 950 1098 33 -> 1032 33
...
...
...
127600 1024 1024 2723 -> 1024 2723
...
...
127900 1024 1024 2729 -> 1024 2729
128000 1024 1024 2731 -> 1024 2730

./testecho speaker.wav micin.wav testecho_output.wav

./testdenoise < input.pcm > output.pcm

./testjitter

Frozen sender: Jitter 0