语音识别的客户端侧实现-音频实时上传

上篇文章讲了如何录音和编码压缩,随后的步骤就是上传了。上传的过程很简单,使用通用的网络框架上传即可。

这一篇我们讲一下,如何边录音边上传,边识别。框架图如下:

对于客户端来说整个流程相对简单,其中比较复杂的就是各种容错的处理。

1.缓冲区上传并不是每次都成功,所我们在上传数据之前,还需要将音频数据写到本地中,并做好标记,如果因为各种原因上传失败,就需要重传的过程。

2.服务端每次需要根据此次上传的音频和此前上传的音频进行拼接然后做一个整体的识别,以防止分段识别中产生的错误。这就需要服务端在每次给服务端返回数据的时候,对以前的数据进行纠错,并在最后一次上传后,整体返回所有的数据。

为了能获取缓冲区的数据,我们必须使用上面文章提到的比较底层的C语言的API来实现整个的录制过程,这也是为什么虽然他使用的很多接口一倍废弃,我们仍然使用它的原因。希望苹果以后可以提供一个新的示例代码来实现整个流程,不过一般来说对于这种底层的录制需求可能比较少,可能我们只能一直使用speakhere的例子中的代码了。

// AudioQueuecallback function, called when an input buffers has been filled.

voidAQRecorder::MyInputBufferHandler(void *inUserData,AudioQueueRefinAQ,

AudioQueueBufferRefinBuffer,constAudioTimeStamp *inStartTime,UInt32inNumPackets,

constAudioStreamPacketDescription*inPacketDesc)

{

AQRecorder *aqr = (AQRecorder*)inUserData;

try {

if (inNumPackets > 0) {

// write packets tofile

XThrowIfError(AudioFileWritePackets(aqr->mRecordFile,FALSE, inBuffer->mAudioDataByteSize,

inPacketDesc, aqr->mRecordPacket,&inNumPackets, inBuffer->mAudioData),

"AudioFileWritePackets failed");

aqr->mRecordPacket+= inNumPackets;

}

// if we're not stopping,re-enqueue the buffe so that it gets filled again

if (aqr->IsRunning())

XThrowIfError(AudioQueueEnqueueBuffer(inAQ, inBuffer, 0,NULL), "AudioQueueEnqueueBuffer failed");

} catch (CAXException e) {

char buf[256];

fprintf(stderr, "Error:%s (%s)\n", e.mOperation, e.FormatError(buf));

}

}

具体的实现中,我们需要在这个回调中,我们除了调用AudioFileWritePackets还需要自己写相关的上传音频的代码。

再上传过程中,除了这些原始的pcm数据外还需要和服务端协商定义一些头,以便我们后来的重传。如果做得更加深入的话,我们还需要做一个网络请求队列,因为有时候在某些特殊的网络情况下,我们需要做并发的上传操作。具体的实现方式和代码就不再详细讲了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容