你是否曾想过，

在经过患者同意的情况下，

患者诉说病情、

医生对症治疗的对话被自动记录、自动上传，

然后由声音变成可视化数据供科研人员后期分析？

你是否遥想过，机器人医生的诞生？

我们大二的两位学生

正同理工学院杨升浩教授和林立德老师

一起积极探索，钻研音频数据采集！

1. 音频数据采集项目成员

杨升浩

研究助理教授

教育：

博士（香港中文大学）

工学硕士（北京大学）
理学学士（南开大学）

研究领域:
信息论
编码理论
网络编码
网络计算

杨博士的研究主要集中在网络编码以及相关的信息论和编码理论，并涉及网络计算以及量子信息等领域。他已在国际学术期刊、会议发表论文40多篇，其中包括信息理论顶级期刊IEEE Transactions on Information Theory 多篇。他是分批稀疏（BATS）码的共同发明人，并获得美国发明专利2项。

陈思博 

2015级理工学院

计算机专业学生

毕业于浙江省象山县第一中学

唐芊源

2015级理工学院

计算机专业学生

毕业于江苏省苏州中学

2. 音频数据采集项目介绍

为什么港中大（深圳）理工学院的师生会研究这样一个项目呢?杨升浩教授表示：“音频数据采集是我们做中文自然语言处理的一部分工作。通过采集大量的对话，来训练我们的机器学习系统，使得机器有类似的对话能力。采集医患的对话是希望将来我们可以训练机器来模拟一个医生，为患者提供服务。类似的系统也在各个行业的客户服务系统中有广泛的应用。”

两位同学和杨升浩教授、林立德老师讨论后，自行购买零件拼装制作出整个音频数据采集项目中最为核心的采集音频数据设备。

树莓派及音频采集器

其工作原理是用树莓派（为学生计算机编程教育而设计，只有信用卡大小的微型电脑，其系统基于Linux）自动记录对话，通过无线网络传到服务器。程序员提取数据后，将数据可视化（即声音数据转化成图像、表格等直观数据），以便人们后期直观地分析。

整个音频数据采集的流程看似简单，而它的工作过程实则复杂，采集设备具有多功能且需要多种技术支撑：

1.通过精密设定，采集设备会识别达到一定时长和分贝的声音并进行有效录音，因此能有效记录医患的对话内容，去除杂音，省去对话间歇，为科研人员后期研究数据节省时间及精力；

Audio Recording (Silent Detection, Audio Aggregation & Segregation)

2.由watchdog监视程序运行状况，一旦程序崩溃，无法运行时，watchdog就能让程序自动重启，并且能报告问题出现的地方，方便后续维护措施的制定。

3.Heartbeat是每10-15秒钟负责传输数据的装置，它就如同人的心脏，表征系统的运行。

音频信息采集工作流程

该项目现已在某些医院投入试用，每天约有1.2GB的数据自动上传，供科研人员进一步采集并分析项目，完善项目中的语音识别功能向未来更好的目标迈进！

音频数据采集设备放置于试点医院的医生办公室的台面

3.参与项目的心得分享

“我们一开始以为这个项目不难，采集音频应该就是插个麦克风什么的，然而真正参与到项目中发现需要很多专业知识，有些超出了我们大二学生目前的课程内容。” 在项目中如何用软件检测cpu、memory的运行状况，以及Web Server和html方面的知识等等，两位同学是通过网络或者跟教授一起做项目时学习掌握的。

在参与项目的过程中，陈思博和唐芊源两位同学也遇到了不少超乎自己设想的问题：比如，如何确定音频采集设备处于正常运行状态呢？当设备出现故障，如何修理，是否必须每次都亲自修理？采集到的数据如何更有利于分析？做项目的思路是怎么样的呢？

理工学院杨升浩教授和林立德老师与两位同学交流后，设置了负责传接数据的heartbeat，能让人检测设备运行正常与否。当设备出现故障时，有了watchdog，就可代替人工手动重启，达到时时重启崩溃模块的效果；通过数据可视化的处理，更好的展现了音频数据的相关信息；做项目时需要先建构好项目的整体框架，然后再看需要哪些技术和知识。两位同学一致认为完成一件事最重要的是要有整体框架(即事情需要分几个部分、用什么手段完成这件事）然后将知识和技术慢慢填充进去。

音频数据采集设备的设计结构

在制作音频数据采集设备的制作过程中，两位同学也会遇到诸多难题。陈思博和唐芊源两位同学先是在自己的电脑上写主录制程序，在确认程序可以运行无误后，他们便将其移植入树莓派使用，却发现程序无法成功运行。为了探究原因，他们不断上网搜索资料，并分别尝试了在Windows，Mac OS，Ubuntu(Linux)，Cent OS(Linux)系统下运行，结果都可以成功。然后又将树莓派内系统升级到最新版本，仍然不行。几天的搜寻尝试后，当他们在怀疑是否是因为树莓派不支持该扩充库时，偶然发现，当把程序中的一个参数上调一倍后，程序终于得以成功运行，原来，该问题是源于树莓派与常规电脑硬件上的差别导致参数不支持。

实践出真知。两位同学通过与理工学院的老师一起参与到项目研究中，有了巨大的收获。囿于现阶段的知识储备不足，他们深深地感到学海无涯，自己有太多需要学习的知识。在实践中他们接触到诸多方面的知识，支撑项目所需的技术又大大扩展了他们的研究兴趣点。从安坐在课堂上学习到与牢门一起投入实验项目，陈思博和唐芊源同学收获的不仅仅是超乎课堂所学的专业知识，他们对自己未来的研究方向，专业课程选择有了更明确的目标，不至于在大三大四选择专业选修课时感到迷茫彷徨，所以参与这个项目对他们而言极具指导意义。

看到这样的项目，你是不是也想参与呢？

首先当然是要好好学习天天向上啦~不好好学哪会有能力完成项目中的任务呢？再说你也没法通过入选考核啊是不是？

其次就是要多参与活动啦，两位同学积极报名教授推荐的大数据实习项目，才会在暑期就积累经验，才会有加入音频数据采集项目的机会啊~

还有就是要多和老师交流讨论啊，教授辣么nice，辣么暖，他会给你很多材料、视频、论文等供你学习。在教授的指点下，进步当然很快啦！

你想在港中大（深圳）遇到怎样的自己呢？

学校中有很多学习的机会，

等你参与，等你抓住，等你努力！

部分内容及照片由理工学院杨升浩教授、林立德老师及理工学院大二学生陈思博、唐芊源提供

采访及文案/ 刘竞晖 （2016级理工学院学生）

编辑排版/ 易榕（CPRO）

                  吴秋呈（2015级经管学院学生）