Kaldi Toolkit을 사용한 음성인식 시스템의 구조 ppt(shinozaki lab ppt 번역)

이 글은 저의 예전 블로그의 글을 옮긴 것입니다.

칼디 관련 튜토리얼 중 좋은 자료가 없나 찾아보다가, 도쿄공업대학 시노자키 교수님 연구실에 있는 튜토리얼 자료를 발견하였습니다. 분량이 그렇게 많지 않아, pdf를 ppt로 변환하여 번역을 해보았습니다.

원본의 URL입니다.

Kaldiツールキットを用いた 音声認識システムの構築(Kaldi 툴킷을 사용한 음성인식 시스템의 구축)

Shinozaki 교수님 연구실의 주소입니다.

http://www.ts.ip.titech.ac.jp/

혹시 오역이나 잘못된 부분이 있으면 연락주시기 바랍니다.

제 이메일 주소입니다.

gogyzzz@gmail.com

HTK installation on ubuntu 16.04

(이 글은 제가 예전에 잠시 옮겼던 [블로그](https://gogyzzz.github.io/2017/03/15/htk-installation-on-ubuntu-16.04.html)의 글을 옮긴 것입니다) # 사전 준비 > $sudo apt-get upgrade > $sudo apt-get update > $sudo apt-get install libc6-dev-i386 libx11-dev gawk ubuntu 16.04에서 HTK를 설치하기 위해서는 특정 버전의 gcc를 사용해야 한다. 아래를 참고해서 낮은 버전의 gcc를 받도록 하자. [http://askubuntu.com/questions/778794/how-to-install-gcc-4-1-2-on-ubuntu-16-04](http://askubuntu.com/questions/778794/how-to-install-gcc-4-1-2-on-ubuntu-16-04) 위 링크를 들어가도 되고, 아래 파일을 바로 받아서 더블클릭해서 실행해도 된다. [https://drive.google.com/file/d/0B7S255p3kFXNRTkzQnRSNXZ6UVU/view](https://drive.google.com/file/d/0B7S255p3kFXNRTkzQnRSNXZ6UVU/view) [https://drive.google.com/file/d/0B7S255p3kFXNV3J3bnVoWGNWdG8/view](https://drive.google.com/file/d/0B7S255p3kFXNV3J3bnVoWGNWdG8/view) 아래처럼 확인해보니 설치가 되었다. > haeyong@haeyong:~$ ls /usr/bin/gcc >gcc gcc-5 gcc-ar-5 gcc-nm-5 gcc-ranlib-5 gcc34 gcc-ar gcc-nm gcc-ranlib > haeyong@haeyong:~$ ls /usr/bin/g++ > g++ g++34 g++-5 # HTK 설치 아래에서 HTK를 다운한다. [http://htk.eng.cam.ac.uk/download.shtml](http://htk.eng.cam.ac.uk/download.shtml) 대부분의 내용은 아래 사이트에서 참고하였다. [http://www.voxforge.org/home/dev/acousticmodels/linux/create/htkjulius/how-to/download](http://www.voxforge.org/home/dev/acousticmodels/linux/create/htkjulius/how-to/download) HTK 사이트에서 다운 받은 파일의 압축을 풀고, htk 디렉토리로 들어가 아래의 내용을 실행한다. > $linux32 bash <--- 이거는 32bit 환경의 bash를 실행하겠다는 뜻. > $./configure CC=gcc34 > $make make를 하면 tab 대신 space가 있다고 오류가 나는데, gedit 등의 편집기로 htk/Makefile을 열어서 77번째 줄에 있는 spaces를 tab으로 바꾼다. > $gedit /home/haeyong/htk/HLMTools/Makefile 그리고 make를 다시 실행하여 빌드를 마저 끝낸다. > $make 그 다음 아래처럼 해야 된다. 그냥 make install하면 permission문제 때문에 안됨. > $sudo make install 그리고 HCopy 등을 하면 프로그램을 실행할 수 있는 것을 알 수 있다. # HDecode 설치 아래에서 HDecode stable version을 다운한다. [http://htk.eng.cam.ac.uk/prot-docs/hdecode.shtml](http://htk.eng.cam.ac.uk/prot-docs/hdecode.shtml) 다운로드 받은 tar.gz을 압축풀면, htk/HTKLVRec 이라는 디렉토리가 생긴다. 이것을 원래 htk/HTKLVRec에 덮어 씌운다. 그리고 아래를 실행한다. 혹시 몰라 sudo를 붙였다. > $sudo make hdecode install-hdecode 그리고 나면 HDecode 설치까지 완료된다.

Emotion Recognition using GMM-HMM in Kaldi

This is the post of my [previous blog's post](https://gogyzzz.github.io/2017/03/01/emotion-recognition-using-GMMHMM-in-kaldi.html) I wanted to implement this paper [Hybrid Deep Neural Network - Hidden Markov Model (DNN-HMM) Based Speech Emotion Recognition](http://ieeexplore.ieee.org/document/6681449/#full-text-section), So I try to explain how to prepare data set and implement like that paper. And The implementation is made of yesno recipe script of kaldi. First, you should have a little experience about using kaldi in linux environment. There are several references for understanding linux and kaldi. [Linux command line basics - Udacity](https://www.udacity.com/course/linux-command-line-basics--ud595) [Introduction to the use of WFSTs in Speech and Language processing](http://www.lvcsr.com/static/pubs/apsipa_09_tutorial_dixon_furui.pdf) [Kaldi ASR](http://kaldi-asr.org/) [Josh meyer's website](http://jrmeyer.github.io/) <- this is the best material of kaldi for beginner, I think. ## Dataset preparation You can download [Berlin Database of Emotional Speech](http://emodb.bilderbar.info/docu/). And the DB has 535 wave files. Each wave file has a label in 7 types of emotions(anger, boredeom, disgust, anxiety, happiness, sadness, neutral) After downloading, you should split the dataset into training and test set(Maybe the validation set will be needed for training DNN) In my case, I shuffled dataset and splited it into training(50%), test(40%) and validation(10%) set following the paper. (The validation set was not used in this case.) And I prepare the 'wav.scp', 'text', 'spk2utt', 'utt2spk' scripts for each set. You can make spk2utt and utt2spk more detail using specific speaker. But I wanted not to care who the speakers are. These files look like below. These are examples. - files of training set  ## Additional preparation You should also prepare several files of language model. It is really easy.  for removing the cyclic of WFST, I made the G.fst file manually. This tip was [Dan Povey's comment](https://sourceforge.net/p/kaldi/discussion/1355348/thread/d927baef/). In order to prepare G.fst without cyclic, make the txt format file like below.  and compile. > fstcompile --isymbols=words.txt --osymbols=words.txt G.fst.txt G.fst After removing the cyclic, G.fst will be like below. I used 'fstdraw' and 'dot' to extract a pdf format file. > fstdraw --portrait=true --isymbols=words.txt --osymbols=words.txt G.fst | dot -Tpdf > G.pdf  ## Implementation First, set the files and directories paths.  And make the language model. prepare_lang.sh make language model directory using your dictionary directory. You can see sil_prob. it is probability of silence phone. it should be 0.0 for getting better score(only for this experiment). This tip was [Dan Povey's](https://groups.google.com/forum/#!topic/kaldi-developers/z4km_Q8kO0U), too.  Extract MFCC features as having 42 dimensions using defined configure file.   And train GMMHMM model, WFST graph and decode.  If you implemented well, you will get a result. See exp/your_experiment/decode/wer_*. (I think the ratios between language model and acoustic model not important.) I got a WER, 26.51. It means 73% accuracy, it is lower than paper's. I hope if somebody noticed better implementation for me.