htk - tutorial. Część 1

Gdy działa już przykład czas najwyższy stworzyć coś własnego. Bazując na książce udostępnionej na głównej stronie o htk chciałabym opisać kolejne kroki. Zwłaszcza, że w języku polskim trudno cokolwiek znaleźć na ten temat. Przykład który tu opisuję to głosowy interfejs do wybierania numeru.

Więcej...

Aby cokolwiek zrobić najpierw trzeba przygotować dane. Będą nam one potrzebne do nauczenia programu oraz do testowania.

1. Gramatyka.
W celu opisania gramatyki należy się posłużyć notacją BNF:
$digit = ONE | TWO | THREE | FOUR | FIVE | SIX | SEVEN | EIGHT | NINE | OH | ZERO;
$name = [ JOOP ] JANSEN | [ JULIAN ] ODELL | [ DAVE ] OLLASON | [ PHIL ] WOODLAND |[ STEVE ] YOUNG;
( SENT-START ( DIAL <$digit> | (PHONE|CALL) $name) SENT-END )

Gdzie | oznacza alternatywy (OR), nawiasy [] - opcjonalne przedmioty, () - jeden lub więcej powtórzeń.
Aby jednak nasz system rozumiał wyraźnie nasz słowa należy się posłużyć notacją SLF. Jednak dla wygody użytkownika została stworzona specjalny mechanizm, który tłumaczy z BNF na SLF. W tym celu należy napisać HParse gram wdnet.

2. Słownik.
Na początek należy stworzyć posortowaną listę słów/zdań potrzebnych do systemu. Przykładowe poniższe ponumerowane zdania pochodzą z bazy TIMIT:
S0001 ONE VALIDATED ACTS OF SCHOOL DISTRICTS
S0002 TWO OTHER CASES ALSO WERE UNDER ADVISEMENT
S0003 BOTH FIGURES WOULD GO HIGHER IN LATER YEARS
Te zdania mogłyby już zostać przez nas użyty do listy treningowej (wlist od word list), ale wpierw jeszcze trzeba pozamieniać spacje na nowe linie. W tym celu można użyć funkcji prompts2wlist z katalogu HTKTutorial.
Sam słownik może być zbudowany za pomocą standardowego źródła HDMan. W tym przykładzie będzie użyty angielski słownik wymowy BEEP. Zostanie on zaadoptowany bez żadnych modyfikacji poza tym, że krótkie pauzy (sp od short-pause) zostaną dodane po każdej wymowie oraz wszelkie akcenty zostaną usunięte. Jeśli słownik będzie zawierał ciszę to wtedy zostanie połączone sp z sil (od silent) i będzie pojedynczy znak sil. Te zmiany mogą być dokonane przy wykorzystaniu HDMan oraz wykorzystaniu ewentualnych skryptów edytujących zawierających często następujące trzy linijki:
AS sp
RS cmu
MP sil sil sp.
(cmu oznacza poziom akcentu).
Następująca komenda utworzy nam słownik nazwany dict przez wyszukiwanie wymowy ze słownika beep i names wszystkich wyrazów znajdujących się w wlist:
HDMan -m -w wlist -n monophones1 -l dlog dict beep names
-l dlog to różne statystyki tworzenia słownika. W szczególności pokazuje cy nie brakuje jakiś słów. W przykładzie nasze zestawy treningowe nazywają się monophones1. Zwyczajowy format wejścia każdego słownika wygląda następująco:
WORD [outsym] p1 p2 p3 ....
które oznacza, że słowo WORD jest wymawiana jako sekwencja p1 p2 p3... . Nazwa w nawiasach [] (outsym w naszym przypadku) oznacza string, który znajdzie się na wyjściu w przypadku rozpoznaniu tego słowa. Gdy wyrazu nie będzie wewnątrz [] wtedy nic nie będzie na wyjściu. Jeśli nawias zostanie pominięty to string na wyjściu będzie jak słowo. Oto kilka przykładów:
A ah sp
A ax sp
A ey sp
CALL k ao l sp
DIAL d ay ax l sp
EIGHT ey t sp
PHONE f ow n sp
SENT-END [] sil
SENT-START [] sil
SEVEN s eh v n sp
TO t ax sp
TO t uw sp
ZERO z ia r ow sp

htk - demo

Ostatnio było o zainstalowaniu samego htk. Teraz napiszę jak uruchomić przykład podany na stronie. Bo nawet to robi się jakoś inaczej niż zwykłe uruchomienie demo :).
zanim jednak zabierzemy się za uruchamianie przykładu należy ściagnąć sobie (najlepiej najnowszą) wersję Perla na Windowsy. (pobrać można np. stąd www.perl.org).

Więcej...

Teraz możemy juz postępować zgodnie ze schematem, który jest przedstawiony na głównej stronie htk. Czyli otwieramy linię komend (uruchom->cmd). A potem po kolei wpisujemy (warto pamiętać że strzałkami możemy wpisać poprzednią komendę:

cd HTKDemo
mkdir hmms
cd hmms
mkdir tmp
mkdir hmm.0
mkdir hmm.1
mkdir hmm.2
mkdir hmm.3
cd ..
mkdir proto
mkdir acc
mkdir test
perl runDemo.pl configs\monPlainM1S1.dcf 

Program powinien się wykonać a na końcu powinny wyjść wyniki:
SENT: %Correct=0.00 [H=0, S=3, N=3] WORD: %Corr=63.91, Acc=59.40 [H=85,
D=35, S=13, I=6, N=133]

rozpoznawanie mowy

transkrypcja. każdy socjolog wie, jak ciężkie zadanie to jest. a i co poniektórzy studenci i zapaleńcy ile czasu trzeba poświęcić, aby zapisać to co ktoś po prostu mówił. Stąd moje zainteresowanie rozpoznawaniem mowy (i zapisywaniem).

Więcej...

System rozpoznawania mowy to ogólnie sumowanie pojedynczych sygnałów zakodowanych w postaci sekwencji jednej lub wielu symboli. Główne problemy to:
1. nie zawsze jedna głoska oddaje jeden symbol (i nie zawsze ten sam) (nieznana granica słowa także)
2. Są różne sposoby zrealizowania mowy ze względu na różnorodność mówcy, środowiska, nastroju, itp.

Są dwie podstawowe biblioteki wspomagające oprogramowanie tego typu: htk i shpinx. Na razie zaczęłam od htk.

Na początek należy wszystko ściągnąć z oficjalnej strony: http://htk.eng.cam.ac.uk/. Wszystko to znaczy paczkę źródłową, przykłady i książkę (a przynajmniej ja tak zrobiłam). HTK jest biblioteką wieloplatformową. Aby uruchomic ją na Linuxie potrzebny jest jednak program Cygwin. Na platformie Windows potrzebny jest Microsoft Visual oraz perl.

Gdy mamy zainstalowanego Visuala możemy się posłużyć tym mini tutorialem do zainstalowania samego htk:
1. w wierszu poleceń należy dodaż ścieżkę Visual Studio, robi się to tak:
PATH C:\Program Files\Microsoft Visual Studio 9.0\VC\bin %PATH% (procenty sprawiają, że na koniec się dopisuje ścieżka, w razie czego wpisz help PATH do cmd)
(lepiej jednak dodac te zmienna w Mój komputer->właściwości->zaawansowane->zmienne środowiskowe)
2. sprawdź czy ścieżka została dodana -> wpisz PATH, jeżeli jest no to ok.
3. Wróć następnie do folderu gdzie masz HTK (o nazwie HTK 3-4.1) przejdź do folderu htk i stwórz tam folder o nazwie bin.win32 wpisując: mkdir bin.win32
4. uruchom możliwość cmd z Visuala poleceniem: vcvars32
5. wejdź do folderu HTKLib (cd HTKLib) i wpisz: nmake /f htk_htklib_nt.mkf all (powinien się wykonać makefile)
6. przechodzimy katalog wyżej (cd ..) i wchodzimy do folderu . Wpisujemy: nmake /f htk_htktools_nt.mkf all. Analogicznie robimy dla folderów: hlmlib, hlmtools
W przypadku pojawienia się Link: error spróbujcie uruchomić samego link (w folderze \bin) jeśli wyskakuje komunikat, ze brak mu dlla to znajdźcie go i dodajcie tę ścieżkę także, u mnie to było: C:\Program Files\Microsoft Visual Studio 9.0\Common7\IDE

I się nie przejmujcie że przy niektórych bibliotekach makefile się nie wykona (pojawią się tylko 2 linijki).
Na koniec w pliku bin.win32 powinny być pliki exe.