OpenAI Whisper on yleiskäyttöinen puheentunnistusmalli, joka pystyy suorittamaan monikielisen puheentunnistuksen, puheen kääntämisen ja kielen tunnistuksen.
Tämän ohjeen sisältö:
- Tuetut kielet
- Klusteri
- Tietojen lataaminen Lehmus-laskentaympäristöön
- Transkription-työpohjan valmistelu
- Työn valmistelu
- Lataustulokset
Tuetut kielet
Tuetut kielet ovat: afrikaans, arabia, armenia, azeri, bosnia, bulgaria, espanja, englanti, galicia, heprea, hindi, hollanti, indonesia, islanti, italia, japani, kanada, katalaani, kazakki, kiina, korea, kreikka, kroatia, latvia, liettua, makedonia, malaiji, maori, marathi, nepali, norja, persia, puola, portugali, ranska, romania, saksa, serbia, slovakki, sloveeni, suahili, suomi, ruotsi, tagalog, tamili, tanska, thai, tsekki, turkki, ukraina, unkari, urdu, valkovenäjä, venäjä, vietnam, viro ja welsh.
Klusteri
Lehmus-laskentaklusterissa Whisper on helposti hyödynnettävissä valmiin työpohjan avulla. Klusterin avulla voit käyttää nopeampia näytönohjaimia, joilla on tarpeeksi muistia suuren mallin ajamiseen. Henkilökohtaisessa kannettavassa tietokoneessa voit käyttää suurta mallia suorittimessa, mutta se voi olla hidas. Myös kuvatun menetelmän käyttäminen hyödyntää parhaiten rajallisia resurssejamme verrattuna vuorovaikutteiseen työhön, joka vaatii täyden näytönohjaimen, mutta ei hyödynnä sitä täysin.
Tietojen lataaminen Lehmus-laskentaympäristöön
Ei-tekninen käyttäjä voi ladata tietoja Lehmukselle Lehmus OnDemandin avulla. Portaalissa voit avata File-sovelluksen ja valita ”Home directoryn”. Tämä on Linux-kotihakemistosi ja voit käyttää sitä haastattelujen ja muun arkaluontoisen materiaalin tallentamiseen.
Luo kotihakemistoosi uusi kansio, jota kutsutaan nimellä ”whisper” (huomaa, että tiedostojen nimet ovat tapauskohtaisia). Tämä voidaan tehdä ”New Folder” -kohteella. Jos sinulla on ”whisper”-kansio, sinun ei tarvitse luoda sitä uudelleen. Tämän jälkeen siirry kansioon ja voit käyttää ”Load”-painiketta ääni- tai videotiedostojen siirtämiseen palvelimelle. Jos sinulla on ongelmia levykiintiön riittävyyden kanssa, voit pyytää sitä lisää osoitteesta ict@oulu.fi.
Transkription-työpohjan valmistelu
Nyt kun palvelimella on tietoaineisto, voit luoda työn, joka suorittaa whisper-mallin tietoaineistossa. Olemme laatineet yksinkertaisen työpohjan, joka suorittaa mallin äänitiedostoillesi.
Avaa ensin Lehmus OnDemand ja sivun yläosasta ”Jobs” -valikko ja valitse ”Job Composer”. Siellä voit luoda uutta työtä mallipohjalta. Meillä on muutamia malleja, joita voit käyttää, mutta tässä tapauksessa meidän pitäisi käyttää Whisper transcribe -mallia. Kun olet valinnut sen, voit painaa ”Create New Job” -painiketta.
Työn valmistelu
Nyt kun meillä on uusi työ, meidän pitäisi sopeuttaa se toimimaan tiedostojemme kanssa. Valitse ensin luotu työ ja sen jälkeen mene oikealla puolella ”Submit Script” -osioon ja valitse ”Open Editor”. Tämä avaa job.sh-tiedoston editorille.
Editorissa etsi rivit, jotka sisältävät WORKDIRin ja AUDIOFILEn. Meidän pitäisi muokata näitä niin, että ne sisältävät työhakemiston nimet, tässä esimerkissä se on whisper ja lataamasi ääninimi. Alla on esimerkki muokatusta job.sh-tiedostosta, joka käyttää haastattelu.m4a-tiedostoa.
#!/bin/bash
#SBATCH –partition=normal
#SBATCH –gres=gpu:a30:1
#SBATCH –mem=12G
#SBATCH –cpus-per-task=2
#SBATCH –time=01:00
# Load whisper
echo ”Load Whisper”
module load whisper
# Path to file that we will transcribe #
# Edit these to locate your file #
########################################
WORKDIR=$HOME/whisper/
AUDIOFILE=$WORKDIR/haastattelu.m4a
# Whisper parameters #
######################
# Select model
# – tiny
# – base
# – small
# – medium
# – large
MODEL=large
# Language
# Supported languages:
# Afrikaans, Arabic, Armenian, Azerbaijani, Belarusian, Bosnian, Bulgarian,
# Catalan, Chinese, Croatian, Czech, Danish, Dutch, English, Estonian,
# Finnish, French, Galician, German, Greek, Hebrew, Hindi, Hungarian,
# Icelandic, Indonesian, Italian, Japanese, Kannada, Kazakh, Korean,
# Latvian, Lithuanian, Macedonian, Malay, Marathi, Maori, Nepali,
# Norwegian, Persian, Polish, Portuguese, Romanian, Russian, Serbian,
# Slovak, Slovenian, Spanish, Swahili, Swedish, Tagalog,
# Tamil, Thai, Turkish, Ukrainian, Urdu, Vietnamese and Welsh.
LANGUAGE=Finnish
# Task
# – translate
# – transcribe
TASK=transcribe
# Run the task
echo ”Start Whisper”
cd $WORKDIR
time whisper $AUDIOFILE –model $MODEL –task $TASK –language $LANGUAGE
echo ”Done”
Tämän jälkeen voit tallentaa tiedoston ja sulkea avatun välilehden. Nyt voit suorittaa työn painamalla Submit-painiketta. Tämä käynnistää työn Lehmusklusterissa ja sen suorittaminen kestää jonkin aikaa. Kun työ on tehty, se näyttää tilan Completed ja jos palaat Files > Home Directory > whisper folder, näet luodut transkriptiotiedostot. Jos et näe tiedostoja siellä, voit tarkistaa slurm-id.out-tiedostot Job Composer -palvelusta ja se voi kertoa, mikä meni pieleen. Todennäköisesti kirjoitit AUDIOFILE-nimen väärin. Huomaa, että tiedostojen nimet ovat tapauskohtaisia.
Lataustulokset
Voit ladata tulokset Lehmus OnDemand-portaaleista polulla Files > Home Directory > whisper. Siellä voit valita tiedostoja, jotka haluat ladata ja käyttää Download-painiketta aloittaaksesi lataamisen.