Valodu tehnoloģiju pamati (DatZ1373)

LU Datorikas fakultātes Bakalaura studiju programmas kurss

Praktiskie darbi

Rīkkopas valodas resursu priekšapstrādei

1. Teksta izgūšana: TextExtraction.ipynb
2. Teksta priekšapstrāde: TextPreprocessing.ipynb

Galīgie automāti un pārveidotāji

3. Morfoloģiskā analīze un sintēze: HFST.ipynb
4. Teksta izvēršana un savēršana: Thrax.ipynb, Pynini.ipynb

Gramatiskā analīze

5. Latviešu valodas morfoloģiskais analizators un sintezators: TezaursAPI.ipynb
6. Rīkkopas universālo atkarību parsēšanai: ParsingUD.ipynb

Statistiskie valodas modeļi

7. N-grammu modeļi: NGram.ipynb
8. Word2vec apmācība un lietojums: Word2vec.ipynb
9. Teksta klasificēšana: LangID.ipynb, NaiveBayes.ipynb

Neironu valodas modeļi

10. Teksta klasificēšana: fastText.ipynb (1-layer, linear) → BERT.ipynb (deep, non-linear)
11. Modeļi un demonstrācijas Hugging Face platformā:

• Skatīt Tasks, piemēram:
  • Feature Extraction: AiLab-IMCS-UL/lvbert
  • Fill-Mask: google-bert/bert-base-cased
  • Sentence Similarity: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

12. Vārdšķiru un morfoloģiskā marķēšana (Part of Speech (POS) Tagging): POS_tagging.ipynb
13. Nosaukto entitāšu marķēšana (Named entity recognition): NER.ipynb

BSSDH 2024 Workshop 4

14. Introduction: slides
15. Hands-on session: notebook (draft)
16. Initial results: corpus (vers. 0.1)

Ievads datorlingvistikā (SDSKM018)

LU HZF magistra studiju programmas kurss

1. Teksta korpusa izveide: notebook

2. Teksta korpusa marķēšana: notebook korpuss

Autori

prof. Inguna Skadiņa
asoc. prof. Normunds Grūzītis
asistents Viesturs Jūlijs Lasmanis

Atbalsts

Kursa izstrādi finansē Eiropas Savienības Atveseļošanas un noturības mehānisma investīcija un valsts budžets projekta “Valodu tehnoloģiju iniciatīva” (2.3.1.1.i.0/1/22/I/CFLA/002) ietvaros.