Veľké jazykové modely pre generovanie textov

Tento kurz je určený pre každého, kto je fascinovaný schopnosťami veľkých jazykových modelov a generatívnej AI a chce sa ponoriť do tejto problematiky nad rámec úrovne bežného používateľa.

Spoločne sa zoznámime s transformátormi, základnými stavebnými kameňmi moderných jazykových modelov, predstavíme najznámejšie architektúry a ukážeme, ako veľké jazykové modely možno použiť pre rôzne aplikácie. Na cvičné cvičenia nie je potrebný žiadny platený účet tretej strany. Použijeme modely s otvoreným zdrojovým kódom, ktoré sú pri správnom použití rovnako dobré ako najväčšie komerčné modely.

• Základné znalosti programovania v jazyku Python
• Znalosť strojového učenia na úrovni kurzu Úvod do strojového učenia.

Machine Learning College materiály

• Generatívna umelá inteligencia pre text a obrázky
• Vývoj jazykového modelovania
• Transformátory
• Typy transformátorov na modelovanie jazyka (kódovač, dekodér, kódovač-dekodér)
• Posilňovacie učenie s ľudskou spätnou väzbou (RLHF)
• Vybrané modely pre transformátorové jazykové modelovanie (BERT, GPT, LLAMA, T5, BART...)
• Praktický príklad klasifikácie textu pomocou transformátorov pomocou knižnice HuggingFace v Google Colab
• Promptné inžinierstvo: in-context learning, zero shot, one shot and few shot prompting, najdôležitejšie konfiguračné parametre generatívnych procesov
• Praktický príklad učenia sa v kontexte pomocou knižnice HuggingFace v Google Colab
• Jemné doladenie veľkých jazykových modelov a parametricky efektívne jemné doladenie (LoRA)
• Hodnotenie generatívnych jazykových modelov (ROUGE, BLEU)
• Praktický príklad použitia parametricky efektívneho jemného doladenia pomocou knižnice HuggingFace v Google Colab
• Načítanie rozšírenej generácie (RAG)
  

Predošlé kurzy

Python I - úvod do programovania [PYTHON_INTRO]

Úvod do strojového učenia [MLC_INTRO]