Fine-tuning (doladění modelu)
Proces dalšího trénování předtrénovaného LLM modelu na vlastních datech pro specializaci na konkrétní úkol nebo styl.
Co je fine-tuning?
Fine-tuning (doladění) je proces, při kterém vezmete již existující předtrénovaný LLM model (např. GPT-4o mini) a dále ho trénujete na svých vlastních datech, aby se specializoval na konkrétní úkol, styl nebo doménu.
Fine-tuning vs. RAG
| Fine-tuning | RAG |
|---|---|
| - Znalosti jsou „zabudované" v modelu | - Znalosti se načítají za běhu z databáze |
| - Vhodný pro styl a chování | - Vhodný pro aktuální a specifická fakta |
| - Vyžaduje přetrénování při aktualizaci | - Stačí aktualizovat databázi |
| - Vyšší počáteční náklady | - Nižší počáteční náklady |
Kdy fine-tuning použít
- Přizpůsobení tónu a stylu komunikace (např. formální vs. neformální)
- Trénování na specifickém formátu výstupu
- Specializace na úzkou doménu (právní, lékařský jazyk)