Popis kurzu
Získejte základní informace o nasazení umělé inteligence díky tomuto technickému přehledu Red Hat AI Inference Server. Zjistěte, jak řešit složitosti a náklady na provoz modelů AI v produkci. Zjistěte, jak řešení společnosti Red Hat založené na vLLM optimalizuje výkon a přináší významné úspory nákladů v cloudových, lokálních, virtualizovaných a okrajových prostředích. Ponořte se do pokročilých technik, jako je kvantizace a spekulativní dekódování, a rozšiřte tak možnosti odvozování AI. Tento videoobsah na vyžádání demonstruje bezproblémové nasazení a správu modelů v rámci OpenShift AI a ukazuje, jak můžete dosáhnout bezkonkurenční efektivity a flexibility pro vaše pracovní zátěže AI.
Shrnutí kurzu
- Co je to inference?
- Problémy s inferencí
- Řešení Red Hat AI Inference Server
- Integrace portfolia Red Hat AI
- Flexibilita nasazení
- Nástroj pro kompresi LLM (kvantizace)
- Techniky optimalizace výkonu (kV Cache, spekulativní dekódování, tenzorová paralelní inference)
- Případové studie
- Nasazení a správa modelu
- Připojení úložišť pro modely
- Metriky a monitorování
- Integrace objímacích tváří
Osnova tohoto kurzu
- Co je to odvozování?
- Problémy s inferencí
- Řešení Red Hat AI Inference Server
- Integrace portfolia Red Hat AI
- Flexibilita nasazení
- Nástroj pro kompresi LLM (kvantizace)
- Techniky optimalizace výkonu (kV Cache, spekulativní dekódování, tenzorová paralelní inference)
- Případové studie
- Nasazení a správa modelu
- Připojení úložišť pro modely
- Metriky a monitorování
- Integrace objímacích tváří
Posluchači tohoto kurzu
- Inženýři a odborníci z praxe v oblasti AI/ML
- Inženýři DevOps
- Cloudoví architekti a inženýři
- Techničtí pracovníci s rozhodovacími pravomocemi
Doporučená školení
- Pro tento technický přehled nejsou žádné předpoklady
Úvahy o technologiích