CUDA
KI & Infrastruktur
CUDA ist NVIDIAs Plattform für paralleles Rechnen auf GPUs.
Neben ROCm eine gängige Basis für lokale LLM-Inferenz, Training-nahe Experimente und beschleunigte Auswertung — abhängig von der verfügbaren Hardware.
Neben ROCm eine gängige Basis für lokale LLM-Inferenz, Training-nahe Experimente und beschleunigte Auswertung — abhängig von der verfügbaren Hardware.
Praxis
Anwendungsbeispiele
- NVIDIA-Workstation lokale Inferenz mit hoher Parallelität
- Serving-Stack vLLM oder llama.cpp auf CUDA-Backend
- Vergleichsmessungen Durchsatz und Latenz vor Produktivsetzung
Stack
Werkzeuge
- NVIDIA Driver / Toolkit
- cuBLAS / TensorRT wo sinnvoll
- Monitoring (nvidia-smi)
Zu diesem Tag sind derzeit keine veröffentlichten Leistungen oder Projekte verknüpft.