Sujet: "llm-inference"
InseeFrLab/auto-tuning-vllm
Auto-tuning for vllm. Getting the best performance out of your LLM deployment (vllm+guidellm+optuna)
langage: Python - taille: 2,99 Mo - dernière synchronisation: il y a environ 4 heures - enregistré: il y a environ un mois - étoiles: 8 - forks: 0
