InseeFrLab/auto-tuning-vllm

Auto-tuning for vllm. Getting the best performance out of your LLM deployment (vllm+guidellm+optuna)

langage: Python - taille: 2,99 Mo - dernière synchronisation: il y a 4 jours - enregistré: il y a 14 jours - étoiles: 6 - forks: 0