GitHub / InseeFrLab / auto-tuning-vllm
Auto-tuning for vllm. Getting the best performance out of your LLM deployment (vllm+guidellm+optuna)
JSON API: https://data.code.gouv.fr/api/v1/hosts/GitHub/repositories/InseeFrLab%2Fauto-tuning-vllm
étoiles: 6
forks: 0
issues ouvertes: 15
licence: apache-2.0
langage: Python
taille: 2,99 Mo
dépendances analysées: En attente
date de création: il y a 6 mois
date de mise à jour: il y a 21 jours
enregistré: il y a 27 jours
dernière synchronisation: il y a 1 jour
Sujets: benchmarking, gpu, guidellm, hyperparameter-optimization, llm-inference, llm-serving, llmops, optuna, speculative-decoding, vllm
Loading...