LiteLLM
Verktyget finns i två former. Som kodbibliotek anropar ni över hundra leverantörer med samma funktion direkt i er egen kod. Som proxy, alltså en tjänst som står emellan, får hela laget en gemensam ingång med egna nycklar per person, kostnadsräkning och automatiskt byte till en annan modell om en leverantör ligger nere. Det sista är oftast poängen. Kostnadsräkningen gör att ni ser vad AI-delen kostar per kund, vilket annars är svårt att gissa sig till. För ett UF-företag som säljer något med AI i är det skillnaden mellan att sätta ett pris och att hoppas. Koden är öppen, och företaget bakom säljer en företagsversion med inloggning och support.
Vad det är
LiteLLM lägger sig framför alla era AI-leverantörer och ger dem ett gemensamt gränssnitt. Byter ni modell ändrar ni en rad i inställningarna i stället för att skriva om koden. Det finns både som kodbibliotek och som fristående tjänst.
Guider som nämner verktyget
Ingen guide nämner verktyget ännu.
- Driftform
- Server/VPS
- Kategori
- AI och LLM
- Webbplats
- github.com
- Kodrepo
- github.com/BerriAI/litellm