LLM Harbor
LLM Harbor paketerar stora språkmodeller och tillhörande tjänster i containrar så att du kan köra allt lokalt eller på en egen server. Du startar backendar som Ollama eller vLLM, lägger till en chattfrontend och kopplar in hjälptjänster med ett fåtal kommandon. Det passar den som vill experimtera med flera modeller utan att manuellt installera beroenden. Allt körs via Docker, så uppsättningen blir återupprepningsbar. För den som vill ha en lokal LLM-lab är det här en smidig ingång. Du kan byta modeller och tjänster utan att pilla med systempaket.
Vad det är
LLM Harbor är ett containerbaserat verktyg för att köra språkmodeller där du startar backends, API:er och frontend via ett kort kommandoradsgränssnitt utan att manuellt installera beroenden.
Guider som nämner verktyget
Ingen guide nämner verktyget ännu.
- Driftform
- Server/VPS
- Kategori
- AI och LLM
- Webbplats
- github.com
- Kodrepo
- github.com/av/harbor