LLM Harbor
LLM Harbor paketerar stora språkmodeller och tillhörande tjänster i containrar så att du kan köra allt lokalt eller på en egen server. Du startar backendar som Ollama eller vLLM, lägger till en chattfrontend och kopplar in hjälptjänster med ett fåtal kommandon. Det passar den som vill experimtera med flera modeller utan att manuellt installera beroenden. Allt körs via Docker, så uppsättningen blir återupprepningsbar. För den som vill ha en lokal LLM-lab är det här en smidig ingång. Du kan byta modeller och tjänster utan att pilla med systempaket.
What it is
LLM Harbor är ett containerbaserat verktyg för att köra språkmodeller där du startar backends, API:er och frontend via ett kort kommandoradsgränssnitt utan att manuellt installera beroenden.
Guides that mention the tool
No guide mentions the tool yet.
- Business structure
- Server/VPS
- Category
- AI & LLM
- Website
- github.com
- Code repository
- github.com/av/harbor