Installera LobeChat

Vad LobeChat är

Ett eget chattgränssnitt mot språkmodeller, som du kör på din egen dator. Det ser ut ungefär som de chattjänster du redan använt, men du bestämmer själv vilken modell som svarar och var samtalen sparas.

Två saker gör det intressant för ett företag. Du kan bygga egna assistenter med färdiga instruktioner, till exempel en som svarar kundmejl i din ton, och dela dem i företaget. Och du kan köra mot en modell som ligger på din egen dator, vilket betyder att texten aldrig lämnar maskinen.

Programmet hette tidigare LobeChat och kallas numera även LobeHub. Det är samma sak.

Det här är ett serverprogram

LobeChat installeras inte som ett vanligt program. Det är en webbtjänst som körs i en container och som du når via webbläsaren. Verktyget som kör containern är Docker, samma som i Installera Docker. Har du inte Docker på plats, börja där och kom tillbaka hit.

På Windows innebär Docker Desktop att du också får WSL2, alltså Windows inbyggda Linux. Det installeras normalt automatiskt av Docker Desktop, men blir du tillfrågad om det ska du svara ja. Utan WSL2 startar ingen container.

Gratisvägen först: LobeChat plus Ollama

Nästan varje guide på nätet börjar med att du ska klistra in en API-nyckel från en betaltjänst. En sådan nyckel kostar pengar per meddelande, och för ett företag som räknar varje krona är det fel ställe att börja.

Det finns en väg utan nyckel. Ollama är ett gratis program som kör en språkmodell direkt på din dator, och LobeChat pratar med den lika gärna som med en betaltjänst. Installera Ollama från ollama.com, både Windows och Linux finns, och hämta sedan en modell:

ollama pull llama3.2

Innan du startar containern ska Ollama släppa in den. Från början lyssnar Ollama bara på den egna datorn, och en container räknas som något annat. Sätt därför OLLAMA_HOST till 0.0.0.0 och starta om Ollama. På Linux Mint:

sudo systemctl edit ollama

Lägg in raden [Service] och under den Environment="OLLAMA_HOST=0.0.0.0", spara, och kör sedan sudo systemctl restart ollama. På Windows avslutar du Ollama i aktivitetsfältet, lägger till OLLAMA_HOST med värdet 0.0.0.0 under Miljövariabler i Windows-inställningarna, och startar programmet igen. Hoppar du över det här får du tomma svar i LobeChat senare, utan att något felmeddelande förklarar varför.

Starta därefter LobeChat. På Windows räcker en rad, för Docker Desktop känner redan till namnet host.docker.internal, alltså värddatorn sedd inifrån containern:

docker run -d -p 3210:3210 --name lobe-chat -e OLLAMA_PROXY_URL=http://host.docker.internal:11434 -e OLLAMA_ORIGINS=* lobehub/lobe-chat

Sätt gärna även ACCESS_CODE till ett eget lösenord, annars kan vem som helst som hittar adressen använda tjänsten.

På Linux Mint finns inte det namnet, och då hittar containern aldrig Ollama. Lägg till flaggan som skapar namnet åt dig:

docker run -d -p 3210:3210 --name lobe-chat --add-host=host.docker.internal:host-gateway -e OLLAMA_PROXY_URL=http://host.docker.internal:11434 lobehub/lobe-chat

Surfa till http://localhost:3210, välj Ollama som leverantör i inställningarna och välj modellen du hämtade. Nu fungerar allt, och ingenting kostar.

Behöver du senare en större modell än vad datorn orkar med går det att lägga till en betald nyckel i samma inställningar. Då vet du åtminstone vad du betalar för, och varför.

Tre saker att göra först

1. Kontrollera att kopplingen till Ollama fungerar innan du gör något annat. Ställ en fråga i LobeChat och se att ett svar kommer. Blir svaret tomt är det nästan alltid OLLAMA_HOST som inte fick fäste, eller flaggan --add-host som saknas på Linux Mint.
2. Bygg en egen assistent innan du bygger tio. Ge den en tydlig instruktion, till exempel att den alltid svarar på svenska och håller sig under fem meningar. Skillnaden mot en tom chatt är större än du tror.
3. Välj modell efter datorn, inte efter vad som låter bäst. En modell med tre miljarder parametrar går på en vanlig bärbar. En med sjuttio gör det inte, och du märker det på att svaren tar minuter i stället för sekunder.

Den vanligaste fällan

Att lägga en API-nyckel i en fil och sedan lägga filen på GitHub. Nyckeln är ett lösenord som kostar pengar när någon annan använder det, och botar som söker igenom nya publika repon efter nycklar hittar dem inom minuter. Det finns gott om berättelser om räkningar på tiotusentals kronor som uppstått precis så.

Håll därför nycklarna i LobeChats egna inställningar i webbläsaren, eller i en fil som heter .env och som står med i .gitignore. Och kör du mot Ollama finns ingen nyckel alls att läcka, vilket är ytterligare ett skäl att börja där.