Ollama

Ollama
Ohjelmoitu	Go
Lisenssi	MIT
Kotisivu	ollama.com

Ollama on avoimen lähdekoodin ohjelmisto, joka on suunniteltu suurten kielimallien (LLM, Large Language Model) ajamiseen suoraan käyttäjän omalla tietokoneella (paikallisesti) ilman erillistä palvelininfrastruktuuria.

Sovellus on saatavilla Linuxille, macOS:lle ja Windowsille. Se tarjoaa helppokäyttöisen komentorivikäyttöliittymän (CLI) ja tausta-ajona toimivan palvelun. Vaikka Ollama toimii suorittimella (CPU), se hyödyntää optimaalisesti GPU-kiihdytystä (erityisesti NVIDIA:n CUDA:a tai AMD:n ROCia.

Keskeiset hyödyt

Ollaman suosio perustuu sen tarjoamiin etuihin verrattuna pilvipohjaisiin ratkaisuihin.

• Yksityisyys ja Turvallisuus: Malli ajetaan ja data käsitellään omalla laitteella, mikä varmistaa paremman tietosuojan, sillä tieto ei siirry ulkopuolisille palvelimille.
• Suorituskyky: Mallien ajaminen paikallisesti voi tarjota paremman suorituskyvyn (matalamman viiveen) kuin pilvipohjaiset järjestelmät.
• Kustomointi: Mahdollistaa omien, räätälöityjen mallien luomisen ja olemassa olevien mallien hienosäädön (adapteripohjainen hienosäätö) Modelfile-tiedoston avulla.
• Integraatio: Tarjoaa helpon API-integraation kehittäjille.

Tuetut mallit

Ollama tukee useita suosittuja avoimen lähdekoodin kielimalleja, joita käyttäjä voi ladata ja ajaa yhdellä komennolla:

ollama run [mallin nimi]

• Llama 2 ja Llama 3 (Meta)
• Mistral
• Gemma (Google)
• Code Llama
• Phi-2
• Sekä useita muita, pienempiä ja erikoistuneempia malleja.

Se parantaa yksityisyyttä ja turvallisuutta, koska mallit ja tietosi pysyvät omalla laitteellasi. Se tarjoaa myös helpon tavan integroida malleja sovelluksiin API:n kautta.

• Se on saatavilla Linuxille, macOS:lle ja Windowsille.
• Sen perusidea on tehdä paikallisten kielimallien käyttö mahdollisimman yksinkertaiseksi niin kehittäjille kuin harrastajillekin.

Asenna

Ollama voidaan asentaa PIP:in kautta useisiin jakeluihin. Voit myös avata komentorivin ja komentaa:

Komennot, jotka alkavat $-merkillä suoritetaan tavallisena käyttäjänä ja komennot, jotka alkavat #-merkillä suoritetaan pääkäyttäjänä. Katso myös su, sudo ja doas.

# pip install ollama

Vedä seuraavaksi pilvimalli:

ollama pull gpt-oss:120b-cloud

Kun malli on käytettävissä paikallisesti, suorita se Pythonilla:

import ollama
response = ollama.chat(model='gpt-oss:120b-cloud', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

Sisään- ja uloskirjautuminen

Pilvimallit käyttävät päättelylaskentaa ollama.com ja edellyttävät kirjautumista ollama.com:

ollama signin

Jos haluat pysyä kirjautuneena ulos, suorita seuraava:

ollama signout