Ollama

Ollama
Ohjelmoitu	Go
Lisenssi	MIT
Kotisivu	ollama.com

Ollama on ohjelmisto, joka mahdollistaa suurten kielimallien (LLM) ajamisen ja hallinnan suoraan omalla koneellasi ilman palvelinta.

Tiivistelmä keskeisistä asioista

• Sen avulla voit suorittaa avoimen lähdekoodin kielimalleja (kuten Llama 2, Mistral ja Gemma) paikallisesti.
• Se parantaa yksityisyyttä ja turvallisuutta, koska mallit ja tietosi pysyvät omalla laitteellasi. Se tarjoaa myös helpon tavan integroida malleja sovelluksiin API:n kautta.
• Se on saatavilla Linuxille, macOS:lle ja Windowsille.
• Sen perusidea on tehdä paikallisten kielimallien käyttö mahdollisimman yksinkertaiseksi niin kehittäjille kuin harrastajillekin.

Asenna

Ollama voidaan asentaa PIP:in kautta useisiin jakeluihin. Voit myös avata komentorivin ja komentaa:

Komennot, jotka alkavat $-merkillä suoritetaan tavallisena käyttäjänä ja komennot, jotka alkavat #-merkillä suoritetaan pääkäyttäjänä. Katso myös su, sudo ja doas.

# pip install ollama

Vedä seuraavaksi pilvimalli:

ollama pull gpt-oss:120b-cloud

Kun malli on käytettävissä paikallisesti, suorita se Pythonilla:

import ollama
response = ollama.chat(model='gpt-oss:120b-cloud', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

Sisään- ja uloskirjautuminen

Pilvimallit käyttävät päättelylaskentaa ollama.com ja edellyttävät kirjautumista ollama.com:

ollama signin

Jos haluat pysyä kirjautuneena ulos, suorita seuraava:

ollama signout