Ollama

Ollama
Ohjelmoitu	Go
Lisenssi	MIT
Kotisivu	ollama.com

Ollama on ohjelmisto, joka mahdollistaa suurten kielimallien (LLM) ajamisen ja hallinnan suoraan omalla koneellasi ilman palvelinta.

Pilvimallit ovat nyt esikatselussa, joten voit käyttää suurempia malleja nopealla, palvelinkeskustason laitteistolla. Voit jatkaa paikallisten työkalujen käyttöä samalla, kun käytät suurempia malleja, jotka eivät mahdu henkilökohtaiseen tietokoneeseen. Ollaman pilvi ei säilytä tietojasi yksityisyyden ja turvallisuuden takaamiseksi.

Sama Ollama-kokemus on nyt saumaton sekä paikallisesti että pilvessä, ja se integroituu jo käyttämiisi työkaluihin. Ollaman pilvimallit toimivat myös Ollaman OpenAI-yhteensopivan rajapinnan kautta.

Tiivistelmä keskeisistä asioista

• Sen avulla voit suorittaa avoimen lähdekoodin kielimalleja (kuten Llama 2, Mistral ja Gemma) paikallisesti.
• Se parantaa yksityisyyttä ja turvallisuutta, koska mallit ja tietosi pysyvät omalla laitteellasi. Se tarjoaa myös helpon tavan integroida malleja sovelluksiin API:n kautta.
• Se on saatavilla Linuxille, macOS:lle ja Windowsille.
• Sen perusidea on tehdä paikallisten kielimallien käyttö mahdollisimman yksinkertaiseksi niin kehittäjille kuin harrastajillekin.

Asenna

Ollama voidaan asentaa PIP:in kautta useisiin jakeluihin. Voit myös avata komentorivin ja komentaa:

Komennot, jotka alkavat $-merkillä suoritetaan tavallisena käyttäjänä ja komennot, jotka alkavat #-merkillä suoritetaan pääkäyttäjänä. Katso myös su, sudo ja doas.

# pip install ollama

Vedä seuraavaksi pilvimalli:

ollama pull gpt-oss:120b-cloud

Kun malli on käytettävissä paikallisesti, suorita se Pythonilla:

import ollama
response = ollama.chat(model='gpt-oss:120b-cloud', messages=[
  {
    'role': 'user',
    'content': 'Why is the sky blue?',
  },
])
print(response['message']['content'])

Sisään- ja uloskirjautuminen

Pilvimallit käyttävät päättelylaskentaa ollama.com ja edellyttävät kirjautumista ollama.com:

ollama signin

Jos haluat pysyä kirjautuneena ulos, suorita seuraava:

ollama signout