Ollama
| Ollama | |
|---|---|
| Ohjelmoitu | Go |
| Lisenssi | MIT |
| Kotisivu | ollama.com |
Ollama on avoimen lähdekoodin ohjelmisto, joka on suunniteltu suurten kielimallien (LLM, Large Language Model) ajamiseen suoraan käyttäjän omalla tietokoneella (paikallisesti) ilman erillistä palvelininfrastruktuuria.
Sovellus on saatavilla Linuxille, macOS:lle ja Windowsille. Se tarjoaa helppokäyttöisen komentorivikäyttöliittymän (CLI) ja tausta-ajona toimivan palvelun. Vaikka Ollama toimii suorittimella (CPU), se hyödyntää optimaalisesti GPU-kiihdytystä (erityisesti NVIDIA:n CUDA:a tai AMD:n ROCia.
Keskeiset hyödyt
Ollaman suosio perustuu sen tarjoamiin etuihin verrattuna pilvipohjaisiin ratkaisuihin.
- Yksityisyys ja Turvallisuus: Malli ajetaan ja data käsitellään omalla laitteella, mikä varmistaa paremman tietosuojan, sillä tieto ei siirry ulkopuolisille palvelimille.
- Suorituskyky: Mallien ajaminen paikallisesti voi tarjota paremman suorituskyvyn (matalamman viiveen) kuin pilvipohjaiset järjestelmät.
- Kustomointi: Mahdollistaa omien, räätälöityjen mallien luomisen ja olemassa olevien mallien hienosäädön (adapteripohjainen hienosäätö) Modelfile-tiedoston avulla.
- Integraatio: Tarjoaa helpon API-integraation kehittäjille.
Tuetut mallit
Ollama tukee useita suosittuja avoimen lähdekoodin kielimalleja, joita käyttäjä voi ladata ja ajaa yhdellä komennolla:
ollama run [mallin nimi]
- Llama 2 ja Llama 3 (Meta)
- Mistral
- Gemma (Google)
- Code Llama
- Phi-2
- Sekä useita muita, pienempiä ja erikoistuneempia malleja.
Se parantaa yksityisyyttä ja turvallisuutta, koska mallit ja tietosi pysyvät omalla laitteellasi. Se tarjoaa myös helpon tavan integroida malleja sovelluksiin API:n kautta.
- Se on saatavilla Linuxille, macOS:lle ja Windowsille.
- Sen perusidea on tehdä paikallisten kielimallien käyttö mahdollisimman yksinkertaiseksi niin kehittäjille kuin harrastajillekin.
Asenna
Ollama voidaan asentaa PIP:in kautta useisiin jakeluihin. Voit myös avata komentorivin ja komentaa:
# pip install ollama
Vedä seuraavaksi pilvimalli:
ollama pull gpt-oss:120b-cloud
Kun malli on käytettävissä paikallisesti, suorita se Pythonilla:
import ollama
response = ollama.chat(model='gpt-oss:120b-cloud', messages=[
{
'role': 'user',
'content': 'Why is the sky blue?',
},
])
print(response['message']['content'])
Sisään- ja uloskirjautuminen
Pilvimallit käyttävät päättelylaskentaa ollama.com ja edellyttävät kirjautumista ollama.com:
ollama signin
Jos haluat pysyä kirjautuneena ulos, suorita seuraava:
ollama signout