Ollama
| Ollama | |
|---|---|
| Ohjelmoitu | Go |
| Lisenssi | MIT |
| Kotisivu | ollama.com |
Ollama on ohjelmisto, joka mahdollistaa suurten kielimallien (LLM) ajamisen ja hallinnan suoraan omalla koneellasi ilman palvelinta.
Pilvimallit ovat nyt esikatselussa, joten voit käyttää suurempia malleja nopealla, palvelinkeskustason laitteistolla. Voit jatkaa paikallisten työkalujen käyttöä samalla, kun käytät suurempia malleja, jotka eivät mahdu henkilökohtaiseen tietokoneeseen. Ollaman pilvi ei säilytä tietojasi yksityisyyden ja turvallisuuden takaamiseksi.
Sama Ollama-kokemus on nyt saumaton sekä paikallisesti että pilvessä, ja se integroituu jo käyttämiisi työkaluihin. Ollaman pilvimallit toimivat myös Ollaman OpenAI-yhteensopivan rajapinnan kautta.
Tiivistelmä keskeisistä asioista
- Sen avulla voit suorittaa avoimen lähdekoodin kielimalleja (kuten Llama 2, Mistral ja Gemma) paikallisesti.
- Se parantaa yksityisyyttä ja turvallisuutta, koska mallit ja tietosi pysyvät omalla laitteellasi. Se tarjoaa myös helpon tavan integroida malleja sovelluksiin API:n kautta.
- Se on saatavilla Linuxille, macOS:lle ja Windowsille.
- Sen perusidea on tehdä paikallisten kielimallien käyttö mahdollisimman yksinkertaiseksi niin kehittäjille kuin harrastajillekin.
Asenna
Ollama voidaan asentaa PIP:in kautta useisiin jakeluihin. Voit myös avata komentorivin ja komentaa:
# pip install ollama
Vedä seuraavaksi pilvimalli:
ollama pull gpt-oss:120b-cloud
Kun malli on käytettävissä paikallisesti, suorita se Pythonilla:
import ollama
response = ollama.chat(model='gpt-oss:120b-cloud', messages=[
{
'role': 'user',
'content': 'Why is the sky blue?',
},
])
print(response['message']['content'])
Sisään- ja uloskirjautuminen
Pilvimallit käyttävät päättelylaskentaa ollama.com ja edellyttävät kirjautumista ollama.com:
ollama signin
Jos haluat pysyä kirjautuneena ulos, suorita seuraava:
ollama signout