O

Ollama

IA & Machine Learning · Depuis 2023

2023

Creation

Site officielGitHub

Outil pour executer des LLMs localement en une seule commande (ollama run llama3). Gere automatiquement le telechargement, la quantization et le serving de 100+ modeles open-source. Ideal pour le dev hors-ligne et les cas ou les donnees ne doivent pas quitter la machine.

llmlocalopen-source
Avantages & Inconvenients

Avantages

  • Installation en une commande, modele pret en 30s (ollama run llama3)
  • 100% local et hors-ligne : zero donnees envoyees a un serveur externe
  • API compatible OpenAI : remplacement drop-in pour le dev local

Inconvenients

  • GPU avec 8Go+ VRAM recommande pour les modeles 7B+ (CPU 10x plus lent)
  • Modeles quantizes (Q4) perdent 5-10% de qualite vs versions cloud full-precision
  • Pas de fine-tuning natif : uniquement inference sur modeles existants
Cas d'usage
  • Dev et test de prompts sans couts API (0 dollar par requete)
  • Applications privacy-first ou les donnees restent sur le reseau interne
  • CI/CD avec tests d'integration LLM sans dependance a un service externe

Autres dans IA & Machine Learning

T

TensorFlow

IA & Machine Learning

Framework ML end-to-end (training a deploy)

mltraininggoogle
P

PyTorch

IA & Machine Learning

Framework ML standard recherche (80% arXiv)

mlresearchmeta
H

Hugging Face Transformers

IA & Machine Learning

Hub 500k+ modeles + API unifiee (NLP/vision)

mlnlpmodels
O

OpenAI API

IA & Machine Learning

API GPT-4o/o1, leader ecosysteme LLM

llmapiproprietary