🌟 libervia-ia-Core v1

Modelo de linguagem otimizado para soberania digital e uso descentralizado
⭐ GitHub
License: Apache 2.0 Python 3.9+ Code style: black Checked with mypy

📖 Visão Geral

O libervia-ia-Core é um modelo de linguagem Transformer otimizado para:

  • 🚀 Performance: Rápido e leve para hardware popular (8–16GB RAM)
  • 🌐 Descentralização: Distribuição via IPFS/P2P
  • 🇧🇷 Linguagem Popular: Treinado em português brasileiro, comunidades e DAOs
  • 🔧 Edge-First: Execução eficiente em PCs ARM/x86
  • 🛡️ Soberania Digital: Independente de big techs

🎯 Características Técnicas

ModeloParâmetrosRAM Mín.GPU Mín.Uso Principal
Core-2B2.1B8GB6GBEdge, mobile
Core-4B4.3B12GB8GBDesktop, servidor
Core-7B7.2B16GB12GBWorkstation

🏗️ Arquitetura

  • Base: Transformer decoder-only com otimizações modernas
  • Attention: Flash Attention v2, Sliding Window, KV-Cache
  • Posição: RoPE (Rotary Position Embedding)
  • Normalização: RMSNorm para estabilidade
  • Vocabulário: 32K tokens, otimizado pt-BR/pt-PT/es/en

🚀 Quick Start

Pré-requisitos

# Python 3.9+ recomendado
python --version  # 3.9+

Instalação

# 1. Clone o repositório
git clone https://github.com/MonteiroKleber/libervia-ia.git
cd libervia-ia

# 2. Setup do ambiente
make setup

# 3. Instalar dependências
make install

# 4. Configurar hooks de desenvolvimento
make dev

# 5. Verificar instalação
make test

⚡ Uso Rápido (Python)

from libervia_core import LiberviaModel, LiberviaConfig

# Carregar modelo pré-treinado
config = LiberviaConfig.from_pretrained("libervia-2b")
model = LiberviaModel.from_pretrained("libervia-2b")

# Inferência
prompt = "Como funciona uma DAO?"
response = model.generate(prompt, max_length=256)
print(response)

🖥️ CLI

# Treinar modelo
make train PROFILE=dev MODEL=2b

# Inferência via CLI
./scripts/infer.py "Explique blockchain de forma simples"

# Servidor HTTP
make serve PORT=8000

# Export para GGUF
make export FORMAT=gguf MODEL=checkpoints/libervia-2b

📁 Estrutura do Projeto

libervia-ia/
├── apps/                   # Aplicações (API, CLI)
├── configs/                # Configurações Hydra
├── data/                   # Datasets (DVC tracked)
├── docs/                   # Documentação
├── packages/               # Pacotes modulares
│   ├── core/               # Modelo PyTorch
│   ├── training/           # Pipeline de treino
│   ├── inference/          # Servidor e quantização
│   ├── data/               # Processamento de dados
│   └── utils/              # Utilitários (IPFS, P2P)
├── scripts/                # Automações
├── docker/                 # Containerização
└── .github/workflows/      # CI/CD

🛠️ Desenvolvimento

Comandos Make

make setup          # Setup inicial completo
make install        # Instalar dependências
make dev            # Setup desenvolvimento (pre-commit, etc.)
make test           # Executar testes
make lint           # Linting e formatação
make train          # Treinar modelo
make infer          # Servidor de inferência
make build          # Build para produção
make release        # Release para IPFS

Configuração (Hydra)

# Treinar modelo 2B em modo dev
python -m libervia_training --config-path=configs train=dev model=core_2b

# Inferência com quantização
python -m libervia_inference --config-path=configs infer=prod quantize=8bit

📊 Benchmarks

Performance (Core-2B)

MétricaValorHardware
Latência~50msRTX 3060
Throughput~20 tok/s8GB RAM
VRAM~4GBFP16
Energia~15WRaspberry Pi 5

Qualidade (avaliação própria)

Observação: valores ilustrativos enquanto o projeto evolui; os resultados finais serão publicados com metodologia e datasets de avaliação.

🌐 Deploy Descentralizado

IPFS

# Publicar modelo
make ipfs-publish MODEL=libervia-2b

# Hash IPFS de exemplo
# QmX7Y8Z9... (modelo core-2b v1.0)

Docker

# Multi-arch build
docker build -t libervia-ia:2b -f docker/Dockerfile.inference .

# Run servidor
docker run -p 8000:8000 libervia-ia:2b

🤝 Contribuindo

  1. Fork o projeto
  2. Crie sua feature branch (git checkout -b feature/amazing-feature)
  3. Commit suas mudanças (git commit -m 'Add amazing feature')
  4. Push para a branch (git push origin feature/amazing-feature)
  5. Abra um Pull Request

Consulte CONTRIBUTING.md para mais detalhes.

📄 Licença

Distribuído sob a licença Apache 2.0. Veja LICENSE para mais informações.

🙏 Agradecimentos

🔗 Links