📖 Visão Geral
O libervia-ia-Core é um modelo de linguagem Transformer otimizado para:
- 🚀 Performance: Rápido e leve para hardware popular (8–16GB RAM)
- 🌐 Descentralização: Distribuição via IPFS/P2P
- 🇧🇷 Linguagem Popular: Treinado em português brasileiro, comunidades e DAOs
- 🔧 Edge-First: Execução eficiente em PCs ARM/x86
- 🛡️ Soberania Digital: Independente de big techs
🎯 Características Técnicas
Modelo | Parâmetros | RAM Mín. | GPU Mín. | Uso Principal |
---|---|---|---|---|
Core-2B | 2.1B | 8GB | 6GB | Edge, mobile |
Core-4B | 4.3B | 12GB | 8GB | Desktop, servidor |
Core-7B | 7.2B | 16GB | 12GB | Workstation |
🏗️ Arquitetura
- Base: Transformer decoder-only com otimizações modernas
- Attention: Flash Attention v2, Sliding Window, KV-Cache
- Posição: RoPE (Rotary Position Embedding)
- Normalização: RMSNorm para estabilidade
- Vocabulário: 32K tokens, otimizado pt-BR/pt-PT/es/en
🚀 Quick Start
Pré-requisitos
# Python 3.9+ recomendado
python --version # 3.9+
Instalação
# 1. Clone o repositório
git clone https://github.com/MonteiroKleber/libervia-ia.git
cd libervia-ia
# 2. Setup do ambiente
make setup
# 3. Instalar dependências
make install
# 4. Configurar hooks de desenvolvimento
make dev
# 5. Verificar instalação
make test
⚡ Uso Rápido (Python)
from libervia_core import LiberviaModel, LiberviaConfig
# Carregar modelo pré-treinado
config = LiberviaConfig.from_pretrained("libervia-2b")
model = LiberviaModel.from_pretrained("libervia-2b")
# Inferência
prompt = "Como funciona uma DAO?"
response = model.generate(prompt, max_length=256)
print(response)
🖥️ CLI
# Treinar modelo
make train PROFILE=dev MODEL=2b
# Inferência via CLI
./scripts/infer.py "Explique blockchain de forma simples"
# Servidor HTTP
make serve PORT=8000
# Export para GGUF
make export FORMAT=gguf MODEL=checkpoints/libervia-2b
📁 Estrutura do Projeto
libervia-ia/
├── apps/ # Aplicações (API, CLI)
├── configs/ # Configurações Hydra
├── data/ # Datasets (DVC tracked)
├── docs/ # Documentação
├── packages/ # Pacotes modulares
│ ├── core/ # Modelo PyTorch
│ ├── training/ # Pipeline de treino
│ ├── inference/ # Servidor e quantização
│ ├── data/ # Processamento de dados
│ └── utils/ # Utilitários (IPFS, P2P)
├── scripts/ # Automações
├── docker/ # Containerização
└── .github/workflows/ # CI/CD
🛠️ Desenvolvimento
Comandos Make
make setup # Setup inicial completo
make install # Instalar dependências
make dev # Setup desenvolvimento (pre-commit, etc.)
make test # Executar testes
make lint # Linting e formatação
make train # Treinar modelo
make infer # Servidor de inferência
make build # Build para produção
make release # Release para IPFS
Configuração (Hydra)
# Treinar modelo 2B em modo dev
python -m libervia_training --config-path=configs train=dev model=core_2b
# Inferência com quantização
python -m libervia_inference --config-path=configs infer=prod quantize=8bit
📊 Benchmarks
Performance (Core-2B)
Métrica | Valor | Hardware |
---|---|---|
Latência | ~50ms | RTX 3060 |
Throughput | ~20 tok/s | 8GB RAM |
VRAM | ~4GB | FP16 |
Energia | ~15W | Raspberry Pi 5 |
Qualidade (avaliação própria)
- DAO Governance: 85% precisão
- Comércio Popular: 78% relevância
- Português BR: 92% fluência
- Toxicity: <2% (filtrado)
Observação: valores ilustrativos enquanto o projeto evolui; os resultados finais serão publicados com metodologia e datasets de avaliação.
🌐 Deploy Descentralizado
IPFS
# Publicar modelo
make ipfs-publish MODEL=libervia-2b
# Hash IPFS de exemplo
# QmX7Y8Z9... (modelo core-2b v1.0)
Docker
# Multi-arch build
docker build -t libervia-ia:2b -f docker/Dockerfile.inference .
# Run servidor
docker run -p 8000:8000 libervia-ia:2b
🤝 Contribuindo
- Fork o projeto
- Crie sua feature branch (git checkout -b feature/amazing-feature)
- Commit suas mudanças (git commit -m 'Add amazing feature')
- Push para a branch (git push origin feature/amazing-feature)
- Abra um Pull Request
Consulte CONTRIBUTING.md para mais detalhes.
📄 Licença
Distribuído sob a licença Apache 2.0. Veja LICENSE
para mais informações.
🙏 Agradecimentos
- Comunidade open source brasileira
- DAOs e organizações que apoiam soberania digital
- Contribuidores e mantenedores