Models
Collection
Fine-tuned LLMs for the Portuguese language and Brazilian culture.
•
10 items
•
Updated
•
3
BotBot Cabra Mixtral 8x7b
Esse modelo é um finetune do Mixtral 8x7b com o dataset Cabra 30k. Esse modelo é optimizado para português. Ele apresenta melhoria em varios benchmarks brasileiros em comparação com o modelo base.
Conheça os nossos outros modelos: Cabra.
dataset: Cabra 30k
Dataset interno para finetuning. Vamos lançar em breve.
Quantização / GGUF
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
Exemplo
<s> [INST] who is Elon Musk? [/INST]Elon Musk é um empreendedor, inventor e capitalista americano. Ele é o fundador, CEO e CTO da SpaceX, CEO da Neuralink e fundador do The Boring Company. Musk também é o proprietário do Twitter.</s>
Uso
O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:
- Pesquisa sobre modelos gerativos.
- Investigação e compreensão das limitações e viéses de modelos gerativos.
Proibido para uso comercial. Somente pesquisa.
Evals
Open Portuguese LLM Leaderboard Evaluation Results
Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard
| Metric | Value |
|---|---|
| Average | 73.96 |
| ENEM Challenge (No Images) | 78.17 |
| BLUEX (No Images) | 64.12 |
| OAB Exams | 55.49 |
| Assin2 RTE | 90.95 |
| Assin2 STS | 77.63 |
| FaQuAD NLI | 78.93 |
| HateBR Binary | 78 |
| PT Hate Speech Binary | 69.54 |
| tweetSentBR | 72.83 |
- Downloads last month
- 8
Model tree for botbotrobotics/CabraMixtral-8x7b
Space using botbotrobotics/CabraMixtral-8x7b 1
Collection including botbotrobotics/CabraMixtral-8x7b
Evaluation results
- accuracy on ENEM Challenge (No Images)Open Portuguese LLM Leaderboard78.170
- accuracy on BLUEX (No Images)Open Portuguese LLM Leaderboard64.120
- accuracy on OAB ExamsOpen Portuguese LLM Leaderboard55.490
- f1-macro on Assin2 RTEtest set Open Portuguese LLM Leaderboard90.950
- pearson on Assin2 STStest set Open Portuguese LLM Leaderboard77.630
- f1-macro on FaQuAD NLItest set Open Portuguese LLM Leaderboard78.930
- f1-macro on HateBR Binarytest set Open Portuguese LLM Leaderboard78.000
- f1-macro on PT Hate Speech Binarytest set Open Portuguese LLM Leaderboard69.540
- f1-macro on tweetSentBRtest set Open Portuguese LLM Leaderboard72.830