KoAlpaca-RealQA-Solar-Ko-Recovery-11B (QLoRA with Unsloth)

Model Description

• Developed by: Lee Junbum (Beomi)
• Model type: Instruction Tuned, with beomi/KoAlpaca-RealQA dataset
• Language(s) (NLP): Korean Mainly, partially English
• License: Apache 2.0
• Finetuned from model: beomi/Solar-Ko-Recovery-11B

Model Sources

• Training Code (Google Colab, Pro+ A100 40G): https://colab.research.google.com/drive/11Ni8rOBmV1Qh15i7gMWncKjYBEdrJLBt
• Inference Code (Google Colab): https://colab.research.google.com/drive/1hEPSHI4aGOn29Y21c6SWJc-y2ECVx3Bz?usp=sharing

Direct Use with Unsloth

# pip install -U hf_transfer unsloth
import os

os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1" # download speed upto 1000MB/s

import torch
from unsloth import FastLanguageModel
from transformers import TextStreamer


model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "beomi/KoAlpaca-RealQA-Solar-Ko-Recovery-11B", # YOUR MODEL YOU USED FOR TRAINING
    max_seq_length = 2048,
    dtype = torch.bfloat16,
    load_in_4bit = True,
)
FastLanguageModel.for_inference(model) # Enable native 2x faster inference

alpaca_prompt = """Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
{}

### Response:
{}"""

def gen(x):
    inputs = tokenizer(
    [
        alpaca_prompt.format(
            x.strip(), # instruction
            "", # output - leave this blank for generation!
        )
    ], return_tensors = "pt").to("cuda")

    text_streamer = TextStreamer(tokenizer)
    _ = model.generate(**inputs, streamer = text_streamer, max_new_tokens = 512)

Generation Example

Sample 01

gen("안녕하세요")

<s> Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
안녕하세요

### Response:
안녕하세요! 어떻게 도와드릴까요?</s>

Sample 02

gen("""아래 글을 한국어로 번역해줘.
Dataset Summary

The KoAlpaca-RealQA dataset is a unique Korean instruction dataset designed to closely reflect real user interactions in the Korean language. Unlike conventional Korean instruction datasets that rely heavily on translated prompts, this dataset is composed of authentic Korean instructions derived from real-world use cases. Specifically, the dataset has been curated from user interactions with the ChatKoAlpaca service, which is based on the KoAlpaca model trained between 2023 and 2024.

This dataset provides a more accurate portrayal of typical Korean user behaviors, questions, and language structures, making it highly relevant for developing language models aimed at understanding and responding to Korean speakers. By leveraging GPT4o to generate high-quality answers, KoAlpaca-RealQA aims to offer a robust resource for training models that need to engage with Korean users in a natural and meaningful way.
""")

<s> Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
아래 글을 한국어로 번역해줘.
Dataset Summary

The KoAlpaca-RealQA dataset is a unique Korean instruction dataset designed to closely reflect real user interactions in the Korean language. Unlike conventional Korean instruction datasets that rely heavily on translated prompts, this dataset is composed of authentic Korean instructions derived from real-world use cases. Specifically, the dataset has been curated from user interactions with the ChatKoAlpaca service, which is based on the KoAlpaca model trained between 2023 and 2024.

This dataset provides a more accurate portrayal of typical Korean user behaviors, questions, and language structures, making it highly relevant for developing language models aimed at understanding and responding to Korean speakers. By leveraging GPT4o to generate high-quality answers, KoAlpaca-RealQA aims to offer a robust resource for training models that need to engage with Korean users in a natural and meaningful way.

### Response:
KoAlpaca-RealQA 데이터셋은 한국어 사용자들의 실제 상호작용을 매우 잘 반영하도록 설계된 독특한 한국어 지시 데이터셋입니다. 번역된 프롬프트에 크게 의존하는 기존의 한국어 지시 데이터셋과 달리, 이 데이터셋은 실제 사용 사례에서 유래된 진정한 한국어 지시로 구성되어 있습니다. 특히, 이 데이터셋은 2023년과 2024년 사이에 훈련된 KoAlpaca 모델을 기반으로 한 ChatKoAlpaca 서비스와의 사용자 상호작용에서 수집되었습니다.

이 데이터셋은 일반적인 한국어 사용자의 행동, 질문 및 언어 구조를 더 정확하게 묘사하여, 한국어 사용자를 이해하고 응답하는 언어 모델을 개발하는 데 매우 유용합니다. GPT4o를 활용하여 고품질의 답변을 생성함으로써, KoAlpaca-RealQA는 자연스럽고 의미 있는 방식으로 한국어 사용자와 상호작용해야 하는 모델을 훈련시키기 위한 강력한 자원을 목표로 하고 있습니다.</s>

Sample 03

gen("""KoAlpaca에 대해 설명해줘.""")

<s> Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.

### Instruction:
KoAlpaca에 대해 설명해줘.

### Response:
KoAlpaca는 한국어 자연어 처리(NLP) 모델로, OpenAI의 GPT-3와 같은 대형 언어 모델(LLM)을 기반으로 합니다. KoAlpaca는 한국어 데이터를 주로 사용하여 학습되었기 때문에 한국어 텍스트를 이해하고 생성하는 데 특화되어 있습니다. 이 모델은 다양한 한국어 응용 프로그램에서 활용될 수 있으며, 예를 들어 대화형 AI, 번역, 요약, 질문 답변 등 여러 분야에서 사용될 수 있습니다.

KoAlpaca는 한국어 사용자에게 보다 자연스럽고 유창한 언어 상호작용을 제공하며, 한국어 문맥을 잘 이해하고 처리할 수 있도록 설계되었습니다. 이러한 모델은 한국어 NLP 연구와 산업에서 중요한 도구로 사용될 수 있습니다.</s>