ja-ko-vn-12b V2 (GGUF)
This model translates text from Japanese visual novels or various games into Korean.
์ด ๋ชจ๋ธ์ ์ผ๋ณธ์ด๋ก ๋ ๋น์ฃผ์ผ ๋
ธ๋ฒจ ํน์ ๋ค์ํ ๊ฒ์์ ํ
์คํธ๋ฅผ ํ๊ตญ์ด๋ก ๋ฒ์ญํฉ๋๋ค.
Updates
- 2025/12/13 - Quant upload
- 2025/12/13 - ์์ํ ์
๋ก๋
Model Details
Model Description
Google์ Gemma 3 12B ๋ชจ๋ธ์ ๊ธฐ๋ฐ์ผ๋ก ํ์ฌ ๋น์ฃผ์ผ ๋
ธ๋ฒจ ๋ฑ ๊ฒ์๋ฅ์ ์ ํฉํ ๋ฒ์ญ์ ํ๋๋ก ๋ค์ ์ ์ฐจ๋ฅผ ๊ฑฐ์ณค์ต๋๋ค:
- ์ผ๋ณธ์ด, ํ๊ตญ์ด์ ๋ํ ๋ฌธํ ๊ณ์ด ๋๋ฉ์ธ ์ธ์ด ํ์ต (CPT)
- ๋น์ฃผ์ผ ๋
ธ๋ฒจ์ ์๋ฌธ๊ณผ ๋ฒ์ญ๋ฌธ ํ์ต (SFT)
- ํน์ ์ํฉ ๋ฐ ๋จ์ด์ ๋ํ ๋๋ฉ์ธ ํ์ต (DPO)
์ฃผ๋ก "์ง์ญ"์ ์ ํธํ์๋ ๋ถ๊ป ์ ํฉํฉ๋๋ค.
- Developed by: hell0ks
- Model type: Translation
- Language(s) (NLP): Japanese(Input), Korean(Output)
- License: Gemma
- Finetuned from model : google/gemma-3-12b-pt
- Max context length : 4096 (๊น์ง๋ง ํ
์คํธ ๋จ)
V1๊ณผ์ ์ฐจ์ด์
- Base model์ด Tri-7B์์ Gemma-3-12B๋ก ๋ณ๊ฒฝ๋์์ต๋๋ค.
- CPT, DPO ํ์ต์ ํตํด ์ข ๋ ์์ฐ์ค๋ฌ์ด ์ดํ๋ฅผ ์ฌ์ฉํ๋๋ก ์ ๋ํ์ต๋๋ค.
- ๊ณ ์ ๋ช
์ฌ ๊ณ ์ ๊ธฐ๋ฅ์ด ๋ถ์์ ํ ์ํ๋ก ๋ฆด๋ฆฌ์ฆ ๋ ๊ฒ์ ์์ ํ์ต๋๋ค.
Model Sources
Uses
- Temperature: 0.1, Top_k = 0.95, repetition_penalty 1.05 ~ 1.1๋ฅผ ์ถ์ฒ๋๋ฆฝ๋๋ค.
- ๊ณ ์ ๋ช
์ฌ, ์ด๋ฆ ๋ฑ์ System prompt๋ก ํํธ๋ฅผ ์ฃผ์ค ์ ์์ต๋๋ค. ์:
ๅฒก้จๅซๅคช้=์ค์นด๋ฒ ๋ฆฐํ๋ก,้ฟไธ้ณ้ด็พฝ=์๋ง๋ค ์ค์ฆํ
- ํ๋กฌํํธ๋ ์ผ๋ณธ์ด ์๋ฌธ๋ง ์
๋ ฅํ์ธ์. ์ ์ด ์ฝ๋๋ ํน์๋ฌธ์๋ ์ต๋ํ ๊ทธ๋๋ก ์ ์งํ๋๋ก ํ์ต๋์์ต๋๋ค.
- Chat ๋ชจ๋๋ก ์ฌ์ฉํ์ง ๋ง์๊ณ , Completions ๋ชจ๋๋ก ์ฌ์ฉํ์ธ์. ์ฑ๊ธ ํด์ผ๋ก๋ง ํ์ต๋์์ต๋๋ค.
- llama.cpp์์ ์ฌ์ฉํ์ค ๋ ๊ผญ --jinja ํ๋๊ทธ๋ฅผ ์ฌ์ฉํ์ธ์.
Out-of-Scope Use
- ๋ฒ์ญ์ ์ ํ์ฑ์ด ํฌ๊ฒ ์ค์ํ์ง ์์ ์์
์๋ง ์ฌ์ฉํ์ธ์.
Bias, Risks, and Limitations
- ์ผ๋ณธ์ด์์ ํ๊ตญ์ด ๋ฒ์ญ๋ง ์ง์ํฉ๋๋ค. ๋ฐ๋๋ ๋ค๋ฅธ ์ธ์ด๋ ์ง์ํ์ง ์์ต๋๋ค.
- Safety RL์ด ๋์ง ์์์ต๋๋ค. ์ ์ ๊ฐ ์
๋ ฅํ ๋์ฌ์ ๋ํด ๊ทธ๋๋ก ๋ฒ์ญํฉ๋๋ค.
Recommendations
- ์ฌ์ฉ์(์ง์ ๋ฐ ํ์ ์ฌ์ฉ์ ๋ชจ๋)๋ ๋ชจ๋ธ์ ์ํ์ฑ, ํธํฅ์ฑ ๋ฐ ํ๊ณ์ ์ ์ธ์งํด์ผ ํฉ๋๋ค.
- ๊ธด ํ
์คํธ๋ฅผ ๋ฒ์ญํด์ผ ํ๋ ๊ฒฝ์ฐ ๋ฌธ๋จ ํน์ ๋ฌธ์ฅ ๋จ์๋ก ์ด์ฉํ์๋ ๊ฒ์ ์ถ์ฒ๋๋ฆฝ๋๋ค.
Technical Specifications
Hardware
Nvidia DGX Spark, 2 Nodes
Software
Axolotl
Acknowledgement
ํ์ต ํ๋์จ์ด๋ฅผ ๋๊ฐ ์์ด ์ง์ํด์ฃผ์ ์ต๋ช
์ ๋ถ๊ป ๊ฐ์ฌ ์ธ์ฌ ๋๋ฆฝ๋๋ค.