Fairseq
#3
by Hanul2 - opened
안녕하세요. 혹시 fairseq로 만든 checkpoint 파일이 있을까요?
TPU에서 학습하기 위해서 fairseq을 사용하지 않고 flax 기반의 코드를 작성해 사용했습니다. 그렇기에 fairseq에서 불러올 수 있는 가중치가 존재하지 않습니다.
만약 필요하시다면 가중치 변환 코드를 반대로 적용해 만들 수 있으리라 생각합니다.
네 한 번 해보겠습니다 감사합니다
fairseq 전용 가중치가 추가되었습니다.
사전학습에 사용되는 일부 가중치는 랜덤으로 초기화되었지만, 대다수의 용도에는 문제 없을 것입니다
hyunwoo3235 changed discussion status to closed