lg-software/multilingual-e5-large-instruct-ft

SentenceTransformer based on intfloat/multilingual-e5-large-instruct

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large-instruct. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-large-instruct
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("lg-software/multilingual-e5-large-instruct-ft")
# Run inference
sentences = [
    'What must you do first when checking the connector?',
   ]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.1491
cosine_accuracy@3	0.2481
cosine_accuracy@5	0.2986
cosine_accuracy@10	0.3725
cosine_precision@1	0.1491
cosine_precision@3	0.0827
cosine_precision@5	0.0597
cosine_precision@10	0.0373
cosine_recall@1	0.1491
cosine_recall@3	0.2481
cosine_recall@5	0.2986
cosine_recall@10	0.3725
cosine_ndcg@10	0.2511
cosine_mrr@10	0.2134
cosine_map@100	0.2241

Training Details

Training Dataset

Unnamed Dataset

• Size: 79,589 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 8 tokens mean: 13.78 tokens max: 30 tokens	min: 13 tokens mean: 369.04 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  What does ESM stand for?	C11 2008年01月 （平成20年01月） ESM --- --- ティーダ / ティーダ ラティオ (C11) - 2008年01月 （平成20年01月） ESM - LAN / CANシステム（タイプ32） / ABS分岐線系統 点検要領 1.コネクター点検 キースイッチをOFFにする。 バッテリーのマイナス端子を外す。 ABSアクチュエーター・C/Uの端子及びコネクターに抜け、曲がり、かん合不良等が無いか点検する（ユニット側、ハーネス側）。 点検結果は正常か？ YES>>2へ NO>>端子、コネクターを修理する。 2.ハーネス導通点検（断線） ABSアクチュエーター・C/Uのコネクターを外す。 ABSアクチュエーター・C/U車両側ハーネスコネクター端子間の抵抗値を点検する。 ABSアクチュエーター・C/U車両側ハーネスコネクター 抵抗値（Ω） コネクター 端子 E34 26 15 約 54 – 66 点検結果は正常か？ YES>>3へ NO>>ABSアクチュエーター・C/U分岐線を修理する。 3.電源及びアース回路の点検 ABSアクチュエーター・C/Uの電源及びアース回路を点検する。回路図を参照。 点検結果は正常か？ YES（現在不具合）>>ABSアクチュエーター・C/Uを交換する。取り外し、取り付けを参照。 YES（過去不具合）>>ABSアクチュエーター・C/U分岐線系統に異常があった。 NO>>電源及びアース回路を修理する。
  How many steps are in the connector inspection process?	C11 2008年01月 （平成20年01月） ESM --- --- ティーダ / ティーダ ラティオ (C11) - 2008年01月 （平成20年01月） ESM - LAN / CANシステム（タイプ32） / ABS分岐線系統 点検要領 1.コネクター点検 キースイッチをOFFにする。 バッテリーのマイナス端子を外す。 ABSアクチュエーター・C/Uの端子及びコネクターに抜け、曲がり、かん合不良等が無いか点検する（ユニット側、ハーネス側）。 点検結果は正常か？ YES>>2へ NO>>端子、コネクターを修理する。 2.ハーネス導通点検（断線） ABSアクチュエーター・C/Uのコネクターを外す。 ABSアクチュエーター・C/U車両側ハーネスコネクター端子間の抵抗値を点検する。 ABSアクチュエーター・C/U車両側ハーネスコネクター 抵抗値（Ω） コネクター 端子 E34 26 15 約 54 – 66 点検結果は正常か？ YES>>3へ NO>>ABSアクチュエーター・C/U分岐線を修理する。 3.電源及びアース回路の点検 ABSアクチュエーター・C/Uの電源及びアース回路を点検する。回路図を参照。 点検結果は正常か？ YES（現在不具合）>>ABSアクチュエーター・C/Uを交換する。取り外し、取り付けを参照。 YES（過去不具合）>>ABSアクチュエーター・C/U分岐線系統に異常があった。 NO>>電源及びアース回路を修理する。
  What does the first step involve?	C11 2008年01月 （平成20年01月） ESM --- --- ティーダ / ティーダ ラティオ (C11) - 2008年01月 （平成20年01月） ESM - LAN / CANシステム（タイプ32） / TCM分岐線系統（CVT車） 点検要領 1.コネクター点検 キースイッチをOFFにする。 バッテリーのマイナス端子を外す。 CVT C/Uの端子及びコネクターに抜け、曲がり、かん合不良等が無いか点検する（ユニット側、ハーネス側）。 点検結果は正常か？ YES>>2へ NO>>端子、コネクターを修理する。 2.ハーネス導通点検（断線） CVT C/Uのコネクターを外す。 CVT C/U車両側ハーネスコネクター端子間の抵抗値を点検する。 CVT C/U車両側ハーネスコネクター 抵抗値（Ω） コネクター 端子 E103 5 6 約 54 – 66 点検結果は正常か？ YES>>3へ NO>>CVT C/U分岐線を修理する。 3.電源及びアース回路の点検 CVT C/Uの電源及びアース回路を点検する。点検要領を参照。 点検結果は正常か？ YES（現在不具合）>>CVT C/Uを交換する。取り外し、取り付けを参照。 YES（過去不具合）>>CVT C/U分岐線系統に異常があった。 NO>>電源及びアース回路を修理する。

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• num_train_epochs: 2
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 2
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss	cosine_ndcg@10
0.0628	500	0.9035	0.1946
0.1256	1000	0.4735	0.1945
0.1885	1500	0.4639	0.1870
0.2513	2000	0.4581	0.1974
0.3141	2500	0.4027	0.1904
0.3769	3000	0.3761	0.1848
0.4398	3500	0.3527	0.2005
0.5026	4000	0.3654	0.1995
0.5654	4500	0.3344	0.2045
0.6282	5000	0.3373	0.2114
0.6910	5500	0.3258	0.2033
0.7539	6000	0.3086	0.2145
0.8167	6500	0.3046	0.2246
0.8795	7000	0.2963	0.2194
0.9423	7500	0.2846	0.2225
1.0	7959	-	0.2187
1.0052	8000	0.2965	0.2263
1.0680	8500	0.2417	0.2321
1.1308	9000	0.228	0.2247
1.1936	9500	0.2298	0.2268
1.2564	10000	0.2494	0.2303
1.3193	10500	0.2105	0.2333
1.3821	11000	0.2139	0.2278
1.4449	11500	0.2064	0.2412
1.5077	12000	0.2052	0.2413
1.5705	12500	0.2002	0.2445
1.6334	13000	0.216	0.2451
1.6962	13500	0.2066	0.2495
1.7590	14000	0.2095	0.2478
1.8218	14500	0.2062	0.2492
1.8847	15000	0.203	0.2507
1.9475	15500	0.1793	0.2504
2.0	15918	-	0.2511

Framework Versions

• Python: 3.12.8
• Sentence Transformers: 3.4.1
• Transformers: 4.48.2
• PyTorch: 2.6.0+cu124
• Accelerate: 1.3.0
• Datasets: 3.2.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}