averoo commited on
Commit
1b47db9
·
verified ·
1 Parent(s): 557530f

Add results for Sber baseline (open-mistral-nemo)

Browse files
Files changed (1) hide show
  1. results.json +24 -0
results.json CHANGED
@@ -72,5 +72,29 @@
72
  "metadata": {
73
  "dataset": "rag-news-test"
74
  }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
75
  }
76
  ]
 
72
  "metadata": {
73
  "dataset": "rag-news-test"
74
  }
75
+ },
76
+ {
77
+ "model_name": "Sber baseline (open-mistral-nemo)",
78
+ "timestamp": "2025-01-17T10:14:08.324614",
79
+ "metrics": {
80
+ "retrieval": {
81
+ "hit_rate": 0.6666666666666666,
82
+ "mrr": 0.5
83
+ },
84
+ "generation": {
85
+ "rouge1": 0.6666666666666666,
86
+ "rougeL": 0.6666666666666666
87
+ }
88
+ },
89
+ "config": {
90
+ "embedding_model": "sentence-transformers/distiluse-base-multilingual-cased",
91
+ "retriever_type": "mmr",
92
+ "retrieval_config": {
93
+ "top_k": 3
94
+ }
95
+ },
96
+ "metadata": {
97
+ "dataset": "rag-news-test"
98
+ }
99
  }
100
  ]