Spaces:
Running
Running
Add results for Sber baseline (open-mistral-nemo)
Browse files- results.json +24 -0
results.json
CHANGED
@@ -72,5 +72,29 @@
|
|
72 |
"metadata": {
|
73 |
"dataset": "rag-news-test"
|
74 |
}
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
75 |
}
|
76 |
]
|
|
|
72 |
"metadata": {
|
73 |
"dataset": "rag-news-test"
|
74 |
}
|
75 |
+
},
|
76 |
+
{
|
77 |
+
"model_name": "Sber baseline (open-mistral-nemo)",
|
78 |
+
"timestamp": "2025-01-17T10:14:08.324614",
|
79 |
+
"metrics": {
|
80 |
+
"retrieval": {
|
81 |
+
"hit_rate": 0.6666666666666666,
|
82 |
+
"mrr": 0.5
|
83 |
+
},
|
84 |
+
"generation": {
|
85 |
+
"rouge1": 0.6666666666666666,
|
86 |
+
"rougeL": 0.6666666666666666
|
87 |
+
}
|
88 |
+
},
|
89 |
+
"config": {
|
90 |
+
"embedding_model": "sentence-transformers/distiluse-base-multilingual-cased",
|
91 |
+
"retriever_type": "mmr",
|
92 |
+
"retrieval_config": {
|
93 |
+
"top_k": 3
|
94 |
+
}
|
95 |
+
},
|
96 |
+
"metadata": {
|
97 |
+
"dataset": "rag-news-test"
|
98 |
+
}
|
99 |
}
|
100 |
]
|