averoo commited on
Commit
a68d053
·
verified ·
1 Parent(s): 547600d

Add results for Sber baseline (open-mistral-nemo)

Browse files
Files changed (1) hide show
  1. results.json +24 -0
results.json CHANGED
@@ -48,5 +48,29 @@
48
  "metadata": {
49
  "dataset": "rag-news-test"
50
  }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
51
  }
52
  ]
 
48
  "metadata": {
49
  "dataset": "rag-news-test"
50
  }
51
+ },
52
+ {
53
+ "model_name": "Sber baseline (open-mistral-nemo)",
54
+ "timestamp": "2025-01-17T10:12:53.615234",
55
+ "metrics": {
56
+ "retrieval": {
57
+ "hit_rate": 0.6666666666666666,
58
+ "mrr": 0.5
59
+ },
60
+ "generation": {
61
+ "rouge1": 0.6666666666666666,
62
+ "rougeL": 0.6666666666666666
63
+ }
64
+ },
65
+ "config": {
66
+ "embedding_model": "sentence-transformers/distiluse-base-multilingual-cased",
67
+ "retriever_type": "mmr",
68
+ "retrieval_config": {
69
+ "top_k": 3
70
+ }
71
+ },
72
+ "metadata": {
73
+ "dataset": "rag-news-test"
74
+ }
75
  }
76
  ]