Update app.py

app.py

@@ -1,5 +1,6 @@
 import streamlit as st
 from transformers import pipeline
+import re
 import time
 
 # تحميل النموذج
@@ -8,61 +9,110 @@ classifier = pipeline("zero-shot-classification", model="cross-encoder/nli-disti
 # عنوان التطبيق
 st.title("Text Classification App")
 
+# اختيار العملية
+operation = st.radio("Choose an operation:", ["Filter Keywords", "Extra & Filter Param (URLs)"])
+
 # إدخال الملف النصي
-uploaded_file = st.file_uploader("Upload a text file containing keywords", type=["txt"])
+uploaded_file = st.file_uploader("Upload a text file", type=["txt"])
 
 if uploaded_file is not None:
     # قراءة الملف النصي
     content = uploaded_file.read().decode("utf-8")
-    keywords = [line.strip() for line in content.splitlines() if line.strip()]
+    items = [line.strip() for line in content.splitlines() if line.strip()]
 
     # تحديد الفئات
     categories = ["shop", "game", "stream"]
 
-    # قوائم لتخزين الكلمات حسب الفئة
-    shopping_words = []
-    gaming_words = []
-    streaming_words = []
-    unknown_words = []  # قائمة جديدة للكلمات غير المعروفة
+    # قوائم لتخزين النتائج
+    shopping_items = []
+    gaming_items = []
+    streaming_items = []
+    unknown_items = []
+
+    # قوائم خاصة بالباراميترات
+    param_categories = {
+        "shop_params": [],
+        "game_params": [],
+        "stream_params": [],
+        "unknown_params": []
+    }
 
     # متغيرات للتحكم في العملية
     progress_bar = st.progress(0)
     pause_button = st.button("Pause")
     stop_button = st.button("Stop")
-    continue_button = st.button("Continue")  # زر جديد للاستمرار
+    continue_button = st.button("Continue")
     paused = False
     stopped = False
-    current_index = 0  # مؤشر للكلمة الحالية
-
-    # دالة تصنيف الكلمات
-    def classify_keywords(keywords, categories, start_index=0):
-        global paused, stopped, current_index  # استخدام المتغيرات العالمية
-        total_keywords = len(keywords)
-        for i, word in enumerate(keywords[start_index:], start=start_index):
-            current_index = i  # تحديث المؤشر الحالي
+    current_index = 0
+
+    # دالة تصنيف العناصر (للكلمات المفتاحية)
+    def classify_keywords(items, categories, start_index=0):
+        global paused, stopped, current_index
+        total_items = len(items)
+        for i, item in enumerate(items[start_index:], start=start_index):
+            current_index = i
             if stopped:
                 break
             if paused:
-                time.sleep(0.5)  # توقف مؤقت عند الضغط على Pause
+                time.sleep(0.5)
                 continue
 
-            # تصنيف الكلمة
-            result = classifier(word, categories)
+            # تصنيف الكلمة باستخدام zero-shot-classification
+            result = classifier(item, categories)
             best_category = result['labels'][0]
             score = result['scores'][0]
 
-            # إضافة الكلمة إلى القائمة المناسبة
             if best_category == "shop" and score > 0.5:
-                shopping_words.append(word)
+                shopping_items.append(item)
             elif best_category == "game" and score > 0.5:
-                gaming_words.append(word)
+                gaming_items.append(item)
             elif best_category == "stream" and score > 0.5:
-                streaming_words.append(word)
+                streaming_items.append(item)
             else:
-                unknown_words.append(word)  # إضافة الكلمة إلى قائمة Unknown إذا لم تكن ضمن الفئات
+                unknown_items.append(item)
 
             # تحديث شريط التقدم
-            progress = (current_index + 1) / total_keywords
+            progress = (current_index + 1) / total_items
+            progress_bar.progress(progress)
+
+            # تحديث النتائج في الوقت الحقيقي
+            update_results()
+
+            # إبطاء العملية قليلاً للسماح بتحديث الواجهة
+            time.sleep(0.1)
+
+    # دالة تصنيف الباراميترات
+    def classify_parameters(items, categories, start_index=0):
+        global paused, stopped, current_index
+        total_items = len(items)
+        for i, url in enumerate(items[start_index:], start=start_index):
+            current_index = i
+            if stopped:
+                break
+            if paused:
+                time.sleep(0.5)
+                continue
+
+            # استخراج الباراميترات من الرابط باستخدام RegEx
+            params = re.findall(r'(\w+)=\w+', url)
+            for param in params:
+                # تصنيف الباراميتر باستخدام zero-shot-classification
+                result = classifier(param, categories)
+                best_category = result['labels'][0]
+                score = result['scores'][0]
+
+                if best_category == "shop" and score > 0.5:
+                    param_categories["shop_params"].append(f"{param}={re.search(param + r'=([^&]*)', url).group(1)}")
+                elif best_category == "game" and score > 0.5:
+                    param_categories["game_params"].append(f"{param}={re.search(param + r'=([^&]*)', url).group(1)}")
+                elif best_category == "stream" and score > 0.5:
+                    param_categories["stream_params"].append(f"{param}={re.search(param + r'=([^&]*)', url).group(1)}")
+                else:
+                    param_categories["unknown_params"].append(f"{param}={re.search(param + r'=([^&]*)', url).group(1)}")
+
+            # تحديث شريط التقدم
+            progress = (current_index + 1) / total_items
             progress_bar.progress(progress)
 
             # تحديث النتائج في الوقت الحقيقي
@@ -73,18 +123,28 @@ if uploaded_file is not None:
 
     # دالة تحديث النتائج
     def update_results():
-        # تحديث محتوى المربعات النصية باستخدام session_state
-        st.session_state.shopping_text = "\n".join(shopping_words)
-        st.session_state.gaming_text = "\n".join(gaming_words)
-        st.session_state.streaming_text = "\n".join(streaming_words)
-        st.session_state.unknown_text = "\n".join(unknown_words)
+        # تحديث محتوى المربعات النصية
+        st.session_state.shopping_text = "\n".join(shopping_items)
+        st.session_state.gaming_text = "\n".join(gaming_items)
+        st.session_state.streaming_text = "\n".join(streaming_items)
+        st.session_state.unknown_text = "\n".join(unknown_items)
+
+        # تحديث محتوى المربعات الخاصة بالباراميترات
+        st.session_state.shop_params = "\n".join(param_categories["shop_params"])
+        st.session_state.game_params = "\n".join(param_categories["game_params"])
+        st.session_state.stream_params = "\n".join(param_categories["stream_params"])
+        st.session_state.unknown_params = "\n".join(param_categories["unknown_params"])
 
     # زر البدء
     if st.button("Start"):
         stopped = False
         paused = False
-        current_index = 0  # إعادة تعيين المؤشر إلى البداية
-        classify_keywords(keywords, categories, start_index=current_index)
+        current_index = 0
+
+        if operation == "Filter Keywords":
+            classify_keywords(items, categories, start_index=current_index)
+        elif operation == "Extra & Filter Param (URLs)":
+            classify_parameters(items, categories, start_index=current_index)
 
     # زر الإيقاف المؤقت
     if pause_button:
@@ -95,33 +155,60 @@ if uploaded_file is not None:
     if continue_button and paused:
         paused = False
         st.write("Classification resumed.")
-        classify_keywords(keywords, categories, start_index=current_index)
+        if operation == "Filter Keywords":
+            classify_keywords(items, categories, start_index=current_index)
+        elif operation == "Extra & Filter Param (URLs)":
+            classify_parameters(items, categories, start_index=current_index)
 
     # زر التوقف الكامل
     if stop_button:
         stopped = True
         st.write("Classification stopped.")
 
-    # عرض النتائج مرة واحدة فقط (بدون إعادة إنشاء العناصر)
-    st.header("Shopping Keywords")
-    if 'shopping_text' not in st.session_state:
-        st.session_state.shopping_text = ""
-    st.text_area("Copy the shopping keywords here:", value=st.session_state.shopping_text, height=200, key="shopping")
-
-    st.header("Gaming Keywords")
-    if 'gaming_text' not in st.session_state:
-        st.session_state.gaming_text = ""
-    st.text_area("Copy the gaming keywords here:", value=st.session_state.gaming_text, height=200, key="gaming")
-
-    st.header("Streaming Keywords")
-    if 'streaming_text' not in st.session_state:
-        st.session_state.streaming_text = ""
-    st.text_area("Copy the streaming keywords here:", value=st.session_state.streaming_text, height=200, key="streaming")
-
-    st.header("Unknown Keywords")
-    if 'unknown_text' not in st.session_state:
-        st.session_state.unknown_text = ""
-    st.text_area("Copy the unknown keywords here:", value=st.session_state.unknown_text, height=200, key="unknown")
+    # عرض النتائج بناءً على الخيار المختار
+    if operation == "Filter Keywords":
+        # عرض النتائج للكلمات المفتاحية
+        st.header("Shopping Keywords")
+        if 'shopping_text' not in st.session_state:
+            st.session_state.shopping_text = ""
+        st.text_area("Copy the shopping keywords here:", value=st.session_state.shopping_text, height=200, key="shopping")
+
+        st.header("Gaming Keywords")
+        if 'gaming_text' not in st.session_state:
+            st.session_state.gaming_text = ""
+        st.text_area("Copy the gaming keywords here:", value=st.session_state.gaming_text, height=200, key="gaming")
+
+        st.header("Streaming Keywords")
+        if 'streaming_text' not in st.session_state:
+            st.session_state.streaming_text = ""
+        st.text_area("Copy the streaming keywords here:", value=st.session_state.streaming_text, height=200, key="streaming")
+
+        st.header("Unknown Keywords")
+        if 'unknown_text' not in st.session_state:
+            st.session_state.unknown_text = ""
+        st.text_area("Copy the unknown keywords here:", value=st.session_state.unknown_text, height=200, key="unknown")
+
+    elif operation == "Extra & Filter Param (URLs)":
+        # عرض النتائج للباراميترات
+        st.header("Shop Parameters")
+        if 'shop_params' not in st.session_state:
+            st.session_state.shop_params = ""
+        st.text_area("Copy the shop parameters here:", value=st.session_state.shop_params, height=200, key="shop_params")
+
+        st.header("Game Parameters")
+        if 'game_params' not in st.session_state:
+            st.session_state.game_params = ""
+        st.text_area("Copy the game parameters here:", value=st.session_state.game_params, height=200, key="game_params")
+
+        st.header("Stream Parameters")
+        if 'stream_params' not in st.session_state:
+            st.session_state.stream_params = ""
+        st.text_area("Copy the stream parameters here:", value=st.session_state.stream_params, height=200, key="stream_params")
+
+        st.header("Unknown Parameters")
+        if 'unknown_params' not in st.session_state:
+            st.session_state.unknown_params = ""
+        st.text_area("Copy the unknown parameters here:", value=st.session_state.unknown_params, height=200, key="unknown_params")
 
 else:
-    st.warning("Please upload a text file to classify the keywords.")
+    st.warning("Please upload a text file to start classification.")