إنتروبيا التكرارات: هل تستعمل الدالة الأعداد كما هي؟

الخلاصة السريعة

تُطبّع scipy.stats.entropy القيم إذا لم تجمع إلى واحد. ^[1] نسب الفئات نفسها قد تعطي الإنتروبيا نفسها مع اختلاف عدد السجلات.

• تحسب الدالة إنتروبيا Shannon من الاحتمالات، وتُطبّع pk عند عدم جمعها إلى واحد. ^[1] نقيد ورقتنا بقيم موجبة ومجموع موجب، دون qk.
• تكرارا فئتينا 2 و 6 يعطيان نسبتي 0.25 و 0.75 ؛ وتكرارا 20 و 60 يعطيان النسبتين نفسيهما، رغم اختلاف المجموعين 8 و 80.
• مع اللوغاريتم الطبيعي، الحساب على النسب يعطي نحو 0.56234 ؛ إدخال 2 و 6 مباشرة في صيغة الاحتمالات عملية مختلفة تعطي سالبًا، لا إنتروبيا حصيلتنا.
• اختيار أساس اللوغاريتم يحدد الوحدة. ^[1] احفظ الأعداد والمجموع والأس، ولا تجعل الإنتروبيا المتساوية إثباتًا لحجم البيانات أو جودتها؛ لم نشغل الدالة أو نموذجًا.

هل pk احتمال مطبع أم كتلة فئات؟

تصف الوثائق pk بأنه توزيع قد لا يكون مطبعًا، وتُطبّع الدالة القيم عند عدم جمعها إلى واحد؛ دون qk تحسب إنتروبيا Shannon. ^[1]

سنضع فئتين معلنتين لصندوق علامات، دائرة ومثلث. كل قيمة في قائمتنا عدد ظهور الفئة، وليست درجة نموذج أو طول علامة. الأعداد موجبة ومجموعها موجب، لذلك نوضح القسمة على المجموع دون تناول حالة صفرية أو إدخال سالب.

هذا الدور يهم قبل الحساب. قائمة أطوال 2 و 6 لا تصبح تكراري فئتين لمجرد أنها تحمل الرقمين نفسيهما. يجب أن تصف الخانات توزيعًا للمهمة التي نريد تلخيصها، بدل ترك المساعد يختار تفسيرًا من شكل القائمة.

كيف تتفق حصيلتان مختلفتا الحجم؟

نؤلف حصيلة أولى فيها دائرتان وستة مثلثات، مجموعها ثمانية. النسبتان اثنان÷ثمانية = 0.25 وستة÷ثمانية = 0.75. نؤلف أخرى من عشرين دائرة وستين مثلثًا، مجموعها ثمانون؛ نسبتاها عشرون÷ثمانين و ستون÷ثمانين، أي القيمتان نفسيهما.

إذن قائمة الاحتمالات متطابقة في هذا المثال، رغم أن عدد العلامات المفترض في الثانية عشرة أمثال الأولى. لا يعيد عدد الإنتروبيا وحده الفرق بين ثمانية وثمانين؛ نحتفظ بالمجموع مستقلًا من النسب.

هذا استنتاج من حصيلتين متناسبتين اخترناهما، لا وعد بأن أي مجموعتين مختلفتي الحجم تحملان الإنتروبيا نفسها. إذا اختلفت نسب الفئات، يحتاج الرقم إلى حساب جديد. ولا نزعم أن تكبير دفتر افتراضي صنع معلومات جديدة عن مجتمع فعلي.

لماذا لا نستبدل الاحتمال بالتكرار حرفيًا؟

صيغة Shannon الموثقة هي سالب مجموع الاحتمال مضروبًا في لوغاريتمه. ^[1]

نعتمد اللوغاريتم الطبيعي للورقة. على النسب 0.25 و 0.75 يكون الناتج سالب 0.25 × ln(0.25) ناقص 0.75 × ln(0.75)، نحو 0.56234. هذا حساب يدوي لقائمتنا المطَبّعة.

لو وضعنا 2 و 6 حرفيًا في الموضع نفسه، لصار الحساب سالب 2 × ln(2) ناقص 6 × ln(6)، نحو سالب 12.13685. هذه عملية عرّفناها للمقارنة، لا الناتج الذي نسبناه للدالة؛ تجاهلت قسمة التكرارات على مجموعها. لا نصلح الإشارة بأخذ القيمة المطلقة ثم نسميها الإنتروبيا الصحيحة.

ما المعلومات التي لا يحملها هذا العدد؟

توثق الدالة أن أساس اللوغاريتم الطبيعي يعطي وحدة nat، والأساس اثنين يعطي بتًا. ^[1]

لذلك لا نقارن رقمًا باللوغاريتم الطبيعي بآخر بأساس اثنين قبل توحيد تعريفه. وفي مثالنا تبقى الفئات والمجموع والأس معلومات لازمة لفهم الرقم؛ اسم «إنتروبيا» وحده لا يصفها كلها.

لم نعرف مدى تمثيل الصندوق لبقية البيانات أو صحة تسجيل العلامات أو نتائج تنبؤ نموذج. تساوي الإنتروبيا لا يثبت تلك الأمور، ولا يتيح معرفة عدد السجلات من العدد وحده. نقترح عرض حصيلة الفئات ومجموعها ونسبها والأس مع الملخص، حتى تظل المقارنة محددة بالعقد الذي قرأناه.