ما هو الفرق الأساسي بين التلال وأقل انحدار مربع؟


الاجابه 1:

في المربعات الصغرى ، يمكنك ببساطة الإبلاغ عن الحل الذي يعطي أصغر عدد من الأخطاء المربعة.

في Ridge ، يمكنك تقليل مجموع الأخطاء المربعة بالإضافة إلى "عقوبة" وهي مجموع معاملات الانحدار ، مضروبة في عامل قياس العقوبة. والنتيجة هي أن Ridge سوف "تقلص" المعاملات نحو الصفر ، أي عندها تفضيل للمعاملات القريبة من الصفر.


الاجابه 2:

الانحدارالخطي

الانحدار هو تقنية تستخدم لنمذجة وتحليل العلاقات بين المتغيرات والأوقات التي تسهم فيها وترتبط بإنتاج نتيجة معينة معًا.

يشير الانحدار الخطي إلى نموذج الانحدار الذي يتكون بالكامل من المتغيرات الخطية. بدايةً من الحالة البسيطة ، يعد الانحدار الخطي المتغير الفردي أسلوبًا يُستخدم في نمذجة العلاقة بين متغير مستقل وحيد الإدخال (متغير المعالم) ومتغير معتمد على المخرجات باستخدام نموذج خطي ، أي خط.

الحالة الأكثر عمومية هي الانحدار الخطي متعدد المتغيرات حيث يتم إنشاء نموذج للعلاقة بين متغيرات الإدخال المستقلة المتعددة (متغيرات الميزة) ومتغير يعتمد على الإخراج. يظل النموذج خطيًا في أن الإخراج عبارة عن مجموعة خطية من متغيرات الإدخال. يمكننا نمذجة الانحدار الخطي متعدد المتغيرات على النحو التالي:

Y = a_1 * X_1 + a_2 * X_2 + a_3 * X_3 ……. a_n * X_n + b

حيث a_n هي المعاملات ، X_n هي المتغيرات و b هي التحيز. كما نرى ، لا تتضمن هذه الوظيفة أي خطوط غير خطية ، وبالتالي فهي مناسبة فقط لنمذجة البيانات القابلة للفصل الخطي. من السهل جدًا أن نفهم نظرًا لأننا ندرس ببساطة أهمية كل متغير من سمات X_n باستخدام معامل الأوزان a_n. نحدد هذه الأوزان a_n والتحيز الذي ينزل في مؤشر Stochastic Gradient Descend (SGD). تحقق من التوضيح أدناه للحصول على صورة أكثر البصرية!

شكل توضيحي لكيفية إيجاد التدرج الهبوطي المعلمات المثلى للانحدار الخطي

بعض النقاط الرئيسية حول الانحدار الخطي:

  • سريع وسهل النمذجة ومفيد بشكل خاص عندما تكون العلاقة المراد صياغتها ليست معقدة للغاية وإذا لم يكن لديك الكثير من البيانات. بديهية للغاية لفهمها وتفسيرها. الخط الانحداري شديد الحساسية للقيم المتطرفة.

الانحدار ريدج

سيفشل الانحدار الخطي أو متعدد الحدود القياسي في حالة وجود علاقة خطية متداخلة عالية بين متغيرات الميزة. العلاقة الخطية المتداخلة هي وجود علاقات شبه خطية بين المتغيرات المستقلة. يمكن تحديد وجود علاقة خطية متداخلة عالية بعدة طرق مختلفة:

  • لا يعتبر معامل الانحدار كبيرًا ، على الرغم من أنه من الناحية النظرية ، يجب أن يرتبط هذا المتغير ارتباطًا كبيرًا بـ Y. عند إضافة متغير X من الميزات أو حذفه ، تتغير معاملات الانحدار بشكل كبير. .

يمكننا أولاً أن ننظر إلى وظيفة التحسين في الانحدار الخطي القياسي لاكتساب بعض التبصر حول كيفية مساعدة انحدار التلال:

دقيقة || Xw - y || ²

حيث يمثل X متغيرات الميزة ، يمثل w الأوزان ويمثل الحقيقة الأساسية. Ridge Regression هو تدبير علاجي يُتخذ لتخفيف العلاقة الخطية المتداخلة بين متغيرات توقع الانحدار في نموذج ما. العلاقة الخطية المتداخلة هي ظاهرة يمكن فيها توقع متغير خطي واحد في نموذج الانحدار المتعدد خطيًا من الآخرين بدرجة كبيرة من الدقة. نظرًا لأن متغيرات المعالم مترابطة جدًا بهذه الطريقة ، فإن نموذج الانحدار النهائي مقيد تمامًا وجامد في تقريبه أي أنه يحتوي على تباين كبير.

لتخفيف هذه المشكلة ، يضيف Ridge Regression عامل تحيز مربعًا صغيرًا للمتغيرات:

دقيقة || Xw - y || ² + z || في || ²

يقوم عامل التحيز التربيعي هذا بسحب المعاملات المتغيرة للميزات بعيدًا عن هذا الصلابة ، مع إدخال مقدار صغير من التحيز في النموذج مع تقليل التباين بشكل كبير.

بعض النقاط الرئيسية حول Ridge Regression:

  • افتراضات هذا الانحدار هي نفسها أقل انحدار تربيعي باستثناء الحالة الطبيعية لا ينبغي افتراضها. إنها تقلص قيمة المعاملات ولكنها لا تصل إلى الصفر ، مما يشير إلى عدم وجود ميزة اختيار الميزة