روش حداقل مربعات
رگرسیون و مدل سازی به روش حداقل مربعات جزئی (Partial Least Square)
رگرسیون و مدل سازی به روش حداقل مربعات جزئی (Partial Least Square)روش حداقل مربعات جزئی (Partial Least Square) به عنوان یک جایگزین برای روش های OLS رگرسیون، Canonical رگرسیون و مدل سازی معادلات ساختاری (SEM) در پژوهش هایی که متغیرهای مستقل و وابسته وجود دارد، بکار گرفته می شود. روش PLS در اغلب اوقات، معادلات ساختاری مبتنی بر مولفه (Component-Based SEM) نامیده می شود در حالی که روش معادلات ساختاری مبتنی بر کواریانس است(Covariance-Based SEM).این روش زمانی استفاده می شود که می خواهیم تاثیرات چندین متغیر مستقل را بر یک یا چند متغیر وابسته بررسی کنیم اما پیش فرض های انجام رگرسیون یا معادلات ساختاری بر قرار نیست و یا اینکه در پژوهش به مشکلات زیر مواجه شویم: چندین متغیر وابسته داشته باشیم.تعداد متغیرهای مستقل زیاد باشد و شناسایی متغیرهای تاثیر گذار مشکل باشد. در متغیرهای مستقل هم خطی وجود داشته باشد(Multicollinearity) حجم نمونه کم باشد. در رگرسیون توزیع فروانی متغیرها نرمال نباشد و یا در روش معادلات ساختاری نرمال بودن چند متغیره برقرار نباشد.روش حداقل مربعات جزئی می تواند تاثیرات متغیرهای مستقل را بر متغیر وابسته بصورت یک مدل رگرسیونی یا مدل ساختاری برازش کند. چنانچه هدف پژوهشگر پیش بینی یا مدل سازی اکتشافی باشد استفاده از روش PLS توصیه می شود. روش مدل سازی معادلات ساختاری(SEM) برای مقاصد تایید مدل کاربرد دارد و برای براورد پارامترهای مدل نیازمند حجم نمونه زیاد و برقرار بودن پیش فرض نرمال بودن چند متغیره است اما روش PLS چون برای مقاصد اکتشافی کاربرد دارد به هیچ گونه پیش فرضی احتیاج ندارد . در برخی از منابع ذکر شده است روش PLS با حداقل ۳۰ نمونه نیز قابل انجام است و نتایج در مقابل داده های مفقود شده(Missing value) پایدار است.از لحاظ تکنیکی فرق روش PLS با سایر روش های رگرسیونی است این است که به جای در نظر گرفتن متغیرهای مستقل، از طریق تکنیک تحلیل مولفه های اصلی(PCA) متغیرهای مستقل در چند عامل کلی تر قرار می گیرند به گونه ای که این عامل ها بیشترین تغییرات متغیر(های) وابسته را تبیین کنند•برای انجام تحلیل پروژه اماری خود توسط نرم افزار spssدر کمتر از 3 روز و یا در صورت اضطراری کمتر،با شماره زیر تماس بگیرید. • 09371559986•[email protected]•
آموزش اقتصاد سنجی
آموزش موارد زیر به همراه نرم افزارهای مربوطه: روش های غیر خطی: مارکوف سویچینگ(Markov switching) STAR آزمون های ریشه واحد شکست ساختاری: زیوت اندروز (Zivot Andrews) لی استرازیکیچ ( Lee Strazicich ) آزمون های هم انباشتگی شکست ساختاری: گریگوری هنسن (gregory hansen) سیکنن لوتکیپول (saikkonen lutkepohl) آزمون های هم انباشتگی: جوهانسن جوسلیوس پسران و شین (ARDL) روش های جایگزین حداقل مربعات معمولی (OLS): رگرسیون رتبه ای (RANK REGRESSION) M-regression Ridge Regression روش های برآورد بردارهای هم انباشتگی: حداقل مربعات پویا (DOLS) حداقل مربعات معمولی کاملا اصلاح شده (FMOLS) روش حداکثر راستنمایی داده های تابلویی: داده های تابلویی کلاسیک (Panle Data) استخراج بردار هم انباشتگی در داده های تابلویی با روش حداقل مربعات معمولی پویا (Panel DOLS) ایمیل: [email protected]
روش حداقل مربعات معمولی OLS
روش حداقل مربعات معمولی [ویرایش]داده‌ها (نقاط آبی) و بهترين خطي كه با معيار OLS می‌توان از ميان آنها گذراند (خط قرمز)برای مدلهای رگرسیون خطی، روش حداقل مربعات معمولی ساده‌ترین و مرسوم‌ترین روش است. طرح اولیه این روش را که معمولاً با OLS نشان داده می‌شود کارل فریدریش گوس ریاضی دان معروف آلمانی در قرن هجدهم مطرح کرده است. زیربنای فکری روش حداقل مربعات معمولی این است که ضرایب مدل مقادیری اختیار کنند که مدل رگرسیون نمونه بیشترین نزدیکی را به مشاهدات داشته باشد. به عبارت دیگر کمترین انحراف را از مشاهدات فوق نشان دهد.اگر مدل رگرسیون خطی را با خط تخمین بزنیم، این خط باید کمترین فاصله را با مشاهدات ما داشته باشد. معیار روش حداقل مربعات معمولی این است که ضرایب را باید چنان تخمین زد که مجموع مربعات پسماندها یعنی به حداقل برسد.[۲]روش OLS برای برآورد ضرایب نیاز به هیچ شرطی روی جمله اخلال ندارد اما برای آنکه ضرایب برآورد شده نااریب (بدون تورش) باشند و استنتاج آماری (مثلا تستهای معناداری) روی آنها امکان پذیر باشد، برقرار بودن فروض کلاسیک الزامی است.[۶]منبع: ویکی پدیا
روش حداقل مربعات معمولی
ریاضی دان معروف آلمانی در قرن هجدهم مطرح کرده است. زیربنای فکری روش حداقل مربعات معمولی این است که ضرایب مدل مقادیری اختیار کنند که مدل رگرسیون نمونه بیشترین نزدیکی را به مشاهدات داشته باشد. به عبارت دیگر کمترین انحراف را از مشاهدات فوق نشان دهد. اگر مدل رگرسیون خطی را با خط تخمین بزنیم، این خط باید کمترین فاصله را با مشاهدات ما داشته باشد. معیار روش حداقل مربعات معمولی این است که ضرایب را باید چنان تخمین زد که مجموع مربعات پسماندها یعنی به حداقل برسد.[۲] روش OLS برای برآورد ضرایب نیاز به هیچ شرطی روی جمله اخلال ندارد اما برای آنکه ضرایب برآورد شده نااریب (بدون تورش) باشند و استنتاج آماری (مثلا تستهای معناداری) روی آنها امکان پذیر باشد، برقرار بودن فروض کلاسیک الزامی است.[۶] منبع: ویکی پدیا
رگرسیون و مدل سازی به روش حداقل مربعات جزئی (Partial Least Square)
رگرسیون و مدل سازی به روش حداقل مربعات جزئی (Partial Least Square) روش حداقل مربعات جزئی (Partial Least Square) به عنوان یک جایگزین برای روش های OLS رگرسیون، Canonical رگرسیون و مدل سازی معادلات ساختاری (SEM) در پژوهش هایی که متغیرهای مستقل و وابسته وجود دارد، بکار گرفته می شود. روش PLS در اغلب اوقات، معادلات ساختاری مبتنی بر مولفه (Component-Based SEM) نامیده می شود در حالی که روش معادلات ساختاری مبتنی بر کواریانس است(Covariance-Based SEM). این روش زمانی استفاده می شود که می خواهیم تاثیرات چندین متغیر مستقل را بر یک یا چند متغیر وابسته بررسی کنیم اما پیش فرض های انجام رگرسیون یا معادلات ساختاری بر قرار نیست و یا اینکه در پژوهش به مشکلات زیر مواجه شویم: چندین متغیر وابسته داشته باشیم. تعداد متغیرهای مستقل زیاد باشد و شناسایی متغیرهای تاثیر گذار مشکل باشد. در متغیرهای مستقل هم خطی وجود داشته باشد(Multicollinearity) حجم نمونه کم باشد. در رگرسیون توزیع فروانی متغیرها نرمال نباشد و یا در روش معادلات ساختاری نرمال بودن چند متغیره برقرار نباشد. روش حداقل مربعات جزئی می تواند تاثیرات متغیرهای مستقل را بر متغیر وابسته بصورت یک مدل رگرسیونی یا مدل ساختاری برازش کند. چنانچه هدف پژوهشگر پیش بینی یا مدل سازی اکتشافی باشد استفاده از روش PLS توصیه می شود. روش مدل سازی معادلات ساختاری(SEM) برای مقاصد تایید مدل کاربرد دارد و برای براورد پارامترهای مدل نیازمند حجم نمونه زیاد و برقرار بودن پیش فرض نرمال بودن چند متغیره است اما روش PLS چون برای مقاصد اکتشافی کاربرد دارد به هیچ گونه پیش فرضی احتیاج ندارد . در برخی از منابع ذکر شده است روش PLS با حداقل ۳۰ نمونه نیز قابل انجام است و نتایج در مقابل داده های مفقود شده(Missing value) پایدار است. از لحاظ تکنیکی فرق روش PLS با سایر روش های رگرسیونی است این است که به جای در نظر گرفتن متغیرهای مستقل، از طریق تکنیک تحلیل مولفه های اصلی(PCA) متغیرهای مستقل در چند عامل کلی تر قرار می گیرند به گونه ای که این عامل ها بیشترین تغییرات متغیر(های) وابسته را تبیین کنند
اجرای روش تعیین حداقل مربعات به صورت بازگشتی (RLS)
در این پروژه هدف شناسایی یک پارامتر از یک سیستم است. فرض میکنیم خروجی یک سیستم به صورت رابطه y=b+n باشد که b یک ثابت است و مقدار آن 5 میباشد و n نویز گوسی میباشد. در متلب دستور wgn برای تولید نویز گوسی به کار میرود. مقدار b برای ما نامشخص است و تنها اطلاعاتی که از سیستم داریم خروجی آن است. یعنی در هر نمونه زمانی که از سیستم دریافت میکنیم سیگنال دریافت شده حاصل جمع یک عدد ثابت با مقدار نویز در آن لحظه است. حال میخواهیم با اجرای روش تعیین حداقل مربعات به صورت بازگشتی مقدار b را با استفاده از 100 نمونه اطلاعاتی از سیستم به صورت آفلاین بدست آوریم. لازم به ذکر است مقدار اولیه لحاظ شده برای ماتریس کوواریانس خطای P در این پروژه 3 مقدار 10 و 100 و 1. است. و همچنین با تغییر فاکتور فراموشی نیز پروژه پیاده سازی شده است. مراحل اجرای پروژه: مرحله اول، تولید 100 نمونه اطلاعاتی با استفاده از فرمول فوق است. مرحله دوم، تعیین ماتریسهای مورد استفاده و مقدار اولیه دادن به آنها است. مرحله سوم، پیادهسازی کدهای مربوط به روش RLS است. مرحله چهارم، تولید نمودار حاصل از اجرای محاسبات است. اجرای روش تعیین حداقل مربعات به صورت بازگشتی (RLS) برای شناسایی یک سیستم
روش های برآورد پارامترهای رگرسیون
برای برآورد پارامترهای رگرسیون روش های زیادی وجود دارد . روش حداقل مربعات معمولی که وابسته به برقراری فروض کلاسیک است از جمله رایج ترین روش های برآورد پارامترهاست . زمانی که هریک از فروض کلاسیک نقض شود دیگر روش حداقل مربعات معمولی بهترین برآورد کننده بدون تورش خطی نخواهد بود. برای مثال زمانی که فرض همسانی واریانس یا عدم خودهمبستگی خطاها نقض شود برآورد واریانس پارامترها با تورش همراه است که برای رفع این مشکل از روش حداقل مربعات تعمیم یافته استفاده می نماییم. در زمان نقض فرض برون زایی اکید متغیرهای توضیحی می توان از روش متغیر ابزاری استفاده نماییم . علاوه بر روش های بالا روش های دیگری برای برآورد پارامترهای وجود دارد که مخصوص نمونه های بزرگ می باشند بدین معنی که ویژگی های مطلوب آنها به صورت مجانبی برقرار است. از جمله این روش ها می توان به روش حداکثر درست نمایی ، روش گشتاورها و روش حداقل فاصله اشاره نمود.