پرسپترون

پرسپترون (به انگلیسی: perceptron) کوته‌نوشت نورون ادراکی یک الگوریتم یادگیری ماشین است که در دسته یادگیری با نظارت قرار می‌گیرد. الگوریتم پرسپترون یک الگوریتم دسته‌بندی دودویی (نوعی از دسته‌بندی که می‌تواند با توجه به بردار ورودی تصمیم بگیرد که این ورودی متعلق به یک کلاس هست یا خیر) است. این الگوریتم یک دسته‌بند خطی است، به‌این معنا که پیش‌بینی‌هایش را باتوجه به ترکیب خطی وزن دار ورودی الگوریتم انجام می‌دهد. همچنین این الگوریتم به دلیل اینکه ورودی‌هایش را به صورت تک تک در زمان بررسی می‌کند، یک الگوریتم برخط می‌باشد. الگوریتم پرسپترون در سال ۱۹۵۷ در لابراتوار کرنل آرونوتیکال به وسیلهٔ فرانک روزنبلت ابداع شد. در واقع این الگوریتم جزء اولین شبکه‌های عصبی مصنوعی است که به‌کار گرفته شده‌است.

تاریخچه

الگوریتم پرسپترون در سال ۱۹۵۷ در لابراتوار کرنل آرونوتیکال توسط فرانک روزنبلت^[۱] با سرمایه‌گذاری دفتر تحقیقات دریانوردی ایالات متحده^[۲] ابداع شد. پرسپترون بیشتر به عنوان یک دستگاه مد نظر بوده‌است تا یک برنامه؛ و با این‌که اولین پیاده‌سازی آن به صورت یک نرم‌افزار برای آی بی ام ۷۰۴ بود؛ پس از آن به صورت سخت‌افزار اختصاصی "پرسپترون مارک ۱" پیاده‌سازی شد. این دستگاه برای تشخیص تصویر طراحی شده بود: مجموعه‌ای از ۴۰۰ حسگر نور، که به صورت تصادفی به "نورون"‌ها متصل شده‌اند. وزن‌ها در پتانسیومترها کدگذاری شده بودند، و بروزرسانی وزن‌ها در طول یادگیری با موتورهای الکتریکی صورت می‌گرفت.^[۳]

تعریف

پرسپترون یک نوع دسته‌بند دودودیی است که ورودی خود $x$ (یک بردار متشکل اعداد حقیقی) را به مقدار خروجی $f(x)$ (یک اسکالر با مقادیر باینری) که به صورت زیر حساب می‌شود، متناظر می‌کند:

f(x)={\begin{cases}1&{\text{if }}w\cdot x+b>0\\0&{\text{otherwise}}\end{cases}}

وب سرور با استفاده از شبکه عصبی پرسپترون چند لایه ای مدلسازی می شود. به طور کلی یک الگوریتم عصبی است که با توجه به ازدحام وب سرویس در شبکه چند لایه ای پیشبینی هایی را صورت میدهد تا سرور از کار نیافتد.

$w$ یک بردار از وزن‌هایی با مقادیر حقیقی است و $w\cdot x=\sum _{i=1}^{m}w_{i}x_{i}$ ضرب داخلی بردار وزن و بردار ورودی است، که در آن $m$ تعداد ورودی‌های پرسپترون است. در رابطه بالا $b$ نشان‌دهنده بایاس است که وظیفه آن جابجا کردن مرز تصمیم‌گیری از مبدأ است و مقدار آن به ورودی‌ها بستگی ندارد.

در مسئله دسته‌بندی دودودیی مقدار $f(x)$ برای دسته‌بندی $x$ بین دو کلاس $+$ و $-$ استفاده می‌شود. اگر $b$ عددی منفی باشد، جمع وزن‌دار ورودی‌ها باید عدد مثبتی بزرگتر از $|b|$ باشد تا خروجی پرسپترون $1$ شود. به عبارت دیگر دسته‌بند پرسپترون مانند یک ابرصفحه است که فضای $m$ بعدی را به دو قسمت تقسیم می‌کند، در این صورت $w$ نشان‌دهنده بردار عمود برصفحه و $b$ نشان‌دهنده عرض از مبدأ صفحه جداکننده است. به ازای نقاط داده شده به همراه برچسب آن‌ها $((x_{1},y_{1}),...,(x_{n},y_{n})$ الگوریتم پرسپترون مقادیر $w$ و $b$ را به گونه‌ای می‌یابد که تمام نمونه‌ها توسط تابع $f$ به‌درستی برچسب گذاری شوند یعنی

$\forall i\in \{1,...,n\}:f(x_{i})=y_{i}.$

اگر داده‌های مثبت و منفی قابلیت جداشدن توسط یک ابرصفحه را نداشته باشند الگوریتم پرسپترون متوقف نمی‌شود اما اگر داده‌ها خطی تفکیک‌پذیر باشند الگوریتم پرسپترون در تعداد متناهی مرحله پایان می‌یابد. معروف‌ترین تابعی که الگوریتم پرسپترون قادر به یادگیری آن نیست؛ تابع یا مانع الجمع است.^[۴]

در زمینه شبکهٔ‌های عصبی مصنوعی پرسپترون یک نوع نورون مصنوعی است که تابع فعالیت آن تابع پله‌ای هویساید می‌باشد.

الگوریتم یادگیری

الگوریتم پرسپترون یک الگوریتم تکرار شونده است، به این صورت که در ابتدا بردار وزن $w$ و بایاس $b$ به نحوی مقداردهی می‌شوند و سپس در هر مرحله، الگوریتم با توجه به نقاطی که درست دسته‌بندی نشده‌اند مقادیر وزن $w$ و بایاس $b$ را تغییر می‌دهد تا این نقاط به درستی دسته‌بندی شوند. اگر نقاط داده‌شده به صورت خطی تفکیک‌پذیر نباشند الگوریتم پرسپترون پایان نمی‌یابد اما در صورتی که نقاط خطی تفکیک‌پذیر باشند الگوریتم در تعداد متناهی مرحله پایان می‌یابد.

تعریف مسئله

متغیرهای زیر را تعریف می‌کنیم: داده‌های آموزشی به صورت $D=\{(x^{(1)},y^{(1)}),...(x^{(n)},y^{(n)})\}$ است که $y\in \{-1,1\}$ و $x$ بردار ورودی تغییریافته‌است (برای سادگی الگوریتم $y$ را عضو مجموعه $\{-1,1\}$ در نظرگرفته‌ایم، که $+1$ نشان‌دهنده نمونه‌های مثبت و $-1$ نشان‌دهنده نمونه‌های منفی است). $x^{(i)}$ و $y^{(i)}$ نشان‌دهنده بردار ورودی و مقدار خروجی مدنظر برای $i$ امین نمونه آموزشی است. $x_{j}^{(i)}$ نشان‌دهنده $j$ امین مؤلفه بردار $x^{(i)}$ است. برای اینکه پارامترهای بایاس $b$ و بردار وزن را به صورت یک بردار واحد در نظر بگیریم بردارهای ورودی $x$ و بردار وزن $w$ را به‌گونه‌ای تغییر می‌دهیم که $x_{0}=1$ و $w_{0}=b$ در این‌صورت

$w\cdot x=w_{0}x_{0}+\sum _{i=1}^{m}w_{i}x_{i}=b+\sum _{i=1}^{m}w_{i}x_{i}$

تابع پرسپترون را نیز به صورت زیر تغییر می‌دهیم

$f(x)={\begin{cases}1&{\text{if }}w\cdot x>0\\-1&{\text{otherwise}}\end{cases}}$

هدف پیدا کردن بردار وزن $w$ به‌گونه‌ای است که برای نقاط داده‌شده $\{(x^{(1)},y^{(1)}),...(x^{(n)},y^{(n)}\}$ داشته باشیم

$\forall i\in \{1,...n\}:f(x^{(i)})=y^{(i)}$

مراحل الگوریتم

الگوریتم در هر مرحله باتوجه به نقاطی که اشتباه دسته‌بندی شده‌اند بردار وزن را تغییر می‌دهد تا نقاط بیشتری را به درستی دسته‌بندی کند. الگوریتم در هر مرحله بردار وزن جدیدی را به‌دست می‌آورد. در ابتدا بردار وزن را برابر با صفر قرار می‌دهیم. بردار وزن را در مرحله $t$ ام با $w^{(t)}$ نشان می‌دهیم. اگر الگوریتم پس از $T$ مرحله متوقف‌شود (تمام نقاط به درستی دسته‌بندی شوند)، $w^{(T)}$ بردار وزن مورد نظر است. شبه‌کد الگوریتم پرسپترون در زیر نوشته‌شده‌است.

input: A training set  $D$ 
initialize:  $w^{(1)}=(0,...,0)$ 
 for t = 1,2 ,...
 if( $\exists i\;\;\;s.t\;\;\;y^{(i)}\times (w^{(t)}\cdot x^{(i)})\leq 0$ )
    $w^{(t+1)}=w^{(t)}+y^{(i)}x^{(i)}$ 
 else
    $w^{(t+1)}=w^{(t)}$

اگر $y^{(i)}\times (w^{(t)}\cdot x^{(i)})\leq 0$ می‌توان گفت که تابع پرسپترون با بردار وزن $w^{(t)}$ ورودی $x^{(i)}$ را به اشتباه دسته‌بندی می‌کند. در این صورت بردار وزن به گونه‌ای تغییر می‌کند خطای کمتری روی $x^{(i)}$ مرتکب شود و آن را به درستی دسته‌بندی کند. الگوریتم هنگامی پایان می‌یابد که برای تمامی نقاط داشته باشیم

$\forall i\in \{1,...,n\}\rightarrow y^{(i)}\times (w^{(T)}\cdot x^{(i)})>0.$

و در این‌صورت خواهیم داشت

$\forall i\in \{1,...,n\}\rightarrow f(x^{(i)})=y^{(i)}.$

بنابراین $w^{(T)}$ بردار وزن موردنظر است.^[۵]

همگرایی الگوریتم

اثبات

جستارهای وابسته

منابع

↑ Rosenblatt, Frank (1957), The Perceptron--a perceiving and recognizing automaton. Report 85-460-1, Cornell Aeronautical Laboratory.
↑ Mikel Olazaran (1996). "A Sociological Study of the Official History of the Perceptrons Controversy". Social Studies of Science. 26 (3): 611–659. doi:10.1177/030631296026003005. JSTOR 285702.
↑ Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer.
↑ Liou, D. -R.; Liou, J. -W.; Liou, C. -Y. (2013). Learning Behaviors of Perceptron. iConcept Press. ISBN 978-1-4775-5473-9.
↑ Shwartz, Shai (2014). Understanding Machine Learning. p. 92.

[1] Rosenblatt, Frank (1957), The Perceptron--a perceiving and recognizing automaton. Report 85-460-1, Cornell Aeronautical Laboratory.

[Olazaran-2] Mikel Olazaran (1996). "A Sociological Study of the Official History of the Perceptrons Controversy". Social Studies of Science. 26 (3): 611–659. doi:10.1177/030631296026003005. JSTOR 285702.

[bishop-3] Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer.

[4] Liou, D. -R.; Liou, J. -W.; Liou, C. -Y. (2013). Learning Behaviors of Perceptron. iConcept Press. ISBN 978-1-4775-5473-9.

[Mitchell2-5] Shwartz, Shai (2014). Understanding Machine Learning. p. 92.

[۱]

[۲]

[۳]

[۴]

[۵]