آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

[cooolman_ahv]

پی دی اف انگلیسیشو می تونین از اینجا بگیرین:
http://www.eca.ir/forum2/index.php?a....0;attach=2613
(برای دنبال کردن مطالب آشنایی مقدماتی با شبکه های عصبی چند لایه لازم است.)
(لازمه که بگم نمی دونم اینجا چرا ماتریس ها رو اینجوری نشون میده،هر کاری می کنم درست نشون نمیده.واسه اینکه درست ببینید،هر جا که عبارت"کد"نوشته شده،جلوش نوشته شده"انتخاب"،رو انتخاب کلیک راست کنید و گزینه آخر رو انتخاب کنید،در ضمن می تونین اصلشو دانلود کنین و کد رو از رو اصل بخونین.)

به نام خدا
کلاس بندی توسط یک نرون(پرسپترون) با دو ورودی:
خوب در هر شبکه عصبی یه بردار ورودی داریم و بازای اون بردار ورودی،یه بردار در خروجی(به نام بردار هدف).
در اینجا فرض می کنیم ماتریس P بردار ورودی ما باشه:

P=[-.5 -.5 .3 0;
  -.5 .5 -.5 1];

ماتریس T نیز بردار خروجی(هدف) ما باشه به این صورت:

T=[1 1 0 0];

با دستور زیر موقعیت بردار های ورودی-خروجی رسم میشه:(در حقیقت این همون کاریه که ما می خایم شبکه عصبی واسمون انجام بده.)

plotpv(P,T)

این نرون باید 4 الگوی ورودی(ماتریس P) را به دو دسته در خروجی(ماتریسT)دسته بندی کنه.
با استفاده از دستور زیر با معرفی ماتریس P و T به نرون،از متلب می خواهیم که بردار وزن ها و بایاس تک نرون را مقدار دهی اولیه کند:

[W,b]=initp(P,T)

بعد از اجرای فرمان فوق-مقدار وزن ها و بایاس اولیه در ماتریس های W,b قرار می گیرد.
اکنون باید نرون را آموزش دهیم،با دستور ذیل کار آموزش نرون با توجه به ورودی - خروجی آغاز می شود:

[W,b,epochs,errors]=trainp(W,b,P,T)

این دستور ماتریس وزن-بایاس-ورودی-هدف را می گیرد و کار آموزش نرون را آغاز می کند و خروجی آن نیز عبارتست از :
ماتریس وزن های بهینه
ماتریس بایاس های بهینه
تعداد تکرار ها تا آموزش دیدن صحیح شبکه عصبی
خطا در هر مرحل آموزش شبکه عصبی

الان تک نرون ما آموزش دیده است،با استفاده از دستور زیر،مقدار خطا در هر مرحله آموزش نشان داده میشود:

ploterr(errors)

خوب حالا ممکنه که بخوایم شبکه عصبیه آموزش دیده رو امتحان کنیم،یعنی یه الگو در ورودی بهش بدیم،ببینیم آیا درست دسته بندی می کنه یا نه؟
باید اول ماتریس ورودیو معرفی کنیم،بعد ازش بخوایم واسمون خروجیو با توجه به ماتریس وزن ها و بایاس شبیه سازی کنه و جواب رو در ماتریسa بریزه.
از دستور زیر استفاده می کنیم:

a=simup(p,W,b)

خوب همه می دونیم که شبکه عصبی در حقیقت یک نگاشت غیر خطی از ورودی-به خروجی انجام میده،واسه اینکه ببینیم بوسیله چه صفحه ای کار دسته بندی انجام شده از دستور زیر استفاده میکنیم:

plotpc(W,b)

دستور لذت بخشیه نه؟

تبریک می گم شما اولین نرونتون رو با متلب آموزش دادین.از اینجا به بعد مسائل پیشرفت می کنن و شرایط جدید رو در نظر می گیریم.

دسته بندی با یک نرون با سه ورودی:
ابتدا ماتریس ورودی رو معرفی می کنیم،ماتریس p به صورت زیر با سه ورودی:

P=[-1 1 -1 1 -1 1 -1 1;
  -1 -1 1 1 -1 -1 1 1;
  -1 -1 -1 -1 1 1 1 1];

حالا ماتریس هدف رو معرفی می کنیم، به این صورت:

T=[0 1 0 0 1 1 0 1];

حالا از متلب می خوایم که الگو بندیه ورودی-خروجیو واسمون بکشه،با این دستور:

plotpv(P,T)

نوبت به مقدار اولیه دادن به بردار وزن ها و بایاس می رسه :

[W,b]=initp(P,T)

اکنون کار آموزش شبکه عصبی با دستور:

[W,b,epochs,errors]=trinp(W,b,P,T)

شبکه عصبی آموزش می بینه که 8 الگو را در ورودی به 2 الگو در خروجی تبدیل کند.

اینجا حتما پیشنهاد می کنم این دو تا دستور رو پشت سر هم اجرا کنین،نتیجه رضایت بخشه.

plotpv(P,T);
plotpc(P,T);

مشاهده می کنین که چه جوری با یک صفحه،این نرون،این 8 الگو رو از هم تشخیص میده،زیباست،نه؟ :applause:

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

دسته بندی با شبکه عصبی یک لایه و دارای 2 نرون:

خوب یادتونه که گفتم هر نرون می آد و با یه نگاشت ورودی-خروجیو به هم مربوط می کنه؟
اگه یادتون باشه دستور

plotpc(W,b)

می اومد و بهتون نشون می داد که نرون چه جوری این کار رو بر اساس وزن های آموزش دیده شده انجام میده،حالا می خوام یه مثال بزنم که این مساله واستون روشن بشه:
شبکه ای که از دو نرون و با یک لایه تشکیل شده و می خواد 10 دسته داده رو به چهار کلاس دسته بندی کنه،چون دستورات زیر قدم به قدم در پست قبلی توضیح داده شدند،توضیح اضافی نمیدم:

P=[.1 .7 .8 .8 1 .3 0 -.3 -.5 -1.5;
  1.2 1.8 1.6 .6 .8 .5 .2 .8 -1.5 -1.3];

T=[1 1 1 0 0 1 1 1 0 0;
  0 0 0 0 0 1 1 1 1 1];

  
[W,b]=initp(P,T)
[W,b,epochs,errors]=trinp(W,b,P,T)
plotpv(P,T);
plotpc(W,b)

خوب اصل حرفم رو این دو تا دستور آخره، می خوام نتیجه رو واستون نمایش بدم:


اول 10 ثانیه بهش دقت کنین:
می بینین چی کار کرده؟
اومده 10 تا الگوی وردیمون رو بوسیله 2 تا خط از هم جدا کرده و 4 ناحیه در فضا رو به وجود آورده،که باعث دسته بندی الگوهامون میشه.
همه ی این شکل رو به برکت 2 تا دستور آخر واجراشون پشت سر هم داریم که خلاصه کارمون رو بهمون نشون میدن.

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

دسته بندی با یک شبکه عصبی دو لایه:

از شبکه های عصبی دو لایه برای دسته بندی بردارهای ورودی جداپذیر غیر خطی استفاده می شود.
لایه اول بعنوان پیش پردازش کننده برای لایه دوم عمل می کند.
ماتریس P مطابق ذیل تعریف می کنیم:

P=[-.5 -.5 .3 -.1 -.8;
  -.5 .5 -.5 1 0];

ماتریس T رو نیز تعریف می کنیم:

T=[1 1 0 0 0];

واسه اینکه ببینیم الگوی تعریف شده تنها با یک خط جدا پذیر نیستند،از دستور زیر استفاده مکنیم:

plotpv(P,T)

چون بردارها به صورت خطی جدا پذیر نیستند(شما با یه خط بین نقاطXونقاطO نمی تونین الگوها رو جدا کنید.)
از یه شبکه عصبی یه لایه نمی تونیم استفاده کنیم،و مجبوریم حداقل از دو لایه استفاده کنیم.
برای اینکه شانس این امر که لایه پیش پردازش کننده ما(لایه1)بتونه رابطه ای خطی و تفکیک پذیر بین ورودیها پیدا کنه نیاز به نرون های زیادی هست .
ما 20 نرون برای لایه اول در نظرمی گیریم.

s1=20;

اکنون با دو دستور زیر از متلب می خوایم که بردار وزن و بایاس را برای یه شبکه عصبی دو لایه با 20 نرون در لایه 1 و یک نرون در لایه 2 مقدار دهی اولیه کند.خوب دو ورودی داریم از این دو ورودی به 20 تا نرون باید وزن ایجاد بشه،بعدش هم از 20 تا نرون به تک نرون لایه آخر باید وزن دهی بشه.
خلاصه 2 ضربدر 20=40 تا وزن در لایه 1
20 ضربدر 1=20 تا وزن در لایه دوم داریم

[W1,b1]=initp(P,s1)
[W2,b2]=initp(s1,T)

حالا باید از لایه یک بخایم که با توجه به بردار وزنهای اولیه،خروجی 20 تا نرون را به ما بدهد:

A1=simup(P,W1,b1)

حالا باید نرون لایه 2 را با توجه به بردار A درست شده از مرحله قبل آموزش بدیم:

[W2,b2,epochs,errors]=trainp(W2,b2,A1,T)

اگر لایه اول(پیش پردازش کننده)موفق شود که ورودی غیر خطی و تفکیک پذیر مارا به برداری خطی و تفکیک پذیر تبدیل کند،در اینصورت خطای آموزش 0 خواهد بود.اگر خطا هیچ وقت 0 نشه،به این معنیه که لایه پیش پردازش کننده با نرون های بیشتری باید ساخته بشه.
خطا رو می بینیم:

ploterr(errors)

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

شبکه های خطی:
همونطور که گفتم دارین می بینین که مسائل یواش یواش دارن شکل جدی تری می گیرن.
من همزمان دارم با متلب این الکوریتم ها رو جلو میام ،سعی می کنم هر جا که شکل جذابی باشه بیارم که از حالت یکنواخت خارج بشیم.
در این قسمت نرون ها رو با تابع تصمیم گیری خطی در نظر می گیریم.همون تابعy=x خودمون.=(Pureline)=> به معنی Pure Linear کاملا خطی. :agree:
بردارP رو معرفی میکنیم:

P=[1 -1.2]

بردارT رو معرفی میکنیم:

T=[.5 1]

الان می خواهیم سطح تابع خطا رو بازای کلیه مقادیر وزن ها و بایاس موجود(در فضای وزن و بایاس)بدست بیاریم.
همونطور که می دونیم هنگام وزن اولیه دادن و بایاس اولیه دادن،متلب از بازه [1 -1]عددی تصادفی انتخاب می کنه پس:

w_range=-1:.1:1;

b_range=-1:.1:1;

حالا دستوریو معرفی می کنیم که مقادیر خطا رو بازای کلیه وزن ها و بایاس های ممکن حساب می کنه:

ES=errsurf(P,T,w_range,b_range,'purelin')

دستور زیر هم میاد و بصورت مشبک و رنگی این سطح خطا رو برامون رسم می کنه:

plotes(w_range,b_range,ES)

:job:
این شکل داره باهاتون کلی حرف می زنه
از رو این شکل میشه فهمید که بازای چه وزن و بایاسی شبکه کمترین خطا رو بهتون میده و محدوده وزن و بایاس بهینه رو می تونین بدست بیارین.
برای بدست آوردن دقیق محل وزن و بایاس بهینه:

[w,b]=solvelin(P,T)

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

اگه بخوایم طبق اون متن انگلیسی پیش بریم،الآن به قسمت 2.3 یعنی الگوریتم آموزشی Widrow-hoff می رسیم.این نوع آموزش رو جا می اندازیم و به قسمت بعدی می ریم.خودم هم تئوریشو(از لحاظ ریاضی) بلد نیستم،چیزی که من خوندم،الگوریتم آموزشی پس انتشار خطا است که به عنوان مقدماتی ترین روش آموزش شبکه عصبی حساب میشه.البته قسمتی که جا انداختیم،از لحاظ دستورات متلبش ،هیچ نکته خاصی نداره ، فقط از این لحاظ که نوع آموزش رو نمی دونم و اینکه نمی تونم با روش پس اتشار خطا=Back propagation مقایسه اش کنم جا افتاد.
قسمت 2.4
Linear predictiaon=پیش بینی خطی:
مثال جالبیه(واسه منی که تازخ کارم البته!)،تو این مثال به طور خلاصه می آد و یه سیگنال رو در نظر می گیره
بعد به این سیگنال یک،دو،سه،چهار و پنج بار شیفت به راست میده(همون تاخیر خودمون)،بعد میاد و از این تاخیرهای ما(پنج تا سیگنال)استفاده می کنه و یک نرون رو آموزش میده.پس پنج تا ورودی داریم،یه نرون،یه بایاس و یه خروجی.
در آموزش می آد و ورودی رو تاخیرها و شیگنال هدف رو بدون تاخیر معرفی می کنه و وزنها بر این اساس بدست میآن.
بعد هم خطا رو بدست می آره.
اما کدهای برنامه:
ابتدا زمان رو به صورت بازه های 25/1000 معرفی می کنه.

time=1:0.0025:5;

بعدش هم تابع هدف رو معرفی میکنه:

T=sin(time*4*pi)

الان نوبت به معرفی ورودی آموزش شبکه عصبی میرسه،با دستورdelaysig می آد و از یک تا پنج بار تاخیر میده در سیگنال هدف و بردار آموزش شبکه عصبی بدست میآد:

P=delaysig(T,1,5)

واسه اینکه سیگنال هدف رو ببینید:

plot(time,T)

از دستور زیر برای بدست آوردن مقدار وزن و بایاسی استفاده میکنه که بازایاون کمترین مقدار خطا رو در فضای وزن ها داریم:

[w,b]=solvelin(P,T)

حالا از شبکه عصبی می خواد که بازای وزن و بایاس (بهینه) و شیفت یافته های سیگنال هدف ،خروجیو بدست بیاره و ببینه که نرون قادر به بدست آوردن سیگنال اصلی بدون تاخیر هست یا نه.

a=simulin(P,w,b);

واسه ایکه مقدار خطا رو ببینین از دستور های زیر استفاده کنین:

e=T-a;plot(time,e)

دو تا عکس بالا مقدار خطا رو نشون میده من یه کم رو عکس اولی زوم کردم تا ببینین خطا به مقدار ناچیزی وجود داره.

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

در ادامه اون جزوه به بخش سوم می رسیم به نام شبکه های پس انتشار خطا
BacK propagation Network:
در این مثال یک نرون داریم،
از یک نرون برای یادگیری هدف و وردی استفاده می کنیم.
بردار هدف و وردی به ترتیب زیر است :

P=[-3 2]
T=[.4 .8]

تو خود پی دی افش،اومده فضای وزن ها رو از -4 تا 4 تعریف کرده
من تا اونجا که خوندم همیشه فضای وزن ها در بازه -1 تا 1 تعریف میشه
احتمالی که دادم اینه که با -4 تا 4 شکلی که رسم میشه ،زیباتره
ولی این تو روند مساله تاثیری نداره
من که از -1 تا 1 در نظر گرفتم:

wv=-1:.4:1;
bv=-1:.4:1;

با دستور زیر هم با توجه به فضای وزن ها،خطا محاسبه میشه

es=errsurf(P,T,wv,bv,'logsig')

عبارت logsig هم به تابع تصمیم گیری نرونمون مربوط میشه.
این دستور هم تابع خطایی که محاسبه کردیم رو رسم می کنه:

plotes(wv,bv,es,[60 30])

با دستور زیر هم وزن دهی اولیه :

[w,b]=initff(P,T,'logsig')

نوبت به آموزش شبکه عصبی می رسه:

df=5;me=100;eg=0.01;lr=2;
[w,b,ep,tr]=tbp1(w,b,'logsig',P,T,[df me eg lr],wv,bv,es,[60 30])

و در نهایت هم رسم خطا.

ploterr(tr,eg)

[amintanharpd]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

با سلام و خسته نباشید به شما دوست عزیز خیلی عالی بود من همشو که نه ولی یه مقدار اولشو خوندم دستتون درد نکنه من زیاد از این مبحث چیزی نمی دونستم تا اینکه سر قضیه شبکه بندی سد و رودخانه برای یکی که رشتش عمران بود و خیلی خیلی جالبه اگه زحمت بکشین منبعتونو به فارسی بگین ممنون می شم فقط یه مشکلی این فرمول ها از راست به چپ شدن یه خورده خوندنش سخته در کل دست شما درد نکنه راستی می خواستم بپرسم شما در مورد الگوریتم ژنتیک هم چیزی می دونین؟

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

با سلام و خسته نباشید به شما دوست عزیز خیلی عالی بود من همشو که نه ولی یه مقدار اولشو خوندم دستتون درد نکنه من زیاد از این مبحث چیزی نمی دونستم تا اینکه سر قضیه شبکه بندی سد و رودخانه برای یکی که رشتش عمران بود و خیلی خیلی جالبه اگه زحمت بکشین منبعتونو به فارسی بگین ممنون می شم فقط یه مشکلی این فرمول ها از راست به چپ شدن یه خورده خوندنش سخته در کل دست شما درد نکنه راستی می خواستم بپرسم شما در مورد الگوریتم ژنتیک هم چیزی می دونین؟

دوست عزیز این مباحثی که شما دیدی بیشتر برای جاانداختن مفهوم شبکه عصبی استفاده میشه،من خودم سعی می کنم هر منبعی که می خونم به انگلیسی باشه،کلا اگه بخام یه رفرنس خوب برای برنامه نویسی (پیشرفته)شبکه عصبی بهت معرفی کنم اینه:
http://www.image.ece.ntua.gr/courses_static/nn/matlab/nnet.pdf
تمامی کتاب های آموزش برنامه نویسی متلب به فارسی،ترجمه ی این کتاب هست،خوب وقتی رفرنسش هست،چرا ترجمه؟
ولی یه روش دیگه می تونه جستجو برای مقاله های فارسی باشه که تو نت پیدا میشه،اتفاقا من خودم از مقاله های عمران واسه یادگیری شبکه عصبی خیلی استفاده کردم،ولی من بهت توصیه می کنم که همون لینک بالا رو شروع کنی و یواش یواش شروع به خوندنش کنید.
کتاب فارسی هم که خدا رو شکر تو بازار خیلی هست،ولی همه ترجمه.
من الان فصل 5 و 2 رفرنس اصلیو خوندم تو 2 روز،از لحاظ زبان انگیلسیش هیچی نداره که سخت باشه.
الگوریتم ژنتیک هم یکی از تولباکس های متلبه،اون هم همین جوری یه رفرنس داره که با سرچ می تونین پیدا کنین و استفاده کنین.
الگوریتم ژنتیک هم تا یه حدودی خوندم.
این کدهام اینجا نمی دونم چرا اینجوری تایپ میشه،اگه کسی می دونه که چه جوری درست تایپ کنم لطفا راهنمایی کنه.
اصل پی دی افش هم که هست،می تونین تو پست اول دانلود کنین.

[shahre ghashang]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

به نام خدا

سلام دوستن عزیز ممنون از شروع مطلبتون
خیلی به درد بخورهمن تازه این مبحث رو شروع کردم. شاید در حد و اندازه بحث و مباحثه نباشم اما سعی میکنم از مطالبتون استفاده کنم.

[amintanharpd]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

دستتون درد نکنه دیدم خیلی عالی بود ممنون که توجه کردین موفق باشین

[shahre ghashang]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

به نام او

سلام دوستان
تو تعریف شبکه پرسپترون یه جیه مورد داره که گفته مقدار ماکزیمم و مینیمم چقدره . دقیقا منظورش چیه
حالا اگر ما خواستیم یه بازه پیوسته از اعداد رو بهش بدیم چطوریه چون اعداد داخل ماتریس هستن پس باید گسسته باشه لطفا راهنمائی بفرمایین

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

به نام او

سلام دوستان
تو تعریف شبکه پرسپترون یه جیه مورد داره که گفته مقدار ماکزیمم و مینیمم چقدره . دقیقا منظورش چیه
حالا اگر ما خواستیم یه بازه پیوسته از اعداد رو بهش بدیم چطوریه چون اعداد داخل ماتریس هستن پس باید گسسته باشه لطفا راهنمائی بفرمایین

اینکه ممقدار MIN & MAX رو خواسته،واسه انجام فرآیندی به نام نرمالیزه سازیه.
در شبکه های عصبی واسه جلوگیری از اشباع نرون ها از مقادیر دارای قدر مطلق کمتر از یک استفاده می کنند.

[cooolman_ahv]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

دوستان بعد از چند روز سعی و تلاش و نوشتن چند تا برنامه شبکه عصبی با متلب(استفاده از تولباکس) برای شبکه های Feed forward multi layer N.N و Hopfield به این نتیجه رسیدم که انتخاب اینکه زبان برنامه نویسیتون با تولباکس متلب باشه یا نه،کاملا بستگی به پروژه تون داره.
پروژه های عصبی که واسه رشته های دیگه هستن (مثلا عمران،شیمی،...) کاملا با تولباکس متلب جواب میدن.
همچنین پروژه هایی که پردازش تصویر دارن هم متلب خوبه.

[shahre ghashang]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

به نام خدا


سلام دوستان
با تشکر از جناب وزیری به خاطر مطالبشون و پاسخ به سوالات

جناب وزیری اگر مقدوره همین کارای که انجام می دین رو بگین و پروژه ها رو با هم انجام بدیم البته اگر مقدوره.

[shahre ghashang]

پاسخ : آموزش مقدماتی برنامه نویسی شبکه عصبی با متلب

به نام خالق هستی بخش

ىوستان کسی اءلاعی ىاره که مثلا می شه با شبکه های عصبی استنتاج کرى یا نه؟ یا بشه تصمیم کرفت