Как написать нейросеть на pascal

Цитата(Legolas @ 10.05.2006 5:11)

Предварительно нужно обучить нейронную сеть.

Нейронная сеть — громко сказано. Это будет многослойный персептрон.
Его можно будет обучить правилом «обратного распространения ошибки».

Вот пример: Пример моделирования
Я делаю вот такую задачу:

А теперь рассмотрим простой пример, показывающий использование нейросети в прикладной программе. Предположим, что мы создаем программу, которая умеет складывать два числа, используя для реализации операции сложения нейронную сеть. Используем среду Delphi 4, для которой и разрабатывался данный модуль.
Предварительно обучим нейросеть с использованием Neural Network Wizard, используя для обучения следующий файл:

s1 s2 res
0 0 0
1 1 2
2 2 4
3 3 6
4 4 8
5 5 10
6 6 12
7 7 14
8 8 16
9 9 18
10 10 20

файл sum.txt

Результаты обучения сохраним в файле sum.nnw
В результате в этом файле хранятся коэффициенты передач обученной нейросети, которая может использоваться для сложения чисел с интервале [0,10]
Затем приступим к разработке приложения:

На форме надо разместить два компонента TEdit, компонент TButton и TLabel (см ниже)
Установим обработчики сообщений на создание формы (Form1.OnCreate) и на нажатие кнопки (Button1.OnClick).

Исходный текст модуля примет вид:

Код

unit Unit1;
interface
uses
  Windows, Messages, SysUtils, Classes, Graphics, Controls, Forms, Dialogs,
  WizardNN, StdCtrls;
type
  TForm1 = class(TForm)
    Edit1: TEdit;
    Edit2: TEdit;
    Button1: TButton;
    Label1: TLabel;
    procedure FormCreate(Sender: TObject);
    procedure Button1Click(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
    NeuralNetwork : TWizardNeuralNetwork;
  end;
var
  Form1: TForm1;
implementation
{$R *.DFM}
procedure TForm1.FormCreate(Sender: TObject);
begin
  NeuralNetwork := TWizardNeuralNetwork.Create; // создаем нейросеть
  NeuralNetwork.LoadFromWizardFile(ExtractFilePath(paramstr(0))+’sum.nnw’); // читаем параметры НС из файла
end;
procedure TForm1.Button1Click(Sender: TObject);
begin
  with NeuralNetwork do
  begin
    InputValues[‘s1’] := StrToFloat(Edit1.Text); // устанавливаем входы НС
    InputValues[‘s2’] := StrToFloat(Edit2.Text); //
    Compute;                         // рассчитываем с использование НС
    Label1.Caption := FloatToStr(OutputValues[‘res’]); // выводим результат расчета
  end;
end;
end.

Только вместо Дельфи задачу надо решить на Паскале
Вот ссылка, откуда взят пример:
Proga

Надеясь, может уже кто-нибудь решал подобное

Дело в том, что исходник на Дельфи не работает, да и вообще мы дельфи всего месяц назад начали проходить.

Интересно, что ты имел в виду, сказав, что можно программу Дельфи переписать по-Паскальски? Там подключаемый модуль очень и очень длинный, да к тому же не работоспособный

Цитата(Legolas @ 11.05.2006 9:33)

Дело в том, что исходник на Дельфи не работает

Не знаю. У меня скомпилировался (хоть и с синтаксическими ошибками — пришлось исправить). Корни квадратные сеть считает, суммы считает, разности — тоже.

Цитата(Legolas @ 11.05.2006 9:33)

Интересно, что ты имел в виду, сказав, что можно программу Дельфи переписать по-Паскальски?

Почти всегда можно. Только переносить замаешься.
Некоторые ООП выкрутасы, конечно нада заменять на аналогичные не-ООП — смотря какой паскаль, и насколько он совместим с Дельфи.

Цитата(Legolas @ 11.05.2006 9:33)

Там подключаемый модуль очень и очень длинный

Если он для тебя длинный… Значит ты не видел по-настоящему длинных модулей.
Там комментариев полно, а если знать и принцип по которому происходит обучение — то совсем простой моулть-то получается.

Всем привет
Вот что у меня получилось:

Код

Думаю что вссе уже o’key

Цитата(Legolas @ 12.05.2006 3:42)

Думаю что вссе уже o’key

Может и o’kAy, но я кое-чего не понимаю. Объясните, плз..
Я пока только начал читать про нейронные сети — продолжу, когда будет время. Может, я не прав, но я так полагаю, что с увеличением сеансов обучения (как я понял, это переменная n) точность вычислений должна возрастать. Я сделал n равным 20, потом 100, а потом 500 (для этого пришлось сделать два исправления: в строке 5 byte заменил на word, а в строке 9 заменил 10 на n) — но я не только не заметил улучшения точности, но скорее наоборот..
Вот результаты сложения 4+5 :

сеансов    изм.1    изм.2
  10     8.7625    8.7340
  20     8.7150    8.7103
 100     8.5657    8.6292
 500     8.3292    8.5291

Прослеживается явная тенденция отхода от истинной суммы. Кроме того, настораживает то, что все они меньше точного значения.
В чем дело?..

P.S.
Прошу простить, если спорол чушь — но я исходил из здравого смысла..

Сильно наворочено…
Вот алгоритм простейшего персептрона (однослойного).
Может, поможет, Леголас?

 
program Perseptron;
 uses crt;
 var x1,x2,x3,x4,X,Xkrit,k1,k2,k3,k4:real;
 A,d:integer;
 label 1,2;
begin
 Xkrit:=10; A:=0;
 k1:=0.2; k2:=0.4; k3:=0.3; k4:=0.55;
1:clrscr;
 writeln('*******ЗАПУСК ПЕРСЕПТРОНА*******');
 writeln('Введите x1'); read(x1); writeln('Введите x2'); read(x2);
 writeln('Введите x3'); read(x3); writeln('Введите x4'); read(x4);
 writeln('*********************************');
 X:=x1*k1+x2*k2+x3*k3+x4*k4;
 if X>=Xkrit then A:=1; if X<Xkrit then A:=0;
 writeln('На Выходе=',A); if A=0 then writeln('Состояние НЕ Изменилось');
 if A=1 then writeln('Состояние  Изменилось');
 writeln('*********************************');
 writeln('ПРОДОЛЖАТЬ? (Y-1/N-0)'); read(d);
 if D=1 then goto 1; if D<>1 then goto 2;
2:end.

.

люди помогите!!!! надо обучить однослойный персептрон апроксимировать функции, на примере н=1/(1+k*t^2), где k>100
если что пишите на асю

<…>

сеансов    изм.1    изм.2
  10     8.7625    8.7340
  20     8.7150    8.7103
 100     8.5657    8.6292
 500     8.3292    8.5291

Прослеживается явная тенденция отхода от истинной суммы. Кроме того, настораживает то, что все они меньше точного значения.
В чем дело?..

P.S.
Прошу простить, если спорол чушь — но я исходил из здравого смысла..
[/quote]

Мне кажется Вы забыли поменять еще для m , я изменил значения n и m на 100, после этого он начал уже считать намного лучше)))

Цитата(lapp @ 12.05.2006 9:00)

сеансов    изм.1    изм.2
  10     8.7625    8.7340
  20     8.7150    8.7103
 100     8.5657    8.6292
 500     8.3292    8.5291

Забыли про значение m, изменил n и m на 100. Начал считать намного лучше)

Цитата(Legolas @ 12.05.2006 7:42)

Столько лет висит этот пример))). Но все равно спрошу))).
Никого не смущает в примере строчка?:

y:=1/(1+exp(-1*sum)); y:=a+b-v2[1]/5;

То есть сначала получили выход нейросети, а потом его переписали на y=a + b — [случайное число из выборки] и ждем что что то у нас сойдется?
А если без этой строчки, то выход y:=1/(1+exp(-1*sum)) — это сигмоид, который от 0 до 1, но ни как не даст ответ, например 1+1=2…
Или я что то не понимаю…

56 / 0 / 1

Регистрация: 12.03.2014

Сообщений: 7

Здравствуйте. Очень нужна помощь. Есть хорошая статья с примерами кода для реализации нейросети в паскаль.
http://www.gotai.net/documents/doc-nn-009-05.aspx
http://www.gotai.net/documents/doc-nn-009-06.aspx
НО, дело в том, что здесь не описаны некоторые переменные, а одни и те же значения иногда по разному называются. Мне очень нужна эта программа как пример, но мне не хватает знаний собрать все вместе и чтобы оно работало. Тем более, что здесь не показано, как подставлять конкретные значения в программу, что меня интересует больше всего.
Очень прошу, если кто разбирается, помогите собрать все в кучу. Или если есть у кого похожая рабочая программа на Делфи или Паскаль дайте ссылку. Мне нейросеть нужна для диплома, буду очень благодарна.

Добавлено через 1 час 55 минут
Уже не нужно, мне помогли разобраться. Если что могу выложить рабочий код на паскале.

9488 / 4819 / 3213

Регистрация: 17.08.2012

Сообщений: 15,115

Конечно, выкладывайте. Правило форума:

Keylan93

56 / 0 / 1

Регистрация: 12.03.2014

Сообщений: 7

Вот программа. Здесь правда входной и выходной вектор введены всего один раз, но думаю циклом все смогут вставить больше.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152

program network;
const NUM = 4; {или любое другое! - количество нейронов
                 в предыдущем слое. Изменяется в зависимости от того, в каком
                 слое находится рассматриваемый нейрон}
NUM_INP = 4; {количество нейронов в каждом слое}
      NUM_HID = 4;
      NUM_OUT = 2;
type
    weights_type = array [1..NUM] of real;
    desired = array [1..NUM_OUT] of real;
    test = array [1..NUM_INP] of real;
    neuron_type = record
                      w : weights_type;      {весовые коэффициенты}
                      a : real;              {сигнал на выходе нейрона}
                      threshold : real;      {пороговое значение}
                      E : real;               {значение ошибки}
                      change : weights_type; {используется в процессе обучения}
                      t_change : real;       {аналогично}
                       //test_pat: weights_type;
                       //desired_output: desired;
                  end;
var ipl : array [1..NUM_INP] of neuron_type;
    hl  : array [1..NUM_HID] of neuron_type;
    ol  : array [1..NUM_OUT] of neuron_type;
     test_pat: test;
      desired_output: desired;
      i,j : byte;
  function sigmoid (x : real) : real;
begin
    if abs(x) < 38 {отсеиваем "опасные" аргументы}
        then sigmoid := 1/(1+exp(-x))
        else if x >= 38 {наше допущение для аргументов меньших -39 и больших 38}
                then sigmoid := 1
                else sigmoid := 0
end;
 
procedure run_network;
var
    i,j : byte; {счетчики для циклов 'for'}
    sum : real;
begin
{Обходим все нейроны входного слоя. Вычисляем сумму
 взвешенных сигналов для входного набора данных}
for i:=1 to NUM_INP do
    with ipl[i] do {i-ый нейрон входного слоя}
        begin
            sum:=0;
            for j:=1 to NUM_INP do
                sum:=sum + w[j] * test_pat[j];
            a:=sigmoid(sum - threshold)
        end;
 
{Обходим все нейроны скрытого слоя. Действуем так же,
 как с нейронами входного слоя}
for i:=1 to NUM_HID do
    with hl[i] do
        begin
            sum:=0;
            for j:=1 to NUM_INP do
                sum:=sum + w[j] * ipl[j].a;
            a:=sigmoid(sum - threshold)
        end;
 
{Все то же самое для выходного слоя}
for i:=1 to NUM_OUT do
    with ol[i] do
        begin
            sum:=0;
            for j:=1 to NUM_HID do
                sum:=sum + w[j] * hl[j].a;
            a:=sigmoid(sum - threshold);
        end;
end;
 
procedure calculate_output_layer_errors;
var i : byte; {for loop variable}
begin
    for i:=1 to NUM_OUT do
        with ol[i] do
            E:=(desired_output[i] - a) * a * (1 - a)
end;
 
procedure calculate_hidden_layer_errors;
var
    i,j : byte;
    sum : real;
begin
    for i:=1 to NUM_HID do {обсчитываем весь скрытый слой}
        with hl[i] do
        begin
            sum:=0; {sum error values from O/P layer}
            for j:=1 to NUM_OUT do
                sum:=sum + ol[j].E * ol[j].w[i]; {только веса, относящиеся к нейрону i}
            E:=a * (1 - a) * sum {no other w[] value}
        end;
end;
 
procedure update_output_weights;
const
    LEARNING_RATE = 0.025;
var
    i,j : byte;
begin
    for j := 1 to NUM_OUT do {для всех выходных узлов}
    with ol[j] do
    begin {для всех связей от скрытого слоя к этому выходному узлу}
        for i := 1 to NUM_HID do
            w[i] := w[i] + LEARNING_RATE * E * hl[i].t_change;
        {обучение порогового уровня}
        threshold := threshold - LEARNING_RATE * E
    end
end;
 
procedure update_hidden_weights;
const
    LEARNING_RATE = 0.025; {нет никаких причин, чтобы это значение не отличалось
                            от использованного для выходных узлов}
var
    i,j : byte;
begin
    for j := 1 to NUM_HID do {обходим все скрытые узлы}
    with hl[j] do
    begin {обрабатываем все связи от входного слоя к этому узлу}
        for i := 1 to NUM_INP do
        w[i] := w[i] + LEARNING_RATE * E * test_pat[i];
        {модифицируем пороговый уровень этого узла}
        threshold := threshold - LEARNING_RATE * E
    end
end;
begin
{задание весов скрытого слоя}
for i:=1 to NUM_HID do
hl[i].w[i]:=random(10)/10;
{задание весов выходного слоя}
for i:=1 to NUM_out do
ol[i].w[i]:=random(10)/10;
{входной вектор}
test_pat[1]:=-0.444;
test_pat[2]:=-0.253;
test_pat[3]:=-0.136;
test_pat[4]:=-0.868;
{выходной вектор}
 desired_output[1]:=0.6;
 desired_output[2]:=0.8;
run_network;
calculate_output_layer_errors;
calculate_hidden_layer_errors;
update_output_weights;
update_hidden_weights;
writeln('Результаты');
write (ol[1].a,' '); write(ol[2].a);
end.