Яка різниця між «регулярною» лінійною регресією та лінійною регресією глибокого навчання?

Я хочу знати різницю між лінійною регресією у звичайному аналізі машинного навчання та лінійною регресією в умовах «глибокого навчання». Які алгоритми використовуються для лінійної регресії в умовах глибокого навчання.

Припускаючи, що глибоким вивченням ви мали на увазі більш точно нейронні мережі: ванільна повністю пов'язана подача нейронної мережі з лише функціями лінійної активації виконуватиме лінійну регресію, незалежно від того, скільки шарів вона має. Одна відмінність полягає в тому, що для нейронної мережі зазвичай використовується градієнтне спускання, тоді як при "нормальній" лінійній регресії за можливістю використовується нормальне рівняння (коли кількість особливостей не надто величезна).

Приклад повністю підключеної нейронної мережі подачі, що не має прихованого шару та з використанням функції лінійної активації (а саме функції активації ідентичності):

Якщо замінити функцію активації вихідного шару сигмоїдною функцією, то нейронна мережа виконує логістичну регресію. Якщо замінити функцію активації вихідного шару функцією softmax і додати кілька вихідних одиниць, то нейронна мережа виконує багатокласову логістичну регресію: Різниця між логістичною регресією та нейронними мережами . Якщо замінити функцію витрат на втрату шарніру , то нейронна мережа є SVM, оптимізованою у своєму первинному вигляді: http://cs231n.github.io/linear-classify/ .

Ось приклад, показаний на малюнку, запрограмованому в TensorFlow:

""" Linear Regression Example """
# https://github.com/tflearn/tflearn/blob/master/examples/basics/linear_regression.py

from __future__ import absolute_import, division, print_function

import tflearn

# Regression data
X = [3.3,4.4,5.5,6.71,6.93,4.168,9.779,6.182,7.59,2.167,7.042,10.791,5.313,7.997,5.654,9.27,3.1]
Y = [1.7,2.76,2.09,3.19,1.694,1.573,3.366,2.596,2.53,1.221,2.827,3.465,1.65,2.904,2.42,2.94,1.3]

# Linear Regression graph
input_ = tflearn.input_data(shape=[None])
linear = tflearn.single_unit(input_)
regression = tflearn.regression(linear, optimizer='sgd', loss='mean_square',
                                metric='R2', learning_rate=0.01)
m = tflearn.DNN(regression)
m.fit(X, Y, n_epoch=1000, show_metric=True, snapshot_epoch=False)

print("\nRegression result:")
print("Y = " + str(m.get_weights(linear.W)) +
      "*X + " + str(m.get_weights(linear.b)))

print("\nTest prediction for x = 3.2, 3.3, 3.4:")
print(m.predict([3.2, 3.3, 3.4]))
# should output (close, not exact) y = [1.5315033197402954, 1.5585315227508545, 1.5855598449707031]

Ось фрагмент коду, який не використовує жодної бібліотеки нейронної мережі:

# From http://briandolhansky.com/blog/artificial-neural-networks-linear-regression-part-1
import matplotlib.pyplot as plt
import numpy as np

# Load the data and create the data matrices X and Y
# This creates a feature vector X with a column of ones (bias)
# and a column of car weights.
# The target vector Y is a column of MPG values for each car.
X_file = np.genfromtxt('mpg.csv', delimiter=',', skip_header=1)
N = np.shape(X_file)[0]
X = np.hstack((np.ones(N).reshape(N, 1), X_file[:, 4].reshape(N, 1)))
Y = X_file[:, 0]

# Standardize the input 
X[:, 1] = (X[:, 1]-np.mean(X[:, 1]))/np.std(X[:, 1])

# There are two weights, the bias weight and the feature weight
w = np.array([0, 0])

# Start batch gradient descent, it will run for max_iter epochs and have a step
# size eta
max_iter = 100
eta = 1E-3
for t in range(0, max_iter):
    # We need to iterate over each data point for one epoch
    grad_t = np.array([0., 0.])
    for i in range(0, N):
        x_i = X[i, :]
        y_i = Y[i]
        # Dot product, computes h(x_i, w)
        h = np.dot(w, x_i)-y_i
        grad_t += 2*x_i*h

    # Update the weights
    w = w - eta*grad_t
print "Weights found:",w

# Plot the data and best fit line
tt = np.linspace(np.min(X[:, 1]), np.max(X[:, 1]), 10)
bf_line = w[0]+w[1]*tt

plt.plot(X[:, 1], Y, 'kx', tt, bf_line, 'r-')
plt.xlabel('Weight (Normalized)')
plt.ylabel('MPG')
plt.title('ANN Regression on 1D MPG Data')

plt.savefig('mpg.png')

plt.show()

Файл даних mpg.csv(~ 50% скорочено через обмеження розміру відповідей Stack Exchange):

mpg (n),cylinders (n),displacement (n),horsepower (n),weight (n),acceleration (n),year (n),origin (n), name (s)
18.000000,8.000000,307.000000,130.000000,3504.000000,12.000000,70.000000,1.000000
15.000000,8.000000,350.000000,165.000000,3693.000000,11.500000,70.000000,1.000000
18.000000,8.000000,318.000000,150.000000,3436.000000,11.000000,70.000000,1.000000
16.000000,8.000000,304.000000,150.000000,3433.000000,12.000000,70.000000,1.000000
17.000000,8.000000,302.000000,140.000000,3449.000000,10.500000,70.000000,1.000000
15.000000,8.000000,429.000000,198.000000,4341.000000,10.000000,70.000000,1.000000
14.000000,8.000000,454.000000,220.000000,4354.000000,9.000000,70.000000,1.000000
14.000000,8.000000,440.000000,215.000000,4312.000000,8.500000,70.000000,1.000000
14.000000,8.000000,455.000000,225.000000,4425.000000,10.000000,70.000000,1.000000
15.000000,8.000000,390.000000,190.000000,3850.000000,8.500000,70.000000,1.000000
15.000000,8.000000,383.000000,170.000000,3563.000000,10.000000,70.000000,1.000000
14.000000,8.000000,340.000000,160.000000,3609.000000,8.000000,70.000000,1.000000
15.000000,8.000000,400.000000,150.000000,3761.000000,9.500000,70.000000,1.000000
14.000000,8.000000,455.000000,225.000000,3086.000000,10.000000,70.000000,1.000000
24.000000,4.000000,113.000000,95.000000,2372.000000,15.000000,70.000000,3.000000
22.000000,6.000000,198.000000,95.000000,2833.000000,15.500000,70.000000,1.000000
18.000000,6.000000,199.000000,97.000000,2774.000000,15.500000,70.000000,1.000000
21.000000,6.000000,200.000000,85.000000,2587.000000,16.000000,70.000000,1.000000
27.000000,4.000000,97.000000,88.000000,2130.000000,14.500000,70.000000,3.000000
26.000000,4.000000,97.000000,46.000000,1835.000000,20.500000,70.000000,2.000000
25.000000,4.000000,110.000000,87.000000,2672.000000,17.500000,70.000000,2.000000
24.000000,4.000000,107.000000,90.000000,2430.000000,14.500000,70.000000,2.000000
25.000000,4.000000,104.000000,95.000000,2375.000000,17.500000,70.000000,2.000000
26.000000,4.000000,121.000000,113.000000,2234.000000,12.500000,70.000000,2.000000
21.000000,6.000000,199.000000,90.000000,2648.000000,15.000000,70.000000,1.000000
10.000000,8.000000,360.000000,215.000000,4615.000000,14.000000,70.000000,1.000000
10.000000,8.000000,307.000000,200.000000,4376.000000,15.000000,70.000000,1.000000
11.000000,8.000000,318.000000,210.000000,4382.000000,13.500000,70.000000,1.000000
9.000000,8.000000,304.000000,193.000000,4732.000000,18.500000,70.000000,1.000000
27.000000,4.000000,97.000000,88.000000,2130.000000,14.500000,71.000000,3.000000
28.000000,4.000000,140.000000,90.000000,2264.000000,15.500000,71.000000,1.000000
25.000000,4.000000,113.000000,95.000000,2228.000000,14.000000,71.000000,3.000000
19.000000,6.000000,232.000000,100.000000,2634.000000,13.000000,71.000000,1.000000
16.000000,6.000000,225.000000,105.000000,3439.000000,15.500000,71.000000,1.000000
17.000000,6.000000,250.000000,100.000000,3329.000000,15.500000,71.000000,1.000000
19.000000,6.000000,250.000000,88.000000,3302.000000,15.500000,71.000000,1.000000
18.000000,6.000000,232.000000,100.000000,3288.000000,15.500000,71.000000,1.000000
14.000000,8.000000,350.000000,165.000000,4209.000000,12.000000,71.000000,1.000000
14.000000,8.000000,400.000000,175.000000,4464.000000,11.500000,71.000000,1.000000
14.000000,8.000000,351.000000,153.000000,4154.000000,13.500000,71.000000,1.000000
14.000000,8.000000,318.000000,150.000000,4096.000000,13.000000,71.000000,1.000000
12.000000,8.000000,383.000000,180.000000,4955.000000,11.500000,71.000000,1.000000
13.000000,8.000000,400.000000,170.000000,4746.000000,12.000000,71.000000,1.000000
13.000000,8.000000,400.000000,175.000000,5140.000000,12.000000,71.000000,1.000000
18.000000,6.000000,258.000000,110.000000,2962.000000,13.500000,71.000000,1.000000
22.000000,4.000000,140.000000,72.000000,2408.000000,19.000000,71.000000,1.000000
19.000000,6.000000,250.000000,100.000000,3282.000000,15.000000,71.000000,1.000000
18.000000,6.000000,250.000000,88.000000,3139.000000,14.500000,71.000000,1.000000
23.000000,4.000000,122.000000,86.000000,2220.000000,14.000000,71.000000,1.000000
28.000000,4.000000,116.000000,90.000000,2123.000000,14.000000,71.000000,2.000000
30.000000,4.000000,79.000000,70.000000,2074.000000,19.500000,71.000000,2.000000
30.000000,4.000000,88.000000,76.000000,2065.000000,14.500000,71.000000,2.000000
31.000000,4.000000,71.000000,65.000000,1773.000000,19.000000,71.000000,3.000000
35.000000,4.000000,72.000000,69.000000,1613.000000,18.000000,71.000000,3.000000
27.000000,4.000000,97.000000,60.000000,1834.000000,19.000000,71.000000,2.000000
26.000000,4.000000,91.000000,70.000000,1955.000000,20.500000,71.000000,1.000000
24.000000,4.000000,113.000000,95.000000,2278.000000,15.500000,72.000000,3.000000
25.000000,4.000000,97.500000,80.000000,2126.000000,17.000000,72.000000,1.000000
23.000000,4.000000,97.000000,54.000000,2254.000000,23.500000,72.000000,2.000000
20.000000,4.000000,140.000000,90.000000,2408.000000,19.500000,72.000000,1.000000
21.000000,4.000000,122.000000,86.000000,2226.000000,16.500000,72.000000,1.000000
13.000000,8.000000,350.000000,165.000000,4274.000000,12.000000,72.000000,1.000000
14.000000,8.000000,400.000000,175.000000,4385.000000,12.000000,72.000000,1.000000
15.000000,8.000000,318.000000,150.000000,4135.000000,13.500000,72.000000,1.000000
14.000000,8.000000,351.000000,153.000000,4129.000000,13.000000,72.000000,1.000000
17.000000,8.000000,304.000000,150.000000,3672.000000,11.500000,72.000000,1.000000
11.000000,8.000000,429.000000,208.000000,4633.000000,11.000000,72.000000,1.000000
13.000000,8.000000,350.000000,155.000000,4502.000000,13.500000,72.000000,1.000000
12.000000,8.000000,350.000000,160.000000,4456.000000,13.500000,72.000000,1.000000
13.000000,8.000000,400.000000,190.000000,4422.000000,12.500000,72.000000,1.000000
19.000000,3.000000,70.000000,97.000000,2330.000000,13.500000,72.000000,3.000000
15.000000,8.000000,304.000000,150.000000,3892.000000,12.500000,72.000000,1.000000
13.000000,8.000000,307.000000,130.000000,4098.000000,14.000000,72.000000,1.000000
13.000000,8.000000,302.000000,140.000000,4294.000000,16.000000,72.000000,1.000000
14.000000,8.000000,318.000000,150.000000,4077.000000,14.000000,72.000000,1.000000
18.000000,4.000000,121.000000,112.000000,2933.000000,14.500000,72.000000,2.000000
22.000000,4.000000,121.000000,76.000000,2511.000000,18.000000,72.000000,2.000000
21.000000,4.000000,120.000000,87.000000,2979.000000,19.500000,72.000000,2.000000
26.000000,4.000000,96.000000,69.000000,2189.000000,18.000000,72.000000,2.000000
22.000000,4.000000,122.000000,86.000000,2395.000000,16.000000,72.000000,1.000000
28.000000,4.000000,97.000000,92.000000,2288.000000,17.000000,72.000000,3.000000
23.000000,4.000000,120.000000,97.000000,2506.000000,14.500000,72.000000,3.000000
28.000000,4.000000,98.000000,80.000000,2164.000000,15.000000,72.000000,1.000000
27.000000,4.000000,97.000000,88.000000,2100.000000,16.500000,72.000000,3.000000
13.000000,8.000000,350.000000,175.000000,4100.000000,13.000000,73.000000,1.000000
14.000000,8.000000,304.000000,150.000000,3672.000000,11.500000,73.000000,1.000000
13.000000,8.000000,350.000000,145.000000,3988.000000,13.000000,73.000000,1.000000
14.000000,8.000000,302.000000,137.000000,4042.000000,14.500000,73.000000,1.000000
15.000000,8.000000,318.000000,150.000000,3777.000000,12.500000,73.000000,1.000000
12.000000,8.000000,429.000000,198.000000,4952.000000,11.500000,73.000000,1.000000
13.000000,8.000000,400.000000,150.000000,4464.000000,12.000000,73.000000,1.000000
13.000000,8.000000,351.000000,158.000000,4363.000000,13.000000,73.000000,1.000000
14.000000,8.000000,318.000000,150.000000,4237.000000,14.500000,73.000000,1.000000
13.000000,8.000000,440.000000,215.000000,4735.000000,11.000000,73.000000,1.000000
12.000000,8.000000,455.000000,225.000000,4951.000000,11.000000,73.000000,1.000000
13.000000,8.000000,360.000000,175.000000,3821.000000,11.000000,73.000000,1.000000
18.000000,6.000000,225.000000,105.000000,3121.000000,16.500000,73.000000,1.000000
16.000000,6.000000,250.000000,100.000000,3278.000000,18.000000,73.000000,1.000000
18.000000,6.000000,232.000000,100.000000,2945.000000,16.000000,73.000000,1.000000
18.000000,6.000000,250.000000,88.000000,3021.000000,16.500000,73.000000,1.000000
23.000000,6.000000,198.000000,95.000000,2904.000000,16.000000,73.000000,1.000000
26.000000,4.000000,97.000000,46.000000,1950.000000,21.000000,73.000000,2.000000
11.000000,8.000000,400.000000,150.000000,4997.000000,14.000000,73.000000,1.000000
12.000000,8.000000,400.000000,167.000000,4906.000000,12.500000,73.000000,1.000000
13.000000,8.000000,360.000000,170.000000,4654.000000,13.000000,73.000000,1.000000
12.000000,8.000000,350.000000,180.000000,4499.000000,12.500000,73.000000,1.000000
18.000000,6.000000,232.000000,100.000000,2789.000000,15.000000,73.000000,1.000000
20.000000,4.000000,97.000000,88.000000,2279.000000,19.000000,73.000000,3.000000
21.000000,4.000000,140.000000,72.000000,2401.000000,19.500000,73.000000,1.000000
22.000000,4.000000,108.000000,94.000000,2379.000000,16.500000,73.000000,3.000000
18.000000,3.000000,70.000000,90.000000,2124.000000,13.500000,73.000000,3.000000
19.000000,4.000000,122.000000,85.000000,2310.000000,18.500000,73.000000,1.000000
21.000000,6.000000,155.000000,107.000000,2472.000000,14.000000,73.000000,1.000000
26.000000,4.000000,98.000000,90.000000,2265.000000,15.500000,73.000000,2.000000
15.000000,8.000000,350.000000,145.000000,4082.000000,13.000000,73.000000,1.000000
16.000000,8.000000,400.000000,230.000000,4278.000000,9.500000,73.000000,1.000000
29.000000,4.000000,68.000000,49.000000,1867.000000,19.500000,73.000000,2.000000
24.000000,4.000000,116.000000,75.000000,2158.000000,15.500000,73.000000,2.000000
20.000000,4.000000,114.000000,91.000000,2582.000000,14.000000,73.000000,2.000000
19.000000,4.000000,121.000000,112.000000,2868.000000,15.500000,73.000000,2.000000
15.000000,8.000000,318.000000,150.000000,3399.000000,11.000000,73.000000,1.000000
24.000000,4.000000,121.000000,110.000000,2660.000000,14.000000,73.000000,2.000000
20.000000,6.000000,156.000000,122.000000,2807.000000,13.500000,73.000000,3.000000
11.000000,8.000000,350.000000,180.000000,3664.000000,11.000000,73.000000,1.000000
20.000000,6.000000,198.000000,95.000000,3102.000000,16.500000,74.000000,1.000000
19.000000,6.000000,232.000000,100.000000,2901.000000,16.000000,74.000000,1.000000
15.000000,6.000000,250.000000,100.000000,3336.000000,17.000000,74.000000,1.000000
31.000000,4.000000,79.000000,67.000000,1950.000000,19.000000,74.000000,3.000000
26.000000,4.000000,122.000000,80.000000,2451.000000,16.500000,74.000000,1.000000
32.000000,4.000000,71.000000,65.000000,1836.000000,21.000000,74.000000,3.000000
25.000000,4.000000,140.000000,75.000000,2542.000000,17.000000,74.000000,1.000000
16.000000,6.000000,250.000000,100.000000,3781.000000,17.000000,74.000000,1.000000
16.000000,6.000000,258.000000,110.000000,3632.000000,18.000000,74.000000,1.000000
18.000000,6.000000,225.000000,105.000000,3613.000000,16.500000,74.000000,1.000000
16.000000,8.000000,302.000000,140.000000,4141.000000,14.000000,74.000000,1.000000
13.000000,8.000000,350.000000,150.000000,4699.000000,14.500000,74.000000,1.000000
14.000000,8.000000,318.000000,150.000000,4457.000000,13.500000,74.000000,1.000000
14.000000,8.000000,302.000000,140.000000,4638.000000,16.000000,74.000000,1.000000
14.000000,8.000000,304.000000,150.000000,4257.000000,15.500000,74.000000,1.000000
29.000000,4.000000,98.000000,83.000000,2219.000000,16.500000,74.000000,2.000000
26.000000,4.000000,79.000000,67.000000,1963.000000,15.500000,74.000000,2.000000
26.000000,4.000000,97.000000,78.000000,2300.000000,14.500000,74.000000,2.000000
31.000000,4.000000,76.000000,52.000000,1649.000000,16.500000,74.000000,3.000000
32.000000,4.000000,83.000000,61.000000,2003.000000,19.000000,74.000000,3.000000
28.000000,4.000000,90.000000,75.000000,2125.000000,14.500000,74.000000,1.000000
24.000000,4.000000,90.000000,75.000000,2108.000000,15.500000,74.000000,2.000000
26.000000,4.000000,116.000000,75.000000,2246.000000,14.000000,74.000000,2.000000
24.000000,4.000000,120.000000,97.000000,2489.000000,15.000000,74.000000,3.000000
26.000000,4.000000,108.000000,93.000000,2391.000000,15.500000,74.000000,3.000000
31.000000,4.000000,79.000000,67.000000,2000.000000,16.000000,74.000000,2.000000
19.000000,6.000000,225.000000,95.000000,3264.000000,16.000000,75.000000,1.000000
18.000000,6.000000,250.000000,105.000000,3459.000000,16.000000,75.000000,1.000000
15.000000,6.000000,250.000000,72.000000,3432.000000,21.000000,75.000000,1.000000
15.000000,6.000000,250.000000,72.000000,3158.000000,19.500000,75.000000,1.000000
16.000000,8.000000,400.000000,170.000000,4668.000000,11.500000,75.000000,1.000000
15.000000,8.000000,350.000000,145.000000,4440.000000,14.000000,75.000000,1.000000
16.000000,8.000000,318.000000,150.000000,4498.000000,14.500000,75.000000,1.000000
14.000000,8.000000,351.000000,148.000000,4657.000000,13.500000,75.000000,1.000000
17.000000,6.000000,231.000000,110.000000,3907.000000,21.000000,75.000000,1.000000
16.000000,6.000000,250.000000,105.000000,3897.000000,18.500000,75.000000,1.000000
15.000000,6.000000,258.000000,110.000000,3730.000000,19.000000,75.000000,1.000000
18.000000,6.000000,225.000000,95.000000,3785.000000,19.000000,75.000000,1.000000
21.000000,6.000000,231.000000,110.000000,3039.000000,15.000000,75.000000,1.000000
20.000000,8.000000,262.000000,110.000000,3221.000000,13.500000,75.000000,1.000000
13.000000,8.000000,302.000000,129.000000,3169.000000,12.000000,75.000000,1.000000
29.000000,4.000000,97.000000,75.000000,2171.000000,16.000000,75.000000,3.000000
23.000000,4.000000,140.000000,83.000000,2639.000000,17.000000,75.000000,1.000000
20.000000,6.000000,232.000000,100.000000,2914.000000,16.000000,75.000000,1.000000
23.000000,4.000000,140.000000,78.000000,2592.000000,18.500000,75.000000,1.000000
24.000000,4.000000,134.000000,96.000000,2702.000000,13.500000,75.000000,3.000000
25.000000,4.000000,90.000000,71.000000,2223.000000,16.500000,75.000000,2.000000
24.000000,4.000000,119.000000,97.000000,2545.000000,17.000000,75.000000,3.000000
18.000000,6.000000,171.000000,97.000000,2984.000000,14.500000,75.000000,1.000000
29.000000,4.000000,90.000000,70.000000,1937.000000,14.000000,75.000000,2.000000
19.000000,6.000000,232.000000,90.000000,3211.000000,17.000000,75.000000,1.000000
23.000000,4.000000,115.000000,95.000000,2694.000000,15.000000,75.000000,2.000000
23.000000,4.000000,120.000000,88.000000,2957.000000,17.000000,75.000000,2.000000
22.000000,4.000000,121.000000,98.000000,2945.000000,14.500000,75.000000,2.000000
25.000000,4.000000,121.000000,115.000000,2671.000000,13.500000,75.000000,2.000000
33.000000,4.000000,91.000000,53.000000,1795.000000,17.500000,75.000000,3.000000
28.000000,4.000000,107.000000,86.000000,2464.000000,15.500000,76.000000,2.000000
25.000000,4.000000,116.000000,81.000000,2220.000000,16.900000,76.000000,2.000000
25.000000,4.000000,140.000000,92.000000,2572.000000,14.900000,76.000000,1.000000
26.000000,4.000000,98.000000,79.000000,2255.000000,17.700000,76.000000,1.000000
27.000000,4.000000,101.000000,83.000000,2202.000000,15.300000,76.000000,2.000000
17.500000,8.000000,305.000000,140.000000,4215.000000,13.000000,76.000000,1.000000
16.000000,8.000000,318.000000,150.000000,4190.000000,13.000000,76.000000,1.000000
15.500000,8.000000,304.000000,120.000000,3962.000000,13.900000,76.000000,1.000000
14.500000,8.000000,351.000000,152.000000,4215.000000,12.800000,76.000000,1.000000
22.000000,6.000000,225.000000,100.000000,3233.000000,15.400000,76.000000,1.000000
22.000000,6.000000,250.000000,105.000000,3353.000000,14.500000,76.000000,1.000000
24.000000,6.000000,200.000000,81.000000,3012.000000,17.600000,76.000000,1.000000
22.500000,6.000000,232.000000,90.000000,3085.000000,17.600000,76.000000,1.000000
29.000000,4.000000,85.000000,52.000000,2035.000000,22.200000,76.000000,1.000000
24.500000,4.000000,98.000000,60.000000,2164.000000,22.100000,76.000000,1.000000
29.000000,4.000000,90.000000,70.000000,1937.000000,14.200000,76.000000,2.000000
33.000000,4.000000,91.000000,53.000000,1795.000000,17.400000,76.000000,3.000000
20.000000,6.000000,225.000000,100.000000,3651.000000,17.700000,76.000000,1.000000
18.000000,6.000000,250.000000,78.000000,3574.000000,21.000000,76.000000,1.000000
18.500000,6.000000,250.000000,110.000000,3645.000000,16.200000,76.000000,1.000000
17.500000,6.000000,258.000000,95.000000,3193.000000,17.800000,76.000000,1.000000
29.500000,4.000000,97.000000,71.000000,1825.000000,12.200000,76.000000,2.000000
32.000000,4.000000,85.000000,70.000000,1990.000000,17.000000,76.000000,3.000000
28.000000,4.000000,97.000000,75.000000,2155.000000,16.400000,76.000000,3.000000
26.500000,4.000000,140.000000,72.000000,2565.000000,13.600000,76.000000,1.000000
20.000000,4.000000,130.000000,102.000000,3150.000000,15.700000,76.000000,2.000000
13.000000,8.000000,318.000000,150.000000,3940.000000,13.200000,76.000000,1.000000
19.000000,4.000000,120.000000,88.000000,3270.000000,21.900000,76.000000,2.000000
19.000000,6.000000,156.000000,108.000000,2930.000000,15.500000,76.000000,3.000000
16.500000,6.000000,168.000000,120.000000,3820.000000,16.700000,76.000000,2.000000
16.500000,8.000000,350.000000,180.000000,4380.000000,12.100000,76.000000,1.000000
13.000000,8.000000,350.000000,145.000000,4055.000000,12.000000,76.000000,1.000000
13.000000,8.000000,302.000000,130.000000,3870.000000,15.000000,76.000000,1.000000
13.000000,8.000000,318.000000,150.000000,3755.000000,14.000000,76.000000,1.000000
31.500000,4.000000,98.000000,68.000000,2045.000000,18.500000,77.000000,3.000000
30.000000,4.000000,111.000000,80.000000,2155.000000,14.800000,77.000000,1.000000
36.000000,4.000000,79.000000,58.000000,1825.000000,18.600000,77.000000,2.000000
25.500000,4.000000,122.000000,96.000000,2300.000000,15.500000,77.000000,1.000000
33.500000,4.000000,85.000000,70.000000,1945.000000,16.800000,77.000000,3.000000
17.500000,8.000000,305.000000,145.000000,3880.000000,12.500000,77.000000,1.000000
17.000000,8.000000,260.000000,110.000000,4060.000000,19.000000,77.000000,1.000000
15.500000,8.000000,318.000000,145.000000,4140.000000,13.700000,77.000000,1.000000
15.000000,8.000000,302.000000,130.000000,4295.000000,14.900000,77.000000,1.000000
17.500000,6.000000,250.000000,110.000000,3520.000000,16.400000,77.000000,1.000000
20.500000,6.000000,231.000000,105.000000,3425.000000,16.900000,77.000000,1.000000
19.000000,6.000000,225.000000,100.000000,3630.000000,17.700000,77.000000,1.000000
18.500000,6.000000,250.000000,98.000000,3525.000000,19.000000,77.000000,1.000000
16.000000,8.000000,400.000000,180.000000,4220.000000,11.100000,77.000000,1.000000
15.500000,8.000000,350.000000,170.000000,4165.000000,11.400000,77.000000,1.000000
15.500000,8.000000,400.000000,190.000000,4325.000000,12.200000,77.000000,1.000000
16.000000,8.000000,351.000000,149.000000,4335.000000,14.500000,77.000000,1.000000
29.000000,4.000000,97.000000,78.000000,1940.000000,14.500000,77.000000,2.000000
24.500000,4.000000,151.000000,88.000000,2740.000000,16.000000,77.000000,1.000000
26.000000,4.000000,97.000000,75.000000,2265.000000,18.200000,77.000000,3.000000
25.500000,4.000000,140.000000,89.000000,2755.000000,15.800000,77.000000,1.000000
30.500000,4.000000,98.000000,63.000000,2051.000000,17.000000,77.000000,1.000000
33.500000,4.000000,98.000000,83.000000,2075.000000,15.900000,77.000000,1.000000
30.000000,4.000000,97.000000,67.000000,1985.000000,16.400000,77.000000,3.000000
30.500000,4.000000,97.000000,78.000000,2190.000000,14.100000,77.000000,2.000000
22.000000,6.000000,146.000000,97.000000,2815.000000,14.500000,77.000000,3.000000
21.500000,4.000000,121.000000,110.000000,2600.000000,12.800000,77.000000,2.000000
21.500000,3.000000,80.000000,110.000000,2720.000000,13.500000,77.000000,3.000000
43.100000,4.000000,90.000000,48.000000,1985.000000,21.500000,78.000000,2.000000
36.100000,4.000000,98.000000,66.000000,1800.000000,14.400000,78.000000,1.000000
32.800000,4.000000,78.000000,52.000000,1985.000000,19.400000,78.000000,3.000000
39.400000,4.000000,85.000000,70.000000,2070.000000,18.600000,78.000000,3.000000
36.100000,4.000000,91.000000,60.000000,1800.000000,16.400000,78.000000,3.000000
19.900000,8.000000,260.000000,110.000000,3365.000000,15.500000,78.000000,1.000000

Для регресії, яка для глибокого навчання в більшості випадків є нелінійною, в кінцевому шарі є 1 нейрон з функцією ідентичності та функцією втрати, яку ми оптимізуємо - MSE, MAE замість бінарної або категоричної крос-ентропії, що використовується для класифікації.