Multivariate Time Series Forecasting with LSTMs in Keras

 Нейронные сети, такие как рекуррентные нейронные сети с Long Short-Term Memory памятью (LSTM), способны почти без проблем моделировать проблемы с несколькими входными переменными.Это большое преимущество при прогнозировании временных рядов, когда классические линейные методы трудно адаптировать к задачам прогнозирования с несколькими переменными или несколькими входными данными.

Разработатка модели LSTM для прогнозирования многомерных временных рядов с помощью библиотеки глубокого обучения Keras. Используя Keras определим соответствующую модель LSTM.

Мы определим LSTM с 50 нейронами в первом скрытом слое и 1 нейроном в выходном слое для прогнозирования загрязнения. Форма ввода будет 1 временный шаг с 8 функциями.Мы будем использовать функцию потери средней абсолютной ошибки (MAE) и эффективную версию ADAM стохастического градиента.

Модель будет подходить для 50 тренировочных эпох с размером партии 72. Помните, что внутреннее состояние LSTM в керасах сбрасывается в конце каждой партии, поэтому внутреннее состояние, которое является функцией нескольких дней. 

После того, как модель подходит, мы можем прогнозировать весь набор тестирования.

Мы объединяем прогноз с тестовым набором данных и инвертируют масштабирование. Мы также инвертируем масштабирование на наборе данных тестового набора данных с ожидаемыми числами загрязнения.С прогнозами и фактическими значениями в их исходной шкале, мы можем затем рассчитать оценку ошибки для модели. В этом случае мы рассчитываем среднюю квадратную ошибку (RMSE), которая дает ошибку в тех же единицах, что и сама переменная.

Подготовительная часть для кода MultivTimeSeries3.py,MultivTimeSeries5.py

(.env) [boris@Server35fedora TIMESERIES]$ cat MultivTimeSeries1.py

from pandas import read_csv

from matplotlib import pyplot

# load dataset

dataset = read_csv('pollution.csv', header=0, index_col=0)

values = dataset.values

# specify columns to plot

groups = [0, 1, 2, 3, 5, 6, 7]

i = 1

# plot each column

pyplot.figure()

for group in groups:

pyplot.subplot(len(groups), 1, i)

pyplot.plot(values[:, group])

pyplot.title(dataset.columns[group], y=0.5, loc='right')

i += 1

pyplot.show( )

# prepare data for lstm

from pandas import read_csv

from pandas import DataFrame

from pandas import concat

from sklearn.preprocessing import LabelEncoder

from sklearn.preprocessing import MinMaxScaler

# convert series to supervised learning

def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):

n_vars = 1 if type(data) is list else data.shape[1]

df = DataFrame(data)

cols, names = list(), list()

# input sequence (t-n, ... t-1)

for i in range(n_in, 0, -1):

cols.append(df.shift(i))

names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)]

# forecast sequence (t, t+1, ... t+n)

for i in range(0, n_out):

cols.append(df.shift(-i))

if i == 0:

names += [('var%d(t)' % (j+1)) for j in range(n_vars)]

else:

names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)]

# put it all together

agg = concat(cols, axis=1)

agg.columns = names

# drop rows with NaN values

if dropnan:

agg.dropna(inplace=True)

return agg

# load dataset

dataset = read_csv('pollution.csv', header=0, index_col=0)

values = dataset.values

# integer encode direction

encoder = LabelEncoder()

values[:,4] = encoder.fit_transform(values[:,4])

# ensure all data is float

values = values.astype('float32')

# normalize features

scaler = MinMaxScaler(feature_range=(0, 1))

scaled = scaler.fit_transform(values)

# frame as supervised learning

reframed = series_to_supervised(scaled, 1, 1)

# drop columns we don't want to predict

reframed.drop(reframed.columns[[9,10,11,12,13,14,15]], axis=1, inplace=True)

print(reframed.head())

(.env) [boris@Server35fedora TIMESERIES]$ python MultivTimeSeries1.py

   var1(t-1)  var2(t-1)  var3(t-1)  var4(t-1)  ...  var6(t-1)  var7(t-1)  var8(t-1)   var1(t)

1   0.129779   0.352941   0.245902   0.527273  ...   0.002290   0.000000        0.0  0.148893

2   0.148893   0.367647   0.245902   0.527273  ...   0.003811   0.000000        0.0  0.159960

3   0.159960   0.426471   0.229508   0.545454  ...   0.005332   0.000000        0.0  0.182093

4   0.182093   0.485294   0.229508   0.563637  ...   0.008391   0.037037        0.0  0.138833

5   0.138833   0.485294   0.229508   0.563637  ...   0.009912   0.074074        0.0  0.109658

[5 rows x 9 columns]

(.env) [boris@Server35fedora FORECAST]$ cat  MultivTimeSeries3.py

from math import sqrt

from numpy import concatenate

from matplotlib import pyplot

from pandas import read_csv

from pandas import DataFrame

from pandas import concat

from sklearn.preprocessing import MinMaxScaler

from sklearn.preprocessing import LabelEncoder

from sklearn.metrics import mean_squared_error

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense

from tensorflow.keras.layers import LSTM

 

# convert series to supervised learning

def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):

n_vars = 1 if type(data) is list else data.shape[1]

df = DataFrame(data)

cols, names = list(), list()

# input sequence (t-n, ... t-1)

for i in range(n_in, 0, -1):

cols.append(df.shift(i))

names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)]

# forecast sequence (t, t+1, ... t+n)

for i in range(0, n_out):

cols.append(df.shift(-i))

if i == 0:

names += [('var%d(t)' % (j+1)) for j in range(n_vars)]

else:

names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)]

# put it all together

agg = concat(cols, axis=1)

agg.columns = names

# drop rows with NaN values

if dropnan:

agg.dropna(inplace=True)

return agg

# load dataset

dataset = read_csv('pollution.csv', header=0, index_col=0)

values = dataset.values

# integer encode direction

encoder = LabelEncoder()

values[:,4] = encoder.fit_transform(values[:,4])

# ensure all data is float

values = values.astype('float32')

# normalize features

scaler = MinMaxScaler(feature_range=(0, 1))

scaled = scaler.fit_transform(values)

# frame as supervised learning

reframed = series_to_supervised(scaled, 1, 1)

# drop columns we don't want to predict

reframed.drop(reframed.columns[[9,10,11,12,13,14,15]], axis=1, inplace=True)

print(reframed.head())

 

# split into train and test sets

values = reframed.values

n_train_hours = 365 * 24

train = values[:n_train_hours, :]

test = values[n_train_hours:, :]

# split into input and outputs

train_X, train_y = train[:, :-1], train[:, -1]

test_X, test_y = test[:, :-1], test[:, -1]

# reshape input to be 3D [samples, timesteps, features]

train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1]))

test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1]))

print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)

# design network

model = Sequential()

model.add(LSTM(50, input_shape=(train_X.shape[1], train_X.shape[2])))

model.add(Dense(1))

model.compile(loss='mae', optimizer='adam')

# fit network

history = model.fit(train_X, train_y, epochs=50, batch_size=72, validation_data=(test_X, test_y), verbose=2, shuffle=False)

# plot history

pyplot.plot(history.history['loss'], label='train')

pyplot.plot(history.history['val_loss'], label='test')

pyplot.legend()

pyplot.show()

# make a prediction

yhat = model.predict(test_X)

test_X = test_X.reshape((test_X.shape[0], test_X.shape[2]))

# invert scaling for forecast

inv_yhat = concatenate((yhat, test_X[:, 1:]), axis=1)

inv_yhat = scaler.inverse_transform(inv_yhat)

inv_yhat = inv_yhat[:,0]

# invert scaling for actual

test_y = test_y.reshape((len(test_y), 1))

inv_y = concatenate((test_y, test_X[:, 1:]), axis=1)

inv_y = scaler.inverse_transform(inv_y)

inv_y = inv_y[:,0]

# calculate RMSE

rmse = sqrt(mean_squared_error(inv_y, inv_yhat))

print('Test RMSE: %.3f' % rmse)

Окончательный код

Обучить на примере многократных временных точек.

Изменения, необходимые для обучения модели на нескольких предыдущих временных шагах, довольно минимальны, следующим образом:

Во -первых, вы должны подстроить проблему соответствующим образом при вызове series_to_supervised (). Мы будем использовать 3 часа данных в качестве входных данных. Также обратите внимание, мы больше не объясняем столбцы из всех других полей в OB (T).

Далее нам нужно быть более осторожными при указании столбца для ввода и вывода.

У нас есть 3 * 8 + 8 столбцов в нашем наборе данных с фреймами. Мы возьмем 3 * 8 или 24 столбца в качестве входных данных для наблюдения за всеми функциями за предыдущие 3 часа. Мы возьмем только переменную загрязнения в качестве выходных данных в следующий час следующим образом

...

# split into input and outputs

n_obs = n_hours * n_features

train_X, train_y = train[:, :n_obs], train[:, -n_features]

test_X, test_y = test[:, :n_obs], test[:, -n_features]

print(train_X.shape, len(train_X), train_y.shape)

Далее мы можем правильно изменить наши входные данные, чтобы отразить временные шаги и функции

# reshape input to be 3D [samples, timesteps, features]

train_X = train_X.reshape((train_X.shape[0], n_hours, n_features))

test_X = test_X.reshape((test_X.shape[0], n_hours, n_features))

Обучение модели такое же.

Единственное другое небольшое изменение заключается в том, как оценивать модель. В частности, в том, как мы реконструируем строки с 8 столбцами, подходящими для обращения операции масштабирования, чтобы вернуть y и yhat к исходному масштабу, чтобы мы могли вычислить RMSE.

Суть изменения заключается в том, что мы объединяем столбец y или yhat с последними 7 функциями тестового набора данных, чтобы инвертировать масштабирование следующим образом:

...

# invert scaling for forecast

inv_yhat = concatenate((yhat, test_X[:, -7:]), axis=1)

inv_yhat = scaler.inverse_transform(inv_yhat)

inv_yhat = inv_yhat[:,0]

# invert scaling for actual

test_y = test_y.reshape((len(test_y), 1))

inv_y = concatenate((test_y, test_X[:, -7:]), axis=1)

inv_y = scaler.inverse_transform(inv_y)

inv_y = inv_y[:,0]

======================

Сначала при выполнении примера создается график, показывающий потери поезда и теста во время обучения.

Примечание. Ваши результаты могут отличаться из-за стохастического характера алгоритма или процедуры оценки, а также из-за различий в численной точности. Попробуйте запустить пример несколько раз и сравните средний результат.

Интересно, что мы можем видеть, что потери при тестировании падают ниже потерь при обучении. Модель может переобучать обучающие данные. Измерение и построение RMSE во время обучения может пролить больше света на это.

===============================

(.env) [boris@Server35fedora FORECAST]$ cat  MultivTimeSeries5.py

from math import sqrt

from numpy import concatenate

from matplotlib import pyplot

from pandas import read_csv

from pandas import DataFrame

from pandas import concat

from sklearn.preprocessing import MinMaxScaler

from sklearn.preprocessing import LabelEncoder

from sklearn.metrics import mean_squared_error

from tensorflow.keras.models import Sequential

from tensorflow.keras.layers import Dense

from tensorflow.keras.layers import LSTM

 

# convert series to supervised learning

def series_to_supervised(data, n_in=1, n_out=1, dropnan=True):

n_vars = 1 if type(data) is list else data.shape[1]

df = DataFrame(data)

cols, names = list(), list()

# input sequence (t-n, ... t-1)

for i in range(n_in, 0, -1):

cols.append(df.shift(i))

names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)]

# forecast sequence (t, t+1, ... t+n)

for i in range(0, n_out):

cols.append(df.shift(-i))

if i == 0:

names += [('var%d(t)' % (j+1)) for j in range(n_vars)]

else:

names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)]

# put it all together

agg = concat(cols, axis=1)

agg.columns = names

# drop rows with NaN values

if dropnan:

agg.dropna(inplace=True)

return agg

 

# load dataset

dataset = read_csv('pollution.csv', header=0, index_col=0)

values = dataset.values

# integer encode direction

encoder = LabelEncoder()

values[:,4] = encoder.fit_transform(values[:,4])

# ensure all data is float

values = values.astype('float32')

# normalize features

scaler = MinMaxScaler(feature_range=(0, 1))

scaled = scaler.fit_transform(values)

# specify the number of lag hours

n_hours = 3

n_features = 8

# frame as supervised learning

reframed = series_to_supervised(scaled, n_hours, 1)

print(reframed.shape)

 

# split into train and test sets

values = reframed.values

n_train_hours = 365 * 24

train = values[:n_train_hours, :]

test = values[n_train_hours:, :]

# split into input and outputs

n_obs = n_hours * n_features

train_X, train_y = train[:, :n_obs], train[:, -n_features]

test_X, test_y = test[:, :n_obs], test[:, -n_features]

print(train_X.shape, len(train_X), train_y.shape)

# reshape input to be 3D [samples, timesteps, features]

train_X = train_X.reshape((train_X.shape[0], n_hours, n_features))

test_X = test_X.reshape((test_X.shape[0], n_hours, n_features))

print(train_X.shape, train_y.shape, test_X.shape, test_y.shape)

 

# design network

model = Sequential()

model.add(LSTM(50, input_shape=(train_X.shape[1], train_X.shape[2])))

model.add(Dense(1))

model.compile(loss='mae', optimizer='adam')

# fit network

history = model.fit(train_X, train_y, epochs=50, batch_size=72, validation_data=(test_X, test_y), verbose=2, shuffle=False)

# plot history

pyplot.plot(history.history['loss'], label='train')

pyplot.plot(history.history['val_loss'], label='test')

pyplot.legend()

pyplot.show()

 

# make a prediction

yhat = model.predict(test_X)

test_X = test_X.reshape((test_X.shape[0], n_hours*n_features))

# invert scaling for forecast

inv_yhat = concatenate((yhat, test_X[:, -7:]), axis=1)

inv_yhat = scaler.inverse_transform(inv_yhat)

inv_yhat = inv_yhat[:,0]

# invert scaling for actual

test_y = test_y.reshape((len(test_y), 1))

inv_y = concatenate((test_y, test_X[:, -7:]), axis=1)

inv_y = scaler.inverse_transform(inv_y)

inv_y = inv_y[:,0]

# calculate RMSE

rmse = sqrt(mean_squared_error(inv_y, inv_yhat))

print('Test RMSE: %.3f' % rmse)

Epoch 45/50

122/122 - 2s - loss: 0.0141 - val_loss: 0.0138 - 2s/epoch - 19ms/step

Epoch 46/50

122/122 - 2s - loss: 0.0142 - val_loss: 0.0137 - 2s/epoch - 20ms/step

Epoch 47/50

122/122 - 2s - loss: 0.0142 - val_loss: 0.0138 - 2s/epoch - 20ms/step

Epoch 48/50

122/122 - 2s - loss: 0.0141 - val_loss: 0.0137 - 2s/epoch - 19ms/step

Epoch 49/50

122/122 - 2s - loss: 0.0141 - val_loss: 0.0138 - 2s/epoch - 18ms/step

Epoch 50/50

122/122 - 2s - loss: 0.0142 - val_loss: 0.0138 - 2s/epoch - 15ms/step

Test RMSE: 26.422

REFERENCES

https://machinelearningmastery.com/multivariate-time-series-forecasting-lstms-keras/