Как я Keras на C++ запускал
Не так давно передо мной встала производственная задача – запустить обученную модель нейронной сети Kesas
на нативном C++
коде. Как ни странно, решение оказалось вообще не тривиальным. В результате чего появилась собственная библиотека, дающая такую возможность. О том, как же это – нейросети на чистых крестах и будет сегодняшняя небольшая статья.
Тем, кому не терпится – вот тут репозитарий на github, с подробным описанием использования. Ну а всех остальных прошу под кат…
Постановка проблемы.
В процессе работы мне понадобилась запустить обученную модель на C++
приложении (Unreal Engune 4). Но вот незадача: на сегодняшний день нет практически никакой возможности запустить модель Keras на C++.
Вариант с вызовом Python
из C++
не представлялся мне хорошим. Еще одним вариантом было конвертация модели Keras в модель TensorFlow и потом сборка TensoFflow под кресты и вызов API TF уже из C++ кода.
Сей процесс метаморфозов хорошо описан в этой статье. Но с этим также возникают трудности. Во-первых, TensorFlow собирается через Bzzel
. А сам безель штука капризная и отказался собираться под UE4. Во-вторых, сам TF
довольно большая и громоздкая штуковина, а мне хотелось чего-то более легкого и производительного. Могу лишь сказать, что на просторах github был найден полупабочий проект, с нужным мне функционалом. Но, он не поддерживал актуальные версии Python
и Keras
. А попытки переделать его, не увенчались успехом: С++ приложение валилась с ошибкой Core Dump
. Было принято писать свою реализацию…
Пишем свою библиотеку!
Включив рок потяжелее, закинувшись бутылкой пиваса энергетика, я сел за код. Во многом в реализации этой библиотеки мне помог код TensorFlow, попытки реабилитации найденного на гит
кода, некоторые знания об алгоритмах и структурах данных (спасибо ИТМО за его курсы) и хорошая музыка в ушах. Так или иначе библиотека была написана за одну ночь.
И так встречайте: Keras2cpp!
Первая чать библиотеки – это Python модуль для сохранения обученной модели в собственный бинарный формат.
Ничего сложного в этой операции нет. Мы просто читаем модель Keras
и записываем побитово в файл: сначала тип слоя
, потом размерность
, потом матрицу весов
в формате float
.
Теперь перейдем к самому вкусному – C++ реализации.
Пользователю доступны 2 сущности tensor
и model
.
Tensor – переделяет собой данные с которыми работает нейросеть и является компьютерной реализацией тензора. На данный момент поддерживается максимальная размерность в 4 измерения. Размерность каждого измерения хранится в поле std::vector<int> dims_;
а вес каждого элемента тензора – в std::vector<int> data_;
. Из доступных методов можно выделить void Print()
и Tensor Select(int row)
. Остальные операции вы можете посмотреть в исходном коде. После того как математика для тензоров была написана я приступил к реализации моделей.
Model – представляет собой набор слоев в каждом из которых прописаны операции над тензорами и матрица весов. Для пользователя доступны 2 функции virtual bool LoadModel(const std::string& filename);
и virtual bool Apply(Tensor* in, Tensor* out);
.
Вот полный пример кода.
python_model.py:
import numpy as np
from keras import Sequential
from keras.layers import Dense
#create random data
test_x = np.random.rand(10, 10).astype('f')
test_y = np.random.rand(10).astype('f')
model = Sequential([
Dense(1, input_dim=10)
])
model.compile(loss='mse', optimizer='adam')
#train model by 1 iteration
model.fit(test_x, test_y, epochs=1, verbose=False)
#predict
data = np.array([[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]])
prediction = model.predict(data)
print(prediction)
#save model
from keras2cpp import export_model
export_model(model, 'example.model')
cpp_mpdel.cc:
#include "keras_model.h"
int main()
{
// Initialize model.
KerasModel model;
model.LoadModel("example.model");
// Create a 1D Tensor on length 10 for input data.
Tensor in(10);
in.data_ = 0;
// Run prediction.
Tensor out;
model.Apply(&in, &out);
out.Print();
return 0;
}
На этом я думаю все. Приятного использования, а я пойду к любимому C# и Python писать нейросети дальше.
P.s.
Мне понравилось писать эту библиотеку. Когда пишешь все сам с нуля – больше понимаешь, а как оно работает… В планах добавить поддержку других архитектур и GPU…
Upd.
В последствии на просторах github.com был найден ещё один проект https://github.com/moof2k/kerasfy и некоторые его производные. Но к сожалению они тоже оказались не рабочими. Но этот проект был впоследствии вжохновлен ими.
Upd 2.
Также был найден ещё один проект https://github.com/Dobiasd/frugally-deep реализующий подобный функционал. Он полностью совместим с keras 2 и python 3 и может быть использован для ваших целей. Но мой проект будет развиваться дальше и я возможно буду смотреть и на него.