Algo-AI
Algo-AI

深層学習を始めるならコレ！Kerasの基本から応用、そしてTensorFlow Liteまで

深層学習は、画像認識、自然言語処理、音声認識など、様々な分野で革新的な成果をあげています。しかし、深層学習モデルを構築するには、複雑なコードを記述する必要があり、初心者にとってハードルが高いのが現状です。

そこで登場するのが、Kerasです。Kerasは、深層学習モデルを構築し、トレーニングするためのPythonライブラリであり、初心者でも使いやすく、様々なバックエンド（TensorFlow、Theano、CNTKなど）をサポートしています。 Kerasを使うことで、深層学習モデルを簡単に構築し、トレーニングすることができます。

この記事では、Kerasの基本的な使い方から、画像認識、自然言語処理、ハイパーパラメータチューニング、可視化ツール、TensorFlow Liteを使ったモデルの軽量化まで解説します。この記事を読めば、深層学習の基礎を理解し、Kerasを使った深層学習開発を始めることができるようになります。

Kerasの概要

Kerasは、深層学習モデルを構築するための高レベルのAPIです。Kerasは、深層学習モデルを簡単に構築し、トレーニングできるように設計されており、初心者でも使いやすくなっています。

Kerasの特徴は以下の通りです。

  • ユーザーフレンドリーなAPI: KerasのAPIはシンプルで、直感的です。そのため、初心者でも簡単に深層学習モデルを構築することができます。
  • モジュール性: Kerasは、様々なモジュール（レイヤー、オプティマイザ、アクティベーション関数など）を提供しています。これらモジュールを組み合わせることで、様々な深層学習モデルを構築することができます。
  • 拡張性: Kerasは、カスタムレイヤー、カスタムオプティマイザ、カスタムアクティベーション関数などを追加することができます。そのため、複雑な深層学習モデルを構築することも可能です。
  • バックエンドサポート: Kerasは、TensorFlow、Theano、CNTKなどの様々なバックエンドをサポートしています。そのため、利用している環境に合わせて適切なバックエンドを選択することができます。

ターゲット読者

この記事は、以下のような読者を対象としています。

  • 機械学習初心者: 深層学習に興味があるけど、どこから手をつければいいか分からない人
  • Pythonユーザー: Pythonを使った開発経験があり、深層学習に挑戦したい人
  • 深層学習に興味がある人: Kerasを使って深層学習モデルを構築し、トレーニングしてみたい人

ポイント

この記事では、以下のポイントについて解説します。

  1. Kerasのインストールと基本的な使い方: Kerasの環境構築方法、ライブラリのインポート方法、簡単なニューラルネットワークの構築と学習方法を解説します。
  2. Kerasのモデル構築: Kerasで利用できるレイヤーの種類と使い方、モデルのコンパイル、学習、評価、保存とロードの方法を解説します。
  3. Kerasでの画像認識: MNISTデータセットを用いた画像分類の実装、転移学習による画像認識の精度の向上方法を解説します。
  4. Kerasでの自然言語処理: テキストデータの前処理、RNNモデルを用いた文章分類の実装方法を解説します。
  5. Kerasの可視化ツール: モデルの構造の可視化、学習曲線の可視化、活性化関数の可視化などの方法を解説します。
  6. Kerasの発展的な機能: Keras Tunerを使ったハイパーパラメータ最適化、Keras callbacksを使った学習過程の制御、TensorFlow Liteを使ったモデルの軽量化の方法を解説します。

Kerasのインストールと基本的な使い方

目次

環境構築

Kerasは、Python上で動作するライブラリです。そのため、Kerasを使用するには、まずPythonの環境を構築する必要があります。Pythonの環境構築には、以下のような方法があります。

  • Anaconda: Anacondaは、Pythonとその依存パッケージをまとめてインストールできるパッケージマネージャです。Anacondaは、深層学習に必要なライブラリも多数含んでいるため、深層学習を始めるには最適な選択肢です。
  • pip: pipは、Pythonの標準のパッケージマネージャです。pipを使って、Pythonのパッケージをインストールすることができます。

Kerasのインストール

Kerasのインストールは、pipコマンドを使って行うことができます。以下は、pipを使ってKerasをインストールするコマンドです。

1

pip install keras

ライブラリのインポート

Kerasを使用するには、まずKerasのライブラリをインポートする必要があります。以下は、Kerasのライブラリをインポートするコードです。

1
2

from keras.models import Sequential
from keras.layers import Dense

簡単なニューラルネットワークの構築

Kerasでは、Sequentialモデルを使って、簡単にニューラルネットワークを構築することができます。Sequentialモデルは、レイヤーを順番に積み重ねて、ニューラルネットワークを構築するためのモデルです。

以下は、Sequentialモデルを使った簡単なニューラルネットワークの構築例です。このニューラルネットワークは、2つの隠れ層と1つの出力層を持つ、シンプルなニューラルネットワークです。

1
2
3
4
5
6
7
8
9
10
11

# Sequentialモデルを作成
model = Sequential()

# 隠れ層1を追加
model.add(Dense(units=64, activation='relu', input_dim=10))

# 隠れ層2を追加
model.add(Dense(units=64, activation='relu'))

# 出力層を追加
model.add(Dense(units=10, activation='softmax'))

ニューラルネットワークの学習

構築したニューラルネットワークを学習するには、model.compile()メソッドとmodel.fit()メソッドを使用します。model.compile()メソッドでは、損失関数、オプティマイザ、評価指標を指定します。model.fit()メソッドでは、トレーニングデータと、バッチサイズ、エポック数を指定します。

1
2
3
4
5

# モデルをコンパイル
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

# モデルをトレーニング
model.fit(x_train, y_train, batch_size=32, epochs=10)

ニューラルネットワークの評価

トレーニングが終わったニューラルネットワークを評価するには、model.evaluate()メソッドを使用します。model.evaluate()メソッドでは、テストデータと、バッチサイズを指定します。

1
2
3
4
5

# モデルを評価
loss, accuracy = model.evaluate(x_test, y_test, batch_size=32)

print('Test Loss:', loss)
print('Test Accuracy:', accuracy)

Kerasのモデル構築

レイヤーの種類と使い方

Kerasでは、様々なレイヤーを利用することができます。レイヤーは、ニューラルネットワークの構成要素であり、入力データを処理し、出力データを生成します。

主なレイヤーの種類は以下の通りです。

  • Dense層: 全結合層とも呼ばれ、入力層と出力層、または隠れ層を接続するレイヤーです。
  • Conv2D層: 畳み込み層とも呼ばれ、画像認識などで使用されるレイヤーです。
  • LSTM層: 長短期記憶層とも呼ばれ、時系列データや自然言語処理などで使用されるレイヤーです。
  • MaxPooling2D層: 最大値プーリング層とも呼ばれ、画像認識などで使用されるレイヤーです。

レイヤーの使い方

レイヤーは、model.add()メソッドを使って、Sequentialモデルに追加することができます。

1
2
3
4
5
6
7
8
9
10
11

# Dense層を追加
model.add(Dense(units=64, activation='relu', input_dim=10))

# Conv2D層を追加
model.add(Conv2D(filters=32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)))

# LSTM層を追加
model.add(LSTM(units=128, return_sequences=True, input_shape=(100, 20)))

# MaxPooling2D層を追加
model.add(MaxPooling2D(pool_size=(2, 2)))

モデルのコンパイル

モデルをコンパイルするには、model.compile()メソッドを使用します。model.compile()メソッドでは、損失関数、オプティマイザ、評価指標を指定します。

  • 損失関数: モデルが予測した値と実際の値の誤差を計算するための関数です。
  • オプティマイザ: モデルのパラメータを更新するためのアルゴリズムです。
  • 評価指標: モデルのパフォーマンスを評価するための指標です。
1
2

# モデルをコンパイル
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

モデルの学習

コンパイルされたモデルを学習するには、model.fit()メソッドを使用します。model.fit()メソッドでは、トレーニングデータ、バッチサイズ、エポック数を指定します。

  • トレーニングデータ: モデルが学習するためのデータです。
  • バッチサイズ: 1回の学習で使用するデータの量です。
  • エポック数: 全てのトレーニングデータを何回学習させるかを表す回数です。
1
2

# モデルをトレーニング
model.fit(x_train, y_train, batch_size=32, epochs=10)

モデルの評価

トレーニングが終わったモデルを評価するには、model.evaluate()メソッドを使用します。model.evaluate()メソッドでは、テストデータ、バッチサイズを指定します。

1
2
3
4
5

# モデルを評価
loss, accuracy = model.evaluate(x_test, y_test, batch_size=32)

print('Test Loss:', loss)
print('Test Accuracy:', accuracy)

モデルの保存とロード

トレーニングしたモデルは、model.save()メソッドを使って保存することができます。保存されたモデルは、keras.models.load_model()メソッドを使ってロードすることができます。

1
2
3
4
5

# モデルを保存
model.save('my_model.h5')

# モデルをロード
model = keras.models.load_model('my_model.h5')

Kerasでの画像認識

MNISTデータセットを用いた画像分類

MNISTデータセットは、手書き数字の画像データセットです。MNISTデータセットを使って、画像分類の深層学習モデルを構築してみましょう。

データセットのロード

MNISTデータセットは、Kerasのmnist.load_data()メソッドを使ってロードすることができます。

1
2
3
4

from keras.datasets import mnist

# MNISTデータセットをロード
(x_train, y_train), (x_test, y_test) = mnist.load_data()

データの前処理

ロードしたMNISTデータセットは、そのままでは深層学習モデルに入力できません。深層学習モデルに入力するためには、データの前処理を行う必要があります。

  • データの正規化: 画像データは、0から255までの値を持つことが多いです。深層学習モデルに入力するためには、これらの値を0から1の範囲に正規化する必要があります。
  • データの形状変換: KerasのConv2D層は、4次元テンソル（バッチサイズ、高さ、幅、チャネル数）のデータを入力として受け取ります。そのため、MNISTデータセットを4次元テンソルに変換する必要があります。
1
2
3
4
5
6
7

# データの正規化
x_train = x_train.astype('float32') / 255.0
x_test = x_test.astype('float32') / 255.0

# データの形状変換
x_train = x_train.reshape(x_train.shape[0], 28, 28, 1)
x_test = x_test.reshape(x_test.shape[0], 28, 28, 1)

モデルの構築

MNISTデータセットを分類する深層学習モデルとして、Conv2D層とMaxPooling2D層を使ったモデルを構築します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

from keras.models import Sequential
from keras.layers import Conv2D, MaxPooling2D, Flatten, Dense

# モデルを作成
model = Sequential()

# 畳み込み層1を追加
model.add(Conv2D(filters=32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)))

# 最大値プーリング層1を追加
model.add(MaxPooling2D(pool_size=(2, 2)))

# 畳み込み層2を追加
model.add(Conv2D(filters=64, kernel_size=(3, 3), activation='relu'))

# 最大値プーリング層2を追加
model.add(MaxPooling2D(pool_size=(2, 2)))

# 平坦化層を追加
model.add(Flatten())

# 全結合層1を追加
model.add(Dense(units=128, activation='relu'))

# 出力層を追加
model.add(Dense(units=10, activation='softmax'))

モデルのコンパイルと学習

構築したモデルをコンパイルし、トレーニングデータで学習させます。

1
2
3
4
5
6
7
8
9
10
11

from keras.utils import to_categorical

# ラベルデータをOne-hotエンコーディング
y_train = to_categorical(y_train, num_classes=10)
y_test = to_categorical(y_test, num_classes=10)

# モデルをコンパイル
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

# モデルをトレーニング
model.fit(x_train, y_train, batch_size=32, epochs=10, validation_data=(x_test, y_test))

モデルの評価

学習が終わったモデルをテストデータで評価します。

1
2
3
4
5

# モデルを評価
loss, accuracy = model.evaluate(x_test, y_test, batch_size=32)

print('Test Loss:', loss)
print('Test Accuracy:', accuracy)

転移学習による画像認識の精度向上

転移学習は、事前に学習済みのモデルを再利用して、新しいタスクに適応させる技術です。転移学習を使うことで、少量のデータで高い精度のモデルを構築することができます。

転移学習の手順は以下の通りです。

  1. 事前に学習済みのモデルをロード: 画像認識のタスクでよく利用される事前に学習済みのモデルとして、VGG16やResNet50などのモデルが挙げられます。
  2. 新しいタスクに合わせてモデルを調整: 事前に学習済みのモデルの最後の層を新しいタスクに合わせて調整します。
  3. 調整したモデルを学習: 新しいデータで調整したモデルを学習させます。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

from keras.applications.vgg16 import VGG16
from keras.layers import Dense, Flatten
from keras.models import Model

# VGG16モデルをロード
base_model = VGG16(weights='imagenet', include_top=False, input_shape=(224, 224, 3))

# 最後の層を削除
x = base_model.output

# 平坦化層を追加
x = Flatten()(x)

# 全結合層を追加
x = Dense(units=128, activation='relu')(x)

# 出力層を追加
predictions = Dense(units=10, activation='softmax')(x)

# 新しいモデルを作成
model = Model(inputs=base_model.input, outputs=predictions)

# 最初の層を学習不可にする
for layer in base_model.layers:
    layer.trainable = False

# モデルをコンパイル
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

# 新しいデータでモデルをトレーニング
model.fit(x_train, y_train, batch_size=32, epochs=10, validation_data=(x_test, y_test))

Kerasでの自然言語処理

テキストデータの前処理

自然言語処理では、テキストデータを深層学習モデルに入力する前に、前処理を行う必要があります。前処理には、以下のような処理があります。

  • トークン化: テキストデータを単語や句読点などのトークンに分割します。
  • 単語埋め込み: 各トークンを数値ベクトルに変換します。
  • パディング: 文書の長さを揃えるために、短い文書にパディングを追加します。
1
2
3
4
5
6
7
8
9
10
11
12
13
14

from keras.preprocessing.text import Tokenizer
from keras.preprocessing.sequence import pad_sequences

# トークン化
tokenizer = Tokenizer(num_words=5000)
tokenizer.fit_on_texts(texts)

sequences = tokenizer.texts_to_sequences(texts)

# 単語埋め込み
word_index = tokenizer.word_index

# パディング
padded_sequences = pad_sequences(sequences, maxlen=100)

RNNモデルを用いた文章分類

RNNモデルは、時系列データや自然言語処理などで使用されるモデルです。RNNモデルを使って、文章分類の深層学習モデルを構築してみましょう。

データセットのロード

文章分類のデータセットをロードします。

1
2

# 文章とラベルをロード
texts, labels = load_dataset()

データの前処理

ロードしたデータセットを前処理します。

1
2
3
4
5
6
7
8
9
10
11

# トークン化
tokenizer = Tokenizer(num_words=5000)
tokenizer.fit_on_texts(texts)

sequences = tokenizer.texts_to_sequences(texts)

# 単語埋め込み
word_index = tokenizer.word_index

# パディング
padded_sequences = pad_sequences(sequences, maxlen=100)

モデルの構築

RNNモデルを使った文章分類モデルを構築します。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

from keras.models import Sequential
from keras.layers import Embedding, LSTM, Dense

# モデルを作成
model = Sequential()

# 単語埋め込み層を追加
model.add(Embedding(input_dim=5000, output_dim=128, input_length=100))

# LSTM層を追加
model.add(LSTM(units=128))

# 出力層を追加
model.add(Dense(units=1, activation='sigmoid'))

モデルのコンパイルと学習

構築したモデルをコンパイルし、トレーニングデータで学習させます。

1
2
3
4
5

# モデルをコンパイル
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])

# モデルをトレーニング
model.fit(padded_sequences, labels, batch_size=32, epochs=10, validation_split=0.2)

モデルの評価

学習が終わったモデルをテストデータで評価します。

1
2
3
4
5

# モデルを評価
loss, accuracy = model.evaluate(padded_sequences, labels, batch_size=32)

print('Test Loss:', loss)
print('Test Accuracy:', accuracy)

Kerasの可視化ツール

モデルの構造の可視化

Kerasでは、keras.utils.plot_model()メソッドを使って、モデルの構造を可視化することができます。

1
2
3
4

from keras.utils import plot_model

# モデルの構造を可視化
plot_model(model, to_file='model.png', show_shapes=True)

学習曲線の可視化

model.fit()メソッドでトレーニングを行うと、historyオブジェクトに、各エポックでの損失値と精度が保存されます。historyオブジェクトを使って、学習曲線を可視化することができます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

import matplotlib.pyplot as plt

# 学習曲線を可視化
plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('Model Loss')
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.legend(['Train', 'Validation'], loc='upper right')
plt.show()

plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.title('Model Accuracy')
plt.ylabel('Accuracy')
plt.xlabel('Epoch')
plt.legend(['Train', 'Validation'], loc='upper right')
plt.show()

活性化関数の可視化

Kerasでは、keras.utils.vis_utils.pyモジュールを使って、活性化関数を可視化することができます。

1
2
3
4

from keras.utils.vis_utils import plot_activation

# 活性化関数を可視化
plot_activation(model, input_tensor=x_test[0], layer_name='conv2d_1', output_path='activation.png')

Kerasの発展的な機能

Keras Tunerを使ったハイパーパラメータ最適化

Keras Tunerは、ハイパーパラメータを自動で最適化するためのツールです。Keras Tunerを使うことで、最適なハイパーパラメータを見つけることができます。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

from kerastuner import RandomSearch
from kerastuner.engine.hyperparameters import HyperParameters

# ハイパーパラメータを定義
def build_model(hp):
  model = Sequential()
  model.add(Conv2D(filters=hp.Int('conv_filters', min_value=32, max_value=128, step=32), kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)))
  model.add(MaxPooling2D(pool_size=(2, 2)))
  model.add(Flatten())
  model.add(Dense(units=hp.Int('dense_units', min_value=32, max_value=128, step=32), activation='relu'))
  model.add(Dense(units=10, activation='softmax'))
  model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
  return model

# Keras Tunerを作成
tuner = RandomSearch(
  build_model,
  objective='val_accuracy',
  max_trials=5,
  executions_per_trial=3,
  directory='my_tuner',
  project_name='mnist_tuner'
)

# ハイパーパラメータを最適化
tuner.search(x_train, y_train, epochs=10, validation_data=(x_test, y_test))

# 最適なハイパーパラメータを取得
best_hps = tuner.get_best_hyperparameters()[0]

print('Best Hyperparameters:')
print(best_hps.values)

# 最適なモデルを構築
best_model = tuner.hypermodel.build(best_hps)

Keras callbacksを使った学習過程の制御

Keras callbacksは、学習過程を制御するための機能です。Keras callbacksを使うことで、学習過程で様々な処理を行うことができます。

主なKeras callbacksは以下の通りです。

  • EarlyStopping: 学習が収束したと判断された場合に、学習を停止します。
  • ModelCheckpoint: 学習中のモデルを定期的に保存します。
  • ReduceLROnPlateau: 学習が停滞した場合に、学習率を下げます。
  • TensorBoard: 学習過程をTensorBoardで可視化します。
1
2
3
4
5
6
7
8
9
10

from keras.callbacks import EarlyStopping, ModelCheckpoint

# EarlyStopping callbackを作成
early_stopping = EarlyStopping(monitor='val_loss', patience=3)

# ModelCheckpoint callbackを作成
model_checkpoint = ModelCheckpoint('my_model.h5', monitor='val_loss', save_best_only=True)

# モデルをトレーニング
model.fit(x_train, y_train, batch_size=32, epochs=10, validation_data=(x_test, y_test), callbacks=[early_stopping, model_checkpoint])

TensorFlow Liteを使ったモデルの軽量化

TensorFlow Liteは、モバイルや組み込みデバイスなどのリソース制約のある環境で深層学習モデルを実行するためのフレームワークです。TensorFlow Liteを使うことで、深層学習モデルを軽量化し、効率的に実行することができます。

1
2
3
4
5
6
7

# TensorFlow Liteに変換
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

# TensorFlow Liteモデルを保存
with open('my_model.tflite', 'wb') as f:
  f.write(tflite_model)

考察

Kerasを使うメリットとデメリット

Kerasを使うメリットは、以下の通りです。

  • 使いやすさ: Kerasは、シンプルで使いやすいAPIを提供しています。そのため、初心者でも簡単に深層学習モデルを構築することができます。
  • モジュール性: Kerasは、様々なモジュールを提供しており、これらモジュールを組み合わせることで、様々な深層学習モデルを構築することができます。
  • 拡張性: Kerasは、カスタムレイヤー、カスタムオプティマイザ、カスタムアクティベーション関数などを追加することができます。そのため、複雑な深層学習モデルを構築することも可能です。
  • バックエンドサポート: Kerasは、TensorFlow、Theano、CNTKなどの様々なバックエンドをサポートしています。そのため、利用している環境に合わせて適切なバックエンドを選択することができます。
  • コミュニティ: Kerasは、活発なコミュニティがあります。そのため、困ったことがあれば、コミュニティで質問することができます。

Kerasを使うデメリットは、以下の通りです。

  • 柔軟性の欠如: Kerasは、高レベルのAPIであるため、柔軟性に欠けることがあります。
  • 低レベルな制御の不足: Kerasは、低レベルな制御が不足しているため、複雑な深層学習モデルを構築する際には、他のフレームワークを使用する必要がある場合があります。

Kerasの発展と今後の展望

Kerasは、常に進化しており、新しい機能が追加されています。Kerasの今後の展望としては、以下の点が挙げられます。

  • バックエンドの強化: Kerasは、TensorFlow、Theano、CNTKなどの様々なバックエンドをサポートしていますが、今後さらに多くのバックエンドをサポートしていく予定です。
  • 機能の拡張: Kerasは、新たな機能を開発し、深層学習モデルの構築をより簡単にしていく予定です。
  • 性能の向上: Kerasは、性能を向上させ、より高速な深層学習モデルのトレーニングを実現していく予定です。

まとめ

この記事では、Kerasの基本的な使い方から、画像認識、自然言語処理、ハイパーパラメータチューニング、可視化ツール、TensorFlow Liteを使ったモデルの軽量化まで解説しました。この記事を読めば、深層学習の基礎を理解し、Kerasを使った深層学習開発を始めることができるようになります。

Kerasは、深層学習モデルを構築するための強力なツールです。Kerasを使って、深層学習の様々な分野に挑戦してみて下さい。