TIPS 【TF2】v2.2からTensorFlow Lite C版のBazelビルドターゲットが正式対応されている件
TensorFlow v2.2のリポジトリから、Lite C版のBazel用のターゲットが存在しています。今までできずに悩んでいたWindowsでのDLLビルドがめちゃくちゃ楽に終了したので共有します。調査日：2020年7月12日はじめにT...
TIPS
TIPS TIPS 【TF2】Bazelビルド bfloat16.cc(635): error C2664 ／ ‘PyUFuncGenericFunction’ へ変換できません
半日ほどハマってましたが、解決しましたのでメモとして残しておきます。調査日：2020年7月11日現象TF2.2が出たので、Windows10+VS2019で、ソースコードからTensorFlow2.2を新規ビルドした時の話。ビルドの最後の方...
TIPS 【TF2】ImageDataGeneratorを継承・拡張して、自作Augmentation機能を追加する
画像読み込みとAugmentationが可能で、非常に便利なImageDataGeneratorですが、ノイズ付与やカラー変化などの機能は実装されておりません。そんな時に自前で機能追加する方法です。はじめにImageDataGenerato...
TIPS 【TF2】Keras load_dataで読み込んだ全データセットをローカル保存する (4) Boston Housing data のcsvへの変換
価格予測のサンプルでよく使われるBoston Housingデータ。こちらは、データをCSVとして保存できます。はじめにKeras のload_dataで読み込んだデータを可視化する方法。(1) CIFAR10、CIFAR100 画像への変...
TIPS 【TF2】Keras load_dataで読み込んだ全データセットをローカル保存する (3) IMDB Review、Reuters Topics テキストへの変換
前回・前々回と違い、テキストデータの保存について。こちらは、Word IndexをWordに変換する必要があります。はじめにKeras のload_dataで読み込んだデータを可視化する方法。(1) CIFAR10、CIFAR100 画像へ...
TIPS 【TF2】Keras load_dataで読み込んだ全データセットをローカル保存する (2) MNIST、Fashin-MNIST 画像への変換
前回のCIFARに続いて、MNISTの画像保存について。こちらはクセがなく処理がラクです。はじめにKeras のload_dataで読み込んだデータを可視化する方法。(1) CIFAR10、CIFAR100 画像への変換方法(2) MNIS...
TIPS 【TF2】Keras load_dataで読み込んだ全データセットをローカル保存する (1) CIFAR10, CIFAR100 画像への変換
意外とネットにあまり情報がなかったので情報共有です。使う機会は結構あるかもしれないので。はじめにTensorflowにも搭載されている Keras dataset API。モデルの検証にload_data()で読み込んだ画像データ等をよく使...
TIPS 【TF2】Tensorflow学習時に、増え続けるCheckpointデータを自動削除する方法
学習時の中間モデル保存時、「{epoch:03d}-{val_loss:.5f}.hdf5」のようなデータがいっぱいでき上がってしまう。ちょうど「Best３だけ残す」みたいな事ができればいいのに！という事を実現する方法を考えました。はじめに...
TIPS 【TF2】Tensorflow2.x でGPU設定をする (旧 allow_growth の呼び替え)
よく使う手法なのですが、TF2.0になり、随分変更があったのでメモに残しておきます。調査日：2020年1月3日概要Tensorflowで、GPUの使用するメモリを動的確保したり、複数GPUマシン上の１つだけを指定するなどの方法。1.x → ...
TIPS 【TF2】Tensorflow 2.1 + Windows pythonにてImportError: DLL load failed の件
１時間くらいハマりましたが、解決しましたのでメモとして残しておきます。調査日：2020年1月16日現象Python3.7でもPython3.6でも発生。Anaconda環境でも発生。TF2.0では発生していなかったのに、2.1にアップデート...