【2019年】強化学習のおすすめ本ランキング7冊!年400冊読む書評ブロガーが紹介!

こんちわ、柿田ぴんとです!

今回は、強化学習のおすすめ本ランキング7冊を紹介していきます!

目次

\30日間 無料体験中!/
小説 ビジネス書 ライトノベル
40万冊を「無料体験」で聴く

1位. おすすめ本│『人工知能はどのようにして 「名人」を超えたのか?―最強の将棋AIポナンザの開発者が教える機械学習・深層学習・強化学習の本質』

人工知能はどのようにして 「名人」を超えたのか?―――最強の将棋AIポナンザの開発者が教える機械学習・深層学習・強化学習の本質は、「人工知能と人間の本質的な違い」そして「知能と知性の未来」を紹介しています!

第1章 将棋の機械学習―プログラマからの卒業
(将棋の名人を倒すプログラムは、名人でなければ書けないのか?;そもそも、コンピュータとは何か? ほか)

第2章 黒魔術とディープラーニング―科学からの卒業
(機械学習によってもたらされた「解釈性」と「性能」のトレードオフ;黒魔術化しているポナンザ ほか)

第3章 囲碁と強化学習―天才からの卒業
(人工知能の成長が人間の予想を大きく超えたわけ;人間は「指数的な成長」を直感的に理解できない ほか)

第4章 倫理観と人工知能―人間からの卒業
(知能と知性;「中間の目的」とPDCAで戦う人間の棋士 ほか)

巻末付録 グーグルの人工知能と人間の世紀の一戦にはどんな意味があったのか?
(人間を超えたアルファ碁は、どのようにして強くなったのか;アルファ碁はたくさん手を読んでいるのではなく、猛烈に勘がいい ほか)

など、目からウロコの解説の連続で、既存のどんな人工知能の解説書よりも面白くてわかりやすいおすすめの1冊です!

おすすめ本レビュー│『人工知能はどのようにして 「名人」を超えたのか?―――最強の将棋AIポナンザの開発者が教える機械学習・深層学習・強化学習の本質』

レビュー
とても面白い本でした。
難しい内容を分かりやすい文章で書かれていて、著者の頭の良さを感じます。
この手の本はつまらなくて、途中で読むのをやめてしまうことも多々あるのですが、一気に読めました。

私はプログラムを少し書きますし、結構プログラムに仕事をさせていたりしますので、実経験としてもかなり共感できました。

藤井四段に触発されて久しぶりに将棋をしている小学5年の息子に「ボナンザが考えた」という左美濃急戦を教えたら、将棋ウォーズの「難しい」に勝てるようになりました。
「この本に載っていた」と教えたら、興味津々で読みはじめました。
夏休みの読書感想文はこれにするそうです。

人工知能先生、選挙にでも出馬してくれないですかねw

レビュー
今年、佐藤天彦名人と電王戦を戦い、2戦とも完勝した「ponanza」。
見たことのない戦法、あまりの強さに驚かされました。
世界コンピュータ将棋選手権も2連覇をし、プロ棋士に対しても7連勝を続けている最強ソフトです。
山本一成氏が、アルファ碁の話も絡めて、開発の秘密を初めて語りました。
これが実に面白い。
ソフトそのものが、1兆を超す将棋の局面を自動探索し、評価し、学習、進化し続けた結果、名人をも凌駕する怪物ソフトが生まれました。
これでも、将棋という広大な宇宙のごく一部分を解明しただけのようです。
今年の世界選手権で、ponanzaはelmoに2連敗を喫し、準優勝となりました。
elmoを倒すのは、クッキーモンスターしか無いかな。

強化学習のおすすめ本人工知能はどのようにして 「名人」を超えたのか?―――最強の将棋AIポナンザの開発者が教える機械学習・深層学習・強化学習の本質を読みたい方はこちら↓

『人工知能はどのようにして 「名人」を超えたのか?―――最強の将棋AIポナンザの開発者が教える機械学習・深層学習・強化学習の本質』を読む

スポンサーリンク

2位. おすすめ本│『機械学習スタートアップシリーズ Pythonで学ぶ強化学習 入門から実践まで (KS情報科学専門書)』

機械学習スタートアップシリーズ Pythonで学ぶ強化学習 入門から実践まで (KS情報科学専門書)は、

実用でのネックとなる強化学習の弱点とその克服方法、さらに活用領域まで紹介しています!

1 強化学習の位置づけを知る
2 強化学習の解法(1):環境から計画を立てる
3 強化学習の解法(2):経験から計画を立てる
4 強化学習に対するニューラルネットワークの適用
5 強化学習の弱点
6 強化学習の弱点を克服するための手法
7 強化学習の活用領域

など、エンジニアのために、Pythonのサンプルコードとともに、ゼロからていねいに解説!

コードが公開されているから、すぐ実践できるおすすめの1冊です!

強化学習のおすすめ本機械学習スタートアップシリーズ Pythonで学ぶ強化学習 入門から実践まで (KS情報科学専門書)を読みたい方はこちら↓

『機械学習スタートアップシリーズ Pythonで学ぶ強化学習 入門から実践まで (KS情報科学専門書)』を読む

3位. おすすめ本│『最強囲碁AI アルファ碁 解体新書 増補改訂版 アルファ碁ゼロ対応 深層学習、モンテカルロ木探索、強化学習から見たその仕組み』

最強囲碁AI アルファ碁 解体新書 増補改訂版 アルファ碁ゼロ対応 深層学習、モンテカルロ木探索、強化学習から見たその仕組みは、

学術論文(NatureやGoogleのサイト)などで提供されている難解なアルファ碁およびアルファ碁ゼロの仕組みについて紹介しています!

1 アルファ碁の登場
2 ディープラーニング―囲碁AIは瞬時にひらめく
3 強化学習―囲碁AIは経験に学ぶ
4 探索―囲碁AIはいかにして先読みするか
5 アルファ碁の完成
6 アルファ碁からアルファ碁ゼロへ
Appendix1 数式について
Appendix2 囲碁プログラム用のUIソフト「GoGui」およびGoGui用プログラム「DeltaGo」の利用方法

など、最新AIの深層学習、強化学習の仕組みを知ることができ、
著者の開発したDeltaGoを元に実際に囲碁AIを体験できるおすすめの1冊です!

おすすめ本レビュー│『最強囲碁AI アルファ碁 解体新書 増補改訂版 アルファ碁ゼロ対応 深層学習、モンテカルロ木探索、強化学習から見たその仕組み』

レビュー
ディープラーニング関連の(この本とは別の)書籍を買おうと本屋に行って
そばにあったこの本をパラパラ見て、分かりやすそうなのと興味深いと感じ
すぐに買いました。
囲碁や将棋などのゲームAIの関係者でなくても分かるように説明してあり
AIやディープラーニングを知りたい人も読んでおいて良いと思います。
(数式なども少ないのでアルファ碁やAIに興味があればエンジニアでなくても読めます)

AI(アルファ碁)そのものがすごい、というよりAIをつくるために様々な工夫をして
ものすごいマシンパワー使っているんだなーと感じました。

レビュー
深層学習、強化学習、モンテカルロ木探索と、アルファ碁の代表的な技術について非常に分かりやすく説明されてあります。事前知識としてCNNの概要が少しわかる程度でした。CNNは画像の学習で有名ですが、その入力情報としてはRGBの3チャネルを使うぐらいしか知りませんでした。なので、(知ってる人にとっては当たり前かもしれませんが)アルファ碁の白石や黒石の位置情報だけでなく、石を取れる位置などもビットで表してチャネルとして学習させているという発想は、目からウロコでした。
強化学習以降はまだすっと理解できてないので、また改めて読み返したいです。

強化学習のおすすめ本最強囲碁AI アルファ碁 解体新書 増補改訂版 アルファ碁ゼロ対応 深層学習、モンテカルロ木探索、強化学習から見たその仕組みを読みたい方はこちら↓

『最強囲碁AI アルファ碁 解体新書 増補改訂版 アルファ碁ゼロ対応 深層学習、モンテカルロ木探索、強化学習から見たその仕組み』を読む

スポンサーリンク

4位. おすすめ本│『つくりながら学ぶ!深層強化学習 PyTorchによる実践プログラミング』

つくりながら学ぶ!深層強化学習 PyTorchによる実践プログラミングは、強化学習、さらにディープラーニングを組み合わせた深層強化学習DQNを紹介しています!

第1章 強化学習の概要
第2章 迷路課題に強化学習を実装しよう
第3章 倒立振子課題に強化学習を実装しよう
第4章 PyTorchでディープラーニングを実装しよう
第5章 深層強化学習DQNを実装しよう
第6章 深層強化学習の発展版を実装しよう
第7章 AWSのGPU環境でブロック崩しを実装しよう

など、Python+PyTorchで「倒立振子課題」「迷路」「ブロック崩し」を攻略するプログラミングを実装していくおすすめの1冊です!

強化学習のおすすめ本つくりながら学ぶ!深層強化学習 PyTorchによる実践プログラミングを読みたい方はこちら↓

『つくりながら学ぶ!深層強化学習 PyTorchによる実践プログラミング』を読む

5位. おすすめ本│『Pythonによる深層強化学習入門 ChainerとOpenAI Gymではじめる強化学習』

Pythonによる深層強化学習入門 ChainerとOpenAI Gymではじめる強化学習は、アルファ碁などのゲームAIやロボットアームの制御、自動運転などで注目されている深層強化学習の基礎と、Pythonによる実装について解説した入門書!

第1章 はじめに(深層強化学習でできること;本書の構成 ほか)
第2章 深層学習(深層学習とは;ニューラルネットワーク ほか)
第3章 強化学習(強化学習とは;強化学習の原理 ほか)
第4章 深層強化学習(深層強化学習とは;ネズミ学習問題への適用 ほか)
第5章 実環境への応用(カメラで環境を観察する(MNIST)
実環境でのネズミ学習問題 ほか)

など、ソフトウェアシミュレーションだけでなく
RaspberryPiとArduinoを用いた実環境への応用も解説しているので、
ソフト・ハード問わず自身の課題に深層強化学習を応用することできるおすすめの1冊です!

強化学習のおすすめ本Pythonによる深層強化学習入門 ChainerとOpenAI Gymではじめる強化学習を読みたい方はこちら↓

『Pythonによる深層強化学習入門 ChainerとOpenAI Gymではじめる強化学習』を読む

スポンサーリンク

6位. おすすめ本│『強化学習 (機械学習プロフェッショナルシリーズ)』

強化学習 (機械学習プロフェッショナルシリーズ)は、強化学習で必要になる数理を紹介しています!

第1章 準備
1.1 強化学習とは
1.2 マルコフ決定過程と逐次的意思決定問題
1.3 方策
1.4 逐次的意思決定問題の定式化

第2章 プランニング
2.1 準備 
2.2 動的計画法
2.3 動的計画法による解法
2.4 線形計画法による解法

第3章 探索と活用のトレードオフ
3.1 概要
3.2 探索と活用のトレードオフ
3.3 方策モデル

第4章 モデルフリー型の強化学習
4.1 データにもとづく意思決定
4.2 価値関数の推定
4.3 方策と行動価値関数の学習
4.4 収束性
4.5 アクター・クリティック法

第5章 モデルベース型の強化学習
5.1 問題設定の整理
5.2 環境推定
5.3 ブラックボックス生成モデルに対するプランニング
5.4 オンラインのモデルベース型強化学習

第6章 関数近似を用いた強化学習
6.1 概要
6.2 価値関数の関数近似
6.3 方策の関数近似

第7章 部分観測マルコフ決定過程
7.1 部分観測マルコフ決定過程(POMDP)の基礎
7.2 POMDP のプランニング
7.3 POMDP の学習

第8章 最近の話題
8.1 分布強化学習
8.2 深層強化学習

付録A 補足
A.1 証明
A.2 ノルム
A.3 線形計画法
A.4 自然勾配の導出

など、一貫したていねいな解説なので、じっくり読めるおすすめの1冊です!

強化学習のおすすめ本強化学習 (機械学習プロフェッショナルシリーズ)を読みたい方はこちら↓

『強化学習 (機械学習プロフェッショナルシリーズ)』を読む

7位. おすすめ本│『強化学習アルゴリズム入門 「平均」からはじめる基礎と応用』

強化学習アルゴリズム入門 「平均」からはじめる基礎と応用は、強化学習の難解な理論を平均を入口としてやさしく解説しています!

第1章 平均で学ぶ強化学習の基本概念
(平均と期待値;平均と価値 ほか)

第2章 各アルゴリズムの特徴と応用
(強化学習における方策π(a|S)動的計画法 ほか)

第3章 関数近似手法
(関数近似の基本概念;関数近似モデルを用いたV(St)の表現 ほか)

第4章 深層強化学習の原理と手法
(TD‐Q学習法におけるNNによる行動価値関数の回帰;DQNによる行動状態価値関数の近似 ほか)

など、「平均」という観点から強化学習の基本が理解できるおすすめの1冊です!

強化学習のおすすめ本強化学習アルゴリズム入門 「平均」からはじめる基礎と応用を読みたい方はこちら↓

『強化学習アルゴリズム入門 「平均」からはじめる基礎と応用』を読む

強化学習のおすすめ本ランキング│まとめ

『強化学習のおすすめ本ランキング7冊』いかがでしたか?

ぜひ、気になった強化学習の本を読んで、あなたの人生に役立ててみてくださいね!

ぴんと
さいごまで読んでいただき、ありがとうございました!
【Amazon】本を無料で読む方法!

 本を読むときは『Audible』の
『30日間無料体験』がおすすめです!

ライトノベル・小説・ビジネス書など、
400,000冊以上の本が聴き放題!

ぴんと
毎日の料理やジョギング、通勤中など、いつでもどこでも好きな時に聴けるので、1日1冊ラクに本が読めちゃう!
ぴんこ
再生した後でも何回も交換OKだから、
実質無料の「聴き放題サービス」ね!

また、あのメンタリストDaiGoさんも
本を聴くことで1日に3冊は読めるとおすすめしています!

読書やPC作業で目が疲れたときもインプットが続けられますし、移動時間も無駄にならない。

通勤に時間がかかる人なら、少なくても1日1冊分は聴けるんじゃないでしょうか。

テキストをフラットに聴くことにより、文章や論理の構造まできれいに頭に入るので、本がまるごと頭の中に入るような喜びが体感できます。

それによって話すことがうまくなり、言葉も出てきやすくなるので、本を耳で聴くのはおすすめですよ。

引用:なぜDaiGoは「目より耳」で本を読むのか

さらに、人気俳優・声優のボイスが、
本の魅力をさらに引き出しているので、
スキマ時間を有効活用したい人は、この機会をお見逃しなく! 

 
\忙しいあなたも、耳は意外とヒマしてる!/

小説 ビジネス書 ラノベ
40万冊を無料体験で聴く!

スポンサーリンク
スポンサーリンク