アウトプット

クラスタリング

• ＝似通ったデータを自動でグループ分けする手法。
• 例）「水素水入りの飲み物は体に良い」
  • 似通ったデータ：体に良い飲み物
  • グループ分けする手法：水素水入り
• エセ科学を用いた健康食品を量産できるような、自ら概念を作り出せるロボットを作るために、クラスタリングは重要な技術。
• データ間の類似性を正しく図るためには、目的に合わせた特徴量を設定して特徴空間を設計することが重要。

特徴空間

• ＝設定した特徴量を軸にして、2次元のグラフで表現される（ことの多い）座標空間
• 例）「人を叩くのに適した鈍器」
  • 設定される特徴量：重量、リーチ
• それぞれのデータは点でプロットされる

クラスラベル

• ＝特徴空間上に現れるデータのまとまりを指す名称（クラスタとも言う）
• 例）クラスラベル１
  • 金槌、レンガ、空き瓶
  • ※重量がある、リーチが短い
• 例）クラスラベル２
  • ハリセン、ホウキ、物干し竿
  • ※重量がない、リーチが長い

教師なし学習

• ＝入力としてデータのみが与えられ、知識や傾向を自ら発見する機械学習手法
• 対義語は教師あり学習。答え付きのデータが与えられた上で、データのパターンやルールを学ばせる

k-means法

• ＝クラスタリング手法の１つ。各データは一番近い点を選んでいくだけでシンプル。分かりやすい
• 手順
  • １：適当な点を決める
  • ２：各データは一番近い点を基にしたラベルを振られる
  • ３：ラベルを振られた全てのデータの重心に点の位置を更新する
  • ４：データのラベルが変わらなくなるまで、２から３までを繰り返す
  • ５：終了
• k-means法は最適解を保証しない。データ同士の分布にあからさまな法則が見られる場合でも、適切にクラスタリングできない場合もある
  • 例）大学の人間関係をクラスタリングする際、同じサークル員の大学生が別のサークル員と友人関係を持つとクラスタリングされてしまう場合がある
• ⇒混合分布モデルを利用して、データ分布の理由を考慮したクラスタリングをしよう

混合分布モデル

• データが生成されたいくつかの理由を表すモデル
• 例）「今食べてるバナナのサイズと糖度」
  • データ：バナナのサイズ、糖度
  • データが生成されたいくつかの理由：収穫時期、土壌、品種
• ベイズの定理を使ってデータの生成過程を逆方向に推定し、クラスタリングを行う

混合ガウス分布（GMM）

• ＝混合分布モデルを構成する要素分布のうち、ガウス分布をしているもの
  • 分布は平均パラメータと分散パラメータの2つを持つ
• ⇒混合ガウス分布をEMアルゴリズムで探そう

EMアルゴリズム

• ＝カオスに見えるデータから、混合ガウス分布を探すことに用いられるアルゴリズム
• 語源は、EステップとMステップの2つを繰り返すアルゴリズムに由来する
• k-means法はEMアルゴリズムを近似したもの。親戚
• その他、似たアルゴリズム
  • ギブスサンプリング
  • 変分推論（変分ベイズ）
• 混合分布モデルに似たモデル
  • LDA潜在ディリクレ配分法
  • HMM隠れマルコフモデル

表現学習

• ＝学習によって、入力データを説明できるパラメータを発見し、グラフなどによって可視化すること
  • クラスタリングと横並びの概念
  • 多様体学習と似た概念
• 高次元のデータをより低次元のベクトルで表現することが多い
  • 例）映像（3次元）
    • 映像を構成する色の分布をグラフにする（2次元）
    • 映像内の人物が話すセリフを時間軸で並べる（2次元）

主成分分析

• ＝高次元空間上のデータから軸を見出し、低次元空間を得ること
  • 例）人間の性格（？次元）
    • 内向的か外交的か（2次元）
    • 計画的か探索的か（2次元）
    • インドアかアウトドアか（2次元）
• ガウス分布をしていると仮定して主軸を取る

自己符号化器

• ＝ニューラルネットワークを用いた表現学習の方法
  • 低次元にデータを圧縮する点で、主成分分析と似ている
• 砂時計みたいな形をしたニューラルネットワークを用いる
• 自己符号化器を多段階に積み重ねると「積層自己符号化器」になる

その他表現学習の手法

• 独立成分分析
• カーネル主成分分析
• MDS（多次元尺度法）
• 自己組織化マップ
• GPLVM
• 変分自己符号化器
• t-SNE

機械学習の分類

• 機械学習は、教師あり学習と教師なし学習、強化学習の3種類に分けられる
• 教師あり学習
• 模範解答が用意された上での機械学習。パターン認識や時系列データ予測、回帰問題など
• 例）マニュアル付きのバイト
• 正解の出力は目標値、教師信号、ラベルなどと呼ばれる
• 教師なし学習
• 模範解答が用意されず、あらかじめ用意されたアルゴリズムを基に進める機械学習。答えを出力するより入力データを分類することが目的。クラスタリングや低次元化、表現学習にデータマイニングなど
• 例）野菜をサイズごとに分類するバイト
• 強化学習
• 報酬を最大化することを目的にした機械学習。強化学習や最適化問題、最適制御問題など
• 例）月間売上を最大化する営業

汎化

• ＝訓練用のデータから、訓練以外のデータにも適用可能な普遍的知識を身に付けること
• 例）過去の恋愛経験から就職活動に役立てられるノウハウを編み出す
• 重要なのは高い汎化性能を持つ学習器を作ることである

過学習

• ＝訓練用のデータに特化しすぎて、訓練以外のデータに対応できなくなること
• 例）話す内容を丸暗記してプレゼンに挑んだため、急遽の終了時間変更に対応できなか

公差検証

• n×k個のデータセットのうち、n＝kのデータをテストに用いる検証方法。テストデータが行列だとすると、対角成分がテストデータになる

LOO(Leave-one-out)法

• n回学習させるはずなのに、n個のデータセットしかない場合は、LOO法を用いる
• 全てのデータが１度はテストデータとして利用されるまで学習を繰り返す

パターン認識

• ＝入力データに対して行う分類処理
• あらかじめ定められた複数のクラスのうち１つに入力データを対応させる
• 入力データは様々で、文字認識、音声認識、画像認識などがある
• 教師なし学習のクラスタリングとは異なり、教師あり学習であるパターン認識では、データを分類する以上にデータ間の差異に注目して学習が行われる

回帰問題

• ＝入力ベクトルに対して実数値を返す連続的な関数を学習する問題
• 教師あり学習
• 学習方法として、線形回帰、一般の線形モデル、ニューラルネットワーク、カーネル回帰、ガウス過程回帰などがある

分類問題

• ＝入力ベクトルに対して真か偽かを返す法則を学習する問題
• ＝有限個のクラスのどれに属するかを学習する問題
• 教師あり学習
• 学習方法として、パーセプトロン、ニューラルネットワーク、サポートベクターマシン、ランダムフォレスト、混合ガウス分布、ナイーブベイズフィルタなどがある

識別モデル

• ＝訓練データから真か偽かを区別するための境界線を直接求めるモデル

生成モデル

• ＝訓練データがどのような確率モデルから生成されたのかをモデル化して分類するモデル

SVM（サポートベクターマシン）

• ＝線形分類器であるパーセプトロンにカーネル法を組み合わせることによって実現される仕組み
• 次元を足すことでデータを分けやすくするイメージ

ナイーブベイズモデル(naive Bayes model)

• 生成モデルに基づいて分類を行うために用いられるモデルの１つ。シンプル