MachineLearning Concept

ML(Machine Learning)
an alternative route to build complicated systems
在多個複雜條件的情況下,人類無法在短時間內從中訂義規則時,就可以讓機器自動去發現和學習規則

應用時機可歸納為以下三個關鍵
要有潛在規則可以讓機器學
有規則,但很難或不知如何把規則寫出
要有資料

role of ML
data->ML->skill
ex:
stock data->ML->investment gain


......

數據分析相關領域

DM(data mining):
從資料中找出有價值的property(特性), ex: 購物籃分析

ML(machine learning):
從資料中計算並找出接近理想的結果(找出好的hypothesis), ex:stock prediction
ps:DM和ML常互相幫助

AI(Artificial intelligence):
透過計算達到有智慧行為 ex: chess playing
ps:ML是實現AI的一種方法

Statistics:
從資料中計算某些行為的機率
ps:統計是實現ML的一種方法


.............................................................

machine learning常見定義
data: D:{(x1,y1),(x2,y2),...,}, x1表示第1筆資料,y1表示第1筆資料的結果
input: {x1,x2,...}=X集合 ,
ex:customer data ,
其中各別的x也包含各種維度
x1={f1,f2,....} ,f1表示第一個維度,
ex: tom={18years old, 90K a month, ...}
output: {y1,y2,...}=Y集合 ,
ex:good/bad
target function,理想的結果,
定義為 f: X集合 -> Y集合
也就是f可以將input的X正確對應到output的Y
final hypothesis,一個skill讓機器學到的最後結果,
定義為 g:X集合->Y集合
也就是g會根據input的X對應到output的Y


learning model=A and H
H:hypothesis set,各種可能的集合,g屬於H集合中
A:learnning algorithm,學習演算法,要從H中選一個最符合的結果
structure: D -> A(H) -> g similar to f
ps:g(算出來的結果)越接近f(理想結果)表示結果越好

.........................................................................................................................


classficiation by input
給ML學的資料,常見有以下三種
concrete feature
raw feature
abstract feature

...

concrete feature
data is like feature1,feature2,...featureN
ex:
(size,mass) for coin classification

raw feature
picutre recognition: ex digit recognition problem
speech recognition
ps:
it need extracted like below
raw feature -> concrete feature

abstract feature
it is more difficult to extract concreate than raw feature
ex:
extracted method maybe like below
some feature found by machine,some feature make by human

ps:
feature engineer
a method is that how to create concrete feature
ex:deep learnning (how does extarct to concreate feature from many data by unsupervised learning )

............................................................................................................

classficiation by label
根據不同的資料label的學習方式,常見有以下幾種
supervised learning:  學習的資料來源,全部有明確的label 
unsupervised learning 學習的資料來,全部沒有label 
semi-supervised learning 學習的資料來源,部份有明確的label 
reinforcement learning  學習的資料來源全部都是不明確的label 

...

supervised learning
資料特性:資料有label
type of learnning by output as below
binary classification
label只有2種結果
multiclass classification
label有多種結果
regression
label是一個範圍
可用來找出一個範圍(y={ range })或一個有限的範圍(y={ limited range})
structured learning
label是一個結構或組合,使輸出像y={abc,cba,cde,...}, ex:sentence => structure
屬於complicated learning problem

unsupervised learning
資料特性:資料沒有label
目標較分散,所以難衡量演算法好壞
常見的如下
clustering:
類似unsupervised multiclass classification
ex: articles => topics
density estimation
尋找高密度資料
類似unsupervised bounded regression
ex: traffic reports with location => dangerous areas
outlier detection
尋找yes 或no
類似unsupervised binary classification
ex: internet logs => intrusion alert

semi-supervised
機器根據混合資料(有label和沒label)做學習
資料特性:部份資料有label,其他資料無label
優點:leverage unlabeled data to avoid expensive labeling


reinforcement learning(增加式學習)
方法:類似訓練寵物的方式,針對輸出結果加分或扣分來學習什麼是好或不好
資料特性:事件發生後的好或壞
ex:學習下棋

.......................................................................................................................

classficiation by protocol
學習到模型,可以分為以下
batch learning
online learning/incremental
active learning

...

batch learning: (all known data)
整批資料餵給演算法,學到固定的資料模型,
當演算法用此資料模型判斷新進來的資料屬於那個label,就輸出結果
online learning/incremental: (sequential(passive) data)
資料模型可以動態變化,
當演算法用此資料模型判斷新進來的資料屬於那個label後,
我們可以主動調整資料的label,讓演算法根據新的變動,改變資料模型
like reinforcement learning,常用在垃圾信過濾
active learning:(strategically-observed data)
當資料用此資料模型判斷新進來的資料屬於那個label後,
一但演算法不太確定此資料屬於那個label,就有技巧的主動問,然後根據得到的答案更新資料模型
應用時機:當資料標註label很貴,或太多資料沒被label

........................................................................................................................


classficiation by output
假設y=輸出的結果,常見的輸出類型如下
y=(+1,-1)
y={1,2,...k}
y={ range }
y={ limited range}
y={ abc,cba,cde,...}

...


y=(+1,-1)
只輸出yes或no,也就是輸出2個答案的其中一個
ex:
credit approve/disapprove
email spam/non-spam
patient sick/not sick
ad profitable/not profitable

y={1,2,...k}
可輸出多個答案的其中一個
ex:
coin recognition problem
identify 0~9 or pictures
email category, spam,primary,social,promotion,...

y={ range }
y={ limited range}

要輸出一個範圍(y={ range })或一個有限的範圍(y={ limited range})
ex:
patient features =>how many days before recovery
company data => stock price

y={abc,cba,cde,...}
輸出不同的結構或組合
ex:
sentence => structure
protein data(蛋白質資料庫) => protein folding(蛋白质折叠)
speech data=> speech parse tree

...................................................................................................................................

機器學習要注意的技巧

occam's razor
儘量用最簡單的方式描述資料
不要對資料做過多的描述

sampling bias
若抽樣的資料有偏差, 那做出來的結果也會有偏差
ex:
老師教數學,結果考英文

visual data snooping
先看資料的長像,根據資料長像或表現來決定學習方法時, 要注意不要掉進資料陷井中
不要完全根據資料做決定,而是要根據domain know how做決定
建議原則為data-driven modeling(snooping) and validation(no snooping)

................................................................................................................................


refer
Coursera 機器學習的基石 by 林軒田教授
http://blog.fukuball.com/lin-xuan-tian-jiao-shou-ji-qi-xue-xi-ji-shi-machine-learning-foundations-di-san-jiang-xue-xi-bi-ji/

 

2014-09-13 22:48:07發表 2016-01-24 16:10:20修改   

數據分析

程式開發
計算機組織與結構
資料結構與演算法
Database and MySql
manage tool
windows
unix-like
linux service
network
network layer3
network layer2
network WAN
network service
作業系統
數位鑑識
資訊安全解決方案
資訊安全威脅
Cisco security
Cisco network
Cisco layer3
Cisco layer2



  登入      [牛的大腦] | [單字我朋友] Powered by systw.net