容錯率，local optima and global optima
local optima = 短期利益 global optima = 長期利益 短期利益與長期利益的平衡 : 探索與利用困境 最佳化算法 : 無法保證global optima，都是近似算法 hill-climbing : 隨機決定要上還下/隨機決定從哪裡開始 GA : 計算適應程度/選擇優秀個體/交配/變異 SA : 加溫/等溫/冷卻，如果新解>舊解，選新解；如果新解<=舊解，P%選新解(P%接受差解)。 PSO : 群體最優與個體最優交配決定方向。 探索與利用困境 多個老虎牙子機，你要如何知道出金的概率P(探索)，一直玩那台機器(利用)，如何平衡得到出金概率(探索)與出金? regret(有悔/機會成本) : 假設1機P1 = 0.8 2機P2 = 0.3，如果選P2，regret = 0.8 - 0.3 = 0.5 如何去最小regret? 指標策略：你需要根據以往的試驗結果對每機構建一個指標/函數，根據這些指標選擇下一機。 樂觀地面對不確定性 UCB1 func = x_{j}+{(2ln(n))/n_{j}}^{1/2} ; x_{j} = 選 j 的出金數/n_{j}, n 總次數, n_{j} j的目前按壓次數 選func最大的當下機，更新x_{j}, n_{j} ; x_{j} = 選J的平均收益 (利用) ; {(2ln(n))/n_{j}}^{1/2} = 對於利用的信心程度(探索) 如果一機被嘗試很多次，x_{j}大，就選j，但當嘗試少次時，探索項更大，傾向探索。 早期更應該去嘗試，然後根據早期嘗試結果出金。