搜尋(繁體中文或英文)
訊息看板
-
近期文章
線性代數專欄
其他主題專欄
每週問題
數據充分性問題
其他分類
Recent Comments
陳倍恩 on 線性代數的第一堂課──矩陣乘法的定義 輕鬆談如何教學二項式定理?… on 牛頓的二項式定理 (上) madhouse on 高斯消去法 WishMobile on 翻轉 LU 分解 周子傑 on Karush-Kuhn-Tucker (KKT) 條件 Cloud Huang on 線性泛函與伴隨 近期最多人點閱
分類
Archives
標籤雲
- Cayley-Hamilton 定理
- Frobenius 範數
- Gram-Schmidt 正交化
- Gramian 矩陣
- Hermitian 矩陣
- Householder 矩陣
- Jordan 典型形式
- LU 分解
- QR 分解
- Schur 定理
- SVD
- Vandermonde 矩陣
- 三角不等式
- 不變子空間
- 么正矩陣
- 二次型
- 代數重數
- 伴隨矩陣
- 內積
- 冪矩陣
- 冪等矩陣
- 冪零矩陣
- 分塊矩陣
- 列空間
- 半正定矩陣
- 反對稱矩陣
- 可交換矩陣
- 可逆矩陣
- 向量空間
- 圖論
- 基底
- 基本列運算
- 奇異值
- 奇異值分解
- 實對稱矩陣
- 對角化
- 座標變換
- 微分方程
- 投影矩陣
- 排列矩陣
- 旋轉矩陣
- 最小多項式
- 最小平方法
- 正交性
- 正交投影
- 正交矩陣
- 正交補餘
- 正定矩陣
- 正規矩陣
- 特徵值
- 特徵向量
- 特徵多項式
- 特殊矩陣
- 相伴矩陣
- 相似
- 矩陣乘法
- 矩陣多項式
- 矩陣指數
- 矩陣範數
- 矩陣譜
- 秩
- 秩─零度定理
- 簡約列梯形式
- 組合數學
- 線性獨立
- 線性變換
- 線性變換表示矩陣
- 行列式
- 行空間
- 譜分解
- 跡數
- 逆矩陣
- 通解
- 零空間
- 高斯消去法
線代線上影音課程
線代學習網站
線代電子書
- A First Course in Linear Algebra (Robert A. Beezer)
- Fundamentals of Linear Algebra (James B. Carrell)
- Linear Algebra (Jim Hefferon)
- Linear Algebra Done Wrong (Sergei Treil)
- Linear Algebra Problems (Jerry L. Kazdan)
- Linear Algebra via Exterior Products (Sergei Winitzki)
- Linear Algebra, Theory and Applications (Kenneth Kuttler)
- Matrix Analysis and Applied Linear Algebra (Carl D. Meyer)
- Notes on Linear Algebra (Peter J. Cameron)
矩陣計算器
LaTeX
Blogroll
-
Join 676 other subscribers
Category Archives: 機率統計
隨機變數
本文的閱讀等級:初級 在機率學,一個實驗 (experiment) 由下列三個概念設定 (見“機率學的基本語彙”): 樣本空間 包含所有可能的實驗結果, 定義於 的所有事件, 每一個事件的機率。 現實問題中,實驗結果常被賦予可度量的性質。舉例來說,考慮投擲一枚硬幣 次,結果 可用字元 (正面) 與 (反面) 所組成的長度為 的字串表示。這個實驗的樣本空間 有 個字串 (元素)。假設我們關心出現正面的次數,令函數 等於字串 所含的 字元數,例如,,,。函數 的值域為 。對於 ,存在 個字串 使得 ,其中 代表從100個元素選取 個元素的組合數。因此, (見“二項式係數與組合問題”)。在建立機率模型時,以函數 的值域取代樣本空間有兩個明顯的好處:第一,函數 由我們所考慮的問題決定,據此建立的模型呈現問題情境。第二,函數 的值域是數組成的集合故而便利計算。我們在實驗的樣本空間 上制定的函數 引申出機率學的一個核心概念,稱為隨機變數 (random variable)。
de Moivre-Laplace 定理與大數定律
本文的閱讀等級:初級 在伯努利試驗 (Bernoulli trials),設事件 發生的機率為 ,即 且 ,在 次實驗中,事件 出現 次的機率為 (見“伯努利試驗”) 。 本文討論兩個問題:當 很大時,如何簡化 的計算?從機率的頻率觀點, 近似 是依據甚麼理論?
伯努利試驗
本文的閱讀等級:初級 考慮投擲一枚硬幣,樣本空間為 ,其中 (head) 表示擲出正面, (tail) 表示擲出反面。設 ,則 。任何一個參數 都可定義合法的機率函數,因此存在無窮多個機率函數,我們應該挑選那一個?機率函數制定的目的是為了準確預測未來事件發生的可能性。假如投擲一枚硬幣非常多次,我們期待參數 等於正面出現的次數與總投擲次數的比值。統計學提供了運用實驗數據來選取參數 的方法,稱為估計。我們可以進行多次擲幣試驗,假如投擲一枚硬幣100次,共出現54次正面,可設 ,以後便使用這個機率函數來預測未來的擲幣實驗結果 (見“機率學的基本語彙”)。本文討論這個估計方法背後的機率學基礎。
條件機率與貝氏定理
本文的閱讀等級:初級 假設有兩個甕,第一個甕裡面有3顆紅球,第二個甕裡面有2顆紅球和1顆白球。我們隨機選擇一個甕,然後從中抽出2顆球。假設結果是2顆紅球,留在甕裡的那顆球是紅球的機率有多大? 我們挑選的甕是第一個甕或第二個甕的機率同為 。從甕中抽出了2顆紅球,如果這是第一個甕,留在甕裡的那顆球便是紅球,如果這是第二個甕,留在甕裡的那顆球則是白球,因此推論答案是 。這個推論過程可能符合許多人的直覺,但為了檢驗這條思路的正確性,我們不妨變換問題敘述看看結果如何。假設第一個甕裡面有30顆紅球,第二個甕裡面有20顆紅球和10顆白球。如果從隨機選出的甕中抽出20顆球,結果全部是紅球,你確定留在甕裡的10顆球是紅球的機率仍為 ?前後兩個問題的題幹相似,但我們可能對後面這個問題的答案抱持懷疑,因為從第二個甕中抽出20顆球,剛好都是紅球的機率似乎不大。的確,從第二個甕中抽取出20顆紅球的機率為 , 其中 是二項式係數,即從包含30個元素的集合中選取20個元素的組合數 (見“二項式係數與組合問題”)。數字會說話,現在我們改變心意了。眼前選出的這個甕非常可能是第一個甕,也就是說留在甕裡面的10顆球是紅球的機率接近1。這意味在原先的問題中,甕裡的那顆球是紅球的機率應該大於 。愛因斯坦說:「唯一真正有價值的東西是直覺[1]。」對於機率問題,直覺卻常常給出錯誤的答案。
機率學的基本語彙
本文的閱讀等級:初級 我發現數學很容易,但我還是喜歡探索事物。你必須有必要的資訊。例如,平均數與中位數的差異是甚麼?機率學讓我著迷。你必須非常仔細地考慮事情,這也正是我心靈運作的方式。 ───英國作家丹尼爾·譚米特 (Daniel Tammet) [1] 機率學 (概率論) 是一個研究機會與運氣的數學領域。機率雖然經常出現於日常語言,但學者往往對於機率學的概念有所誤解或認為難以捉摸。我想到的原因有兩個層面。第一是觀念面的原因。機率學有它自己的奧術語彙,掌握這些必要的語彙是建立模型與精準推理的前提。一些看似簡單的機率問題,答案常常違反直覺甚至可能讓專業數學家跌破眼鏡﹐原因即在於誤入思考的陷阱。第二是技術面的原因。許多機率問題無法用簡單的排列組合計算,必須引進較為複雜的方法。譬如,投擲一枚公正的硬幣20次,求連續4次正面出現的機率涉及解遞歸關係式 (見“利用馬可夫鏈計算擲幣事件發生的機率”),而連續機率分布問題則難以免除技巧性的積分運算。我們研習任何一門學科總要先從觀念面下手,本文列舉一些基本的機率學詞彙並解釋它們的意義 (其他重要的詞彙將專文介紹)。
答Yanjun Li──關於多隨機變數的兩個線性組合的共變異數
網友Yanjun Li留言: 近期拜讀了周老師寫的變異數矩陣,主成份分析,奇異值分解等專題,感覺對線性代數的一些知識有了重新認識。在閱讀過程中,產生了一些疑問,請周老師不吝賜教: 是兩兩互不相關的變量,另有 和 兩個變量,是 的線性組合: 如果 中的某一個係數明顯比其餘每一個係數大很多,同時 中的某一個係數明顯比其餘每一個係數大很多,並且兩組係數中,最大的 和 滿足 不等於 。當滿足上述條件時,是否可以認為, 和 的相關程度很低? 如果 中的某一個係數大於其餘每一個係數,同時 中的某一個係數大於其餘每一個係數,並且兩組係數中,最大的 和 滿足 不等於 。當滿足上述條件時,是否可以認為, 和 的相關程度不高? 與 之間的共變異數,是否可以用 和 ,以及 的變異數,計算出來? 感謝周老師在百忙之中閱讀我的問題!
二項式係數與組合問題
本文的閱讀等級:初級 在組合數學,從包含 個元素的集合中選取 個元素的組合數 (不考慮次序),記為 ,稱為二項式係數 (binomial coefficient)。我們先推導 的計算公式。設想有 個人在排隊買電影票,我們可以從 個人中選一人排在第一個位置,再從剩下的 個人裡選一人排在第二個位置,餘此類推,共有 種排列方式。再考慮第二種算法。電影院為鼓勵大眾及早排隊購票,特意準備了 張椅子,,供給排在最前面的 個人歇坐。針對這個情況,從 個人中選取 個人進入歇坐區有 種方式,歇坐區內的 個人有 種排列方式,歇坐區外的 個人有 種排列方式,因此 個人排隊共有 種排列方式。合併上面兩個結果,即得 , 並定義邊界條件 。根據對稱性,。 問題1:你邀請 位好友參加生日宴會,至少有一人出席生日宴會的來賓組合共有多少種? 因為至少有一個人出席派對,出席來賓的組合方式有 。 問題2:投擲一枚公正硬幣 次,出現至少一次正面的機率 (概率) 是多少? 出現 次反面的機率是 ,所以出現至少一次正面的機率是 … Continue reading
常態分布與二次型
本文的閱讀等級:中級 服從多變量常態分布 (normal distribution) 的隨機向量 (隨機變數組成的向量) 的機率密度函數完全由平均數向量 和共變異數矩陣 決定,記為 。若 ,我們說隨機向量 服從標準多變量常態分布,其中隨機變數 相互獨立。本文討論具多變量常態分布的隨機向量所構成的二次型 ,其中 是實對稱矩陣,並引介一個重要的統計分布──卡方分布 (chi-squared distribution)。本文的預備知識包括 (見“多變量常態分布”): 期望值 是線性算子,共變異數矩陣 是半正定 (對稱) 矩陣。 服從常態分布的隨機向量的仿射變換 (affine transformation) 也為常態分布。令 為一 維隨機向量,且 。若 ,其中 是 階常數矩陣, 是 維常數向量,則 ,即 且 。 令 和 … Continue reading
多變量常態分布的最大似然估計
本文的閱讀等級:中級 令 為 維連續型隨機向量。若 服從 (非退化) 多變量常態分布,則機率 (概率) 密度函數完全由 維平均數向量 和 階共變異數矩陣 決定,如下: , 其中 (見“共變異數矩陣與常態分布”)。英國統計學家費雪 (Ronald Fisher) 認為機率分布只是一個抽象的數學模型,而我們所蒐集的數據僅能用來估計機率分布的參數。給定一筆取自常態分布的隨機樣本 ,如何估計模型參數,即平均數向量 和共變異數矩陣 ?本文介紹費雪提出的參數估計法,稱為最大似然估計 (maximum likelihood estimation)。根據共變異數矩陣的最大似然估計,我們引進皮爾生 (Pearson) 相關係數,並討論平均數向量的最大似然估計的分布。
回歸均值
本文的閱讀等級:初級 《聖經》創世紀41(17-32)記載約瑟為法老解夢的故事。 法老對約瑟說:「我夢見我站在河邊,有七隻母牛從河裡上來,又肥壯又美好,在蘆荻中吃草。隨後又有七隻母牛上來,又軟弱又醜陋又乾瘦,在埃及遍地我沒有見過這樣不好的。這又乾瘦又醜陋的母牛吃盡了那以先的七隻肥母牛,吃了以後卻看不出是吃了,那醜陋的樣子仍舊和先前一樣。我就醒了。我又夢見一棵麥子,長了七個穗子,又飽滿又佳美。隨後又長了七個穗子,枯槁細弱,被東風吹焦了。這些細弱的穗子吞了那七個佳美的穗子。我將這夢告訴了術士,卻沒有人能給我解說。」 約瑟對法老說:「法老的夢乃是一個,神已將所要做的事指示法老了。七隻好母牛是七年,七個好穗子也是七年。這夢乃是一個。那隨後上來的七隻又乾瘦又醜陋的母牛是七年,那七個虛空、被東風吹焦的穗子也是七年,都是七個荒年。這就是我對法老所說,神已將所要做的事顯明給法老了。埃及遍地必來七個大豐年,隨後又要來七個荒年,甚至埃及地都忘了先前的豐收,全地必被饑荒所滅。因那以後的饑荒甚大,便不覺得先前的豐收了。至於法老兩回做夢,是因神命定這事,而且必速速成就。」 從古至今,世上每一個文明總會對「好景難常在,過眼韶華如箭」發出無奈的感嘆。然而,我們也都相信「柳暗花明又一村」,事情終有好轉的一天。「樂極生悲」和「否極泰來」真的是大自然的定則嗎?