打醬油的汗牛馬

深度學習詳解｜台大李宏毅老師機器學習課程精粹(李宏毅)+ 從零建大模型( Build a Large Language Model,Sebastian Raschka)

                         因為OpenClaw成熱門話題,某天Youtube突然推送李宏毅老師講述以OpenClaw為例來講述AI Agent運作觀念的課程影片.結果,龍蝦暫時不養的,反而開始重看李宏毅老師機器學習2021年的課程影片,不過這次,還要一併練習課程相關的15個Python作業,在執行了幾次程式後發現,可能暫時不要用AI Agent比較適合自己.

                         其實這門機器學習課程已經優化過了,更適合大眾,課程一共40堂,雖然以小時數來看不多,但資訊密度還是很高,不太能鬆懈.如果加上助教的補充教學影片,還有課程未精簡之前.一些早期相關課程內容影片,再加上作業的影片,還要跑作業的程式,真正的過程要耗時許久,我目前也只看到剛講完Gan的部分,跑第六個作業,差不多一半,後面剩下部分不打算用現在這種連續看下來的方式,太累,改為一週看個3到4堂內容,最多兩個作業的來方式繼續.

                          這本書"深度學習詳解"其實就是李宏毅老師上課內容的文字化,所以封面上有三個作者名字,附上"著",這應該是錯的,他們三人頂多算是"編",連書裡面的圖片都是上課堂投影片的內容.不過有個書面的東西,不論是紙張還是電子檔,有個參照物,似乎還是習慣這樣上課,單看影片不能記錄寫些什麼有點空,當然這篇不是要寫這個.這門課的Python程式使用Pytorch模組,我過去都用Keras與Tensorflow,可以說完全沒用過Pytorch.加上我已經習慣在Anaconda與Jupyter的環境下在Local執行Python程式,這作業卻是用Colab示範,也就是遠端執行,本來以為沒什麼,想想不就把作業給的程式碼copy到自己的機器上就能Local跑了,結果發現不是這麼容易.

                          因為有幾個與作業相關的資料檔都不小,加上一開始我並不太熟Colab的操作,發現怎麼某個檔案連結不能下載,那時沒注意到其實可以在Kaggle找到.因為不能下載,我就去問Gemini有個下載檔連結失效該如何處理,並把連結附給他.結果Gemini一面回答說這是李宏毅老師課堂作業資料的連結,然後又"說"看到我的Google Drive上有許多某學校的資料,問我是不是打算做什麼...然後最後附上它找到在Kaggle有一份能下載檔案的連結位置.沒錯,它竟然幫我把問題解決了,但是,我卻嚇壞了.我並沒有授權它能搜尋我的Google Drive,更沒叫他做這件事,它竟自己去找,事實上Colab,Gemini與Google Drive才是真正的親戚,我算外人,既然我三個都用上了,還能不被他們親屬之間相互探索?因此我不免思考也許用AI Agent或許不會有什麼資安大問題,但它本質上還是用那些遠端大模型,所以不知道授權該到什麼程度才能避免以上的狀態或更嚴重的勘探,甚至私人資訊流失的可能,唯一的可能就是自己搞個Local端大模型,但這太耗時費力,只好先暫時看看別人養龍蝦的結果,一邊啃如何"從零建大模型"(這本書也是用Pytorch),再等上一段時間吧.

                          當然,跑那些作業程式也是有問題的,原先不用Colab除了習慣外,主要還是不想去買那些可能超出用量的Colab時間.買Token,買顯卡,買Colab,基本上都是同一回事.要Local跑就要買好的機器,遠端執行就要買別人的GPU時間,trad-off其實差不多.但是,這些作業裡面顯然有些還是用Colab跑為佳,一來下載資料檔太大,下載麻煩,自己的機器又沒到極頂,所以最終作業還是都採Colab來執行.2021年作業的程式碼當前執行還是發生一些問題,比如跑classification程式碼被Colab宣告錯誤,原因是因為在creat dataset中,有一行y=y.astype(np.int)在當前版本的編譯上不能用了,正當不知道該如何處理時,這時Gemini的好處又壓過前面對它可能有窺探機率的恐懼,它直接告訴你程式錯誤的原因,是因為版本更新函式庫變更,原來的函式庫不能用,建議將np.int改為np.int64就行了,甚至也不用自己動手改,可以讓它幫你改好再執行.雖然這樣執行程式,比起以前辛苦抓bug半天還不能解決問題,要輕鬆寫意的多,但是,但簡單的執行,讓我有些懷疑這樣真的能記住這些code的真正意思,還是就是該真的讓人放棄自己思考,記憶,與Try and Error這項行為動作的習慣來成就效率呢?!機器學習了,那我又該學習什麼呢?!果然,連續跑程式是不行的,人可以不休息,但Colab用量有限制,所以必須把連續閱讀與coding時間換成定期,終究還是為了配合程式作業的需要啦.

                         李宏毅老師公開的機器學習相關課程不單是佛心,應該說是完整性最值得稱道,它其實包含兩部分.通常我們在市面上買到的關於機器學習,深度學習之類的書籍分作兩大類,一種專講概念,實作幾乎沒有,另一種就完全是程式碼,卻沒有理論邏輯敘事.這兩類書都是缺單邊的.這課程的上課內容影片主講觀念與理論,加上那些程式作業的實作講解,其實兩部分都包含了,就不會有單看影片覺得有點空虛的感覺,偶爾實作,調一下參數跑出各種結果,就當作是玩就行了.以上.