Home

這篇介紹一下常常聽到的BERT是怎麼樣運作的。

這篇記錄一下我在terminal裡面常使用的一些小工具們。

這篇簡單介紹一下赫赫有名的ELMo，其源自於Deep contextualized word representation這篇paper。

這篇文章想要簡介一下被廣泛使用的Transformer是什麼。

這邊記錄一下我目前所使用的Vim plugin以及它們的功能。

稍微講一下Machine Learning當中經常被使用的gradient descent的概念以及調整learning rate的方法。

這篇paper想要去尋找一個最佳的初始化參數，讓model可以在各個task上都可以得到不錯的表現。

通常在訓練的時候，如果能有一些輔助的任務(task)，通常會對主要的任務在效能上有所提升，然而這些輔助任務的答案通常會需要人類來標注，並不能隨意的想加輔助任務就加輔助任務，而這篇文章要介紹的NeurIPS 2019的Self-Supervised Generalisation with Meta Auxiliary Learning，將輔助任務的答案都用機器來產生，免去了準備輔助任務答案的麻煩。