データサイエンスに関するyefuのブックマーク (2)

  • OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ

    OpenAIGPT-3の次の研究を始めています. 世間がGPT-3のデモに湧き上がる中,OpenAIはScaling Lawに関する2の論文をひっそりと公開しました. Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです. Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません.実際に英語圏でもあまり話題にあがっていません.しかし,この法則の当の凄さに気づいている研究者もいて,なぜ話題にならないのか困惑しています. I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:

    OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
    yefu
    yefu 2022/02/14
    ディープラーニングの能力は計算資源のスケールに依存して向上し続ける
  • 因果推論の道具箱

    因果推論とは,因果効果を識別するための仮定を満たすような工夫や戦略のことを意味する.因果推論については,すでに膨大な理論と方法が提起されている.ただし,因果推論が必ずしも具体的な方法と対応しているわけではないため,因果推論といった時にイメージする理論と方法は分野間で大きく異なる.稿では,社会科学のみならず様々な分野の視点を考慮し,因果推論の理論と方法を体系的にレビューする.さらに,因果推論の限界と可能性について,今日でも繰り広げられている論争を紹介する.

  • 1