【Transformer誕生の舞台裏】ChatGPTの起源『Attention Is All You Need』

今回はTransformer論文『Attention Is All You Need』誕生のバックストーリーについて話しました。

【目次】

(00:00) 今回のテーマ

(00:29) Transformerとは

(01:15) Transformer論文の8人の著者

(11:17) self-attentionの発案

(13:14) self-attentionをGPUでスケーリング

(17:38) Transformerの汎用性を発見

(20:05) 『Attention Is All You Need』論文の発表\

(20:58) Googleのイノベーションのジレンマ

(22:06) 次回予告

▼ 伊藤 (NanoHuman) が運営中のサービス

SuperIntern: 会議を起点に仕事を自動化するAIエージェント

https://super-intern.com/ja/?utm_source=youtube&utm_medium=social&utm_campaign=kigyorireki_description&utm_content=link

【起業の履歴書について】

起業の履歴書は「AI 🤖」と「スタートアップ 💻」について大袈裟に話すチャンネルです。

ホスト2人の仕事や大学時代について話してる自己紹介動画です。パーソナリティに興味を持ってくださった方はぜひ！

https://www.youtube.com/watch?v=3EKSaVEQFuU

＜ホスト＞

・East Ventures 村上雄也 - https://twitter.com/yu8muraka3

・NanoHuman 伊藤工太郎 - https://twitter.com/etaroid

＜Podcast＞

Spotify - https://open.spotify.com/show/5ryodBEEOn66Wk7H2Sl8zF

Apple - https://podcasts.apple.com/jp/podcast/kigyo-no-rirekisho/id1767313170

【参考文献】

- https://arxiv.org/abs/1706.03762

- https://amzn.asia/d/05qSPxfq

- https://amzn.asia/d/0fQgmpjB

- https://www.youtube.com/watch?v=3K-R4yVjJfU

- https://www.youtube.com/watch?v=_sbFi5gGdRA

- https://www.youtube.com/watch?v=ayBOXv_SFCY

- https://www.youtube.com/watch?v=GqWw8-TdjXU

- https://www.youtube.com/watch?v=DtePicx_kFY

- https://www.youtube.com/watch?v=ACC7c5DYVb4

- https://www.youtube.com/watch?v=aMB8JWgejIw

- https://www.youtube.com/watch?v=QobSLFtBhjg

- https://www.youtube.com/watch?v=SGQysDdJUHg

- https://www.youtube.com/watch?v=wrdiigyw7gA

- https://www.youtube.com/watch?v=Q4_YTXhq7no

- https://www.youtube.com/watch?v=v0gjI__RyCY

【お問い合わせ】

起業の相談やお仕事の依頼は「下記お問い合わせフォーム 📋」または「上記XアカウントのDM 📮」にお送りください！

https://forms.gle/hYZojSEgvqis8Pys5

取り扱って欲しいテーマのリクエストなどもお待ちしております！