Відео

素晴らしすぎる動画です ありがとうございます

線選んだ後と無造作に選んだ点が選択した線上にある、2点が重なるとか考えたら、わからんくなった

わかりやすい説明ありがとうございます！ トークンの確率分布デコーディングの入力は何ですか？ 質問の仕方がおかしかったらご指摘願います 次の3つの可能性を考えました（一般的にあり得る順で書きました、もしかして、どれでもできそうと思っています） 1 コンテキスト長1000トークンならそれが、アテンションブロック層を経由したすべてのトークン位置の埋め込み 2 コンテキスト長1000トークンならそれが、アテンションブロック層を経由した最後のトークン位置の埋め込み 3 アテンションブロック層を経由した予測する位置にあたるトークン位置の埋め込み

わかりやすい説明ありがとうございます！ トークンの埋め込みとトークンの確率分布へのデコーディングについて以下の質問させてください 質問がおかしかったら無視していただいても平気です 以下の理解でいいでしょうか？ 1 トークンの埋め込み層は、文脈がちがっても同じ埋め込みが作成される？ その場合、IDはvlookupみたいに検索して返される形式がある？ または行列の掛け算で埋め込む？ 2 そうではなく、事前学習時に、埋め込み部分も学習しているので、文脈に応じて違う埋め込みになるでいいでしょうか？ 3 エンコーディングとデコーディングの重みは、特に転置すれば同じになるようなものでなく、全然別物である

わかりやすい説明ありがとうございます！ トークナイザーについて以下の質問させてください １ 文章をトークンに分けてIDを割り振るものをすべてトークナイザーと言える。 なので、名刺は１、形容詞は２と品詞毎にIDを割り当てるだけのものもトークナイザーと言えるという理解でいいでしょうか？ ２ Unigramなどでは、実質的に頻度が低い単語等は同じトークンIDに割り振られる（つまり同じ埋め込みになる）という理解でいいでしょうか？ 　　つまり、世の中のトークンナイザーでかっこう、違う単語が同じトークンIDに割り振られるものが存在する

わかりやすい説明ありがとうございます！ トークンの確率分布デコーディングの入力は何ですか？ 質問の仕方がおかしかったり、意味が不明瞭でしたらご指摘願います 次の3つの可能性を考えました（一般的にあり得る順で書きました、もしかして、どれでもできそうと思っています） 1 コンテキスト長1000トークンならそれが、アテンションブロック層を経由したすべてのトークン位置の埋め込み 2 コンテキスト長1000トークンならそれが、アテンションブロック層を経由した最後のトークン位置の埋め込み 3 アテンションブロック層を経由した予測する位置にあたるトークン位置の埋め込み

これ日本語に翻訳したやつ天才すぎるまじで助かるありがとう！！！lovelove

7:40 この辺の話を代数的処理（積分における変数変換）も使って併せて示せば、係数2πが極座標系から自然と出てくるのが明瞭になるのではないかと思います。実用的な知識にもなるのではないかと思います。

すばらっ

大学で興味あるトポロジー学び初めて、定義だらけで逃げ出しそうだったけど、この動画みてやっぱり自分はこういう類の話が大好きなんだと改めて感じました

😂😂😂😂😂😂リー😂

😂😂😂😂😂😂９点円😂

正しく構造化されたラベル名前なら早く結論に辿り着くってことから、日本語が難しい理由に構造化されていないってことだと思うんだよね。扱いやすくするために名前を付けるんだけど、昔の日本人は島国で井の中の蛙だから遅れている。近年はインターネットによって正しい名前付けが浸透してきたから、変な解釈になる内容は構造化して分類分けされてるんだろうね

ガウスが考えたネイピア数や虚数と素数の関係性にもう一つエッセンスがあれば大きく進展するんだろうなぁ

やっぱ数学は賢くないと理解できませんわｗ 努力だけでは答えにたどり着けないのが数学

世界中の信用がブロックチェーンに変われば、それこそシンギュラリティでんな。 統一貨幣になれば、井の中の蛙は干からびるかもだけど、人類は生物として進化する。

A

マイナスの数字っていうのは数字上だけですよね？実数ではない しかし実数の二乗がマイナスになるのが理解できない

まさかねー．．．日本語で3Blue1Brownがいますか。それはすごいですね！

never knew grant had a jap channel

これどうやってその単語らが「関連がある」って学習するの？セルフアテンションなので入力は自分自身でラベルはないと思いましたが、そこがいまいち不明でした。人間がそれ関連してるよって言ってるのであれば理解できるのですが。。どなたか教えてください。

『伏魔御厨子』は他の者の領域とは異なり結界で空間を分断しない。結界を閉じず生得領域を具現化することはキャンバスを用いず空に絵を描くに等しい正に神業。

「GPU搭載、みんなキロGoogle持ってる多惑星ギガ銀河スーパーコンピュータが宇宙の年齢の37倍計算する」とか言うパワーセンテンスまじで草

サムネが電マの振動みたい

１＋１＝１と認識している 私には理解できない世界。 でも、GPTを知りたいと 思っていたので助かります

翻訳解説とてもありがたいですね。

19:30 なんで雫型‪💧‬なんだ？

難しかったので、自分なりに動画の内容をまとめました。間違っている部分や補足あればコメントお願いします！ 一言でいえば、Attentionは各単語（厳密にはトークン）間の関連度合いに応じて、それぞれのトークンからの意味的な更新を行列の掛け算を用いて実現する機構。ここで掛け算する行列は最初はランダムであり、学習を通してうまく機能するような数値を探すことになる。 もう少し具体的に解説すると、まず、モデルのパラメータの一部となるクエリ行列とキー行列を用いて、各トークン間の関連度合いを内積で計算する。 この関連度合いを0~1に正規化して表にしたものをAttentionパターンという。 その後、Attentionパターンで定義される関連度合いの重み比率に基づいて、モデルのパラメータの一部となるバリュー行列を使って、各トークンの埋め込みベクトルを更新する（= 各トークンに他のトークンからの意味、文脈を取り込む）。 クエリ行列、キー行列、バリュー行列は学習の初期段階においてはほぼランダムな行列だが、学習を繰り返して最適化していくことで、トークンに他のトークンからの意味を関連度合いに応じて取り込み、文脈を含んだトークンのベクトルが生成されるようになる。 ちなみに、ここまでの工程を別の96パターンのキー、クエリ、バリュー行列でも実施することでさらにモデルのパラメータを増やす（ちょうどNNを多層にして精度を上げたように）。 最終的には、もとの文章の一番最後のたった一つのトークンに全文脈が内包され、これをもとに次のトークンの存在確率ベクトルを算出することで次の単語を生成していく（前回の動画）。

翻訳動画をありがとうございました。😀

翻訳動画をありがとうございました！😀

複素関数が曲者だったね。😂解析関数の微分0のところが…一筆書きみたいに繋がってる。🤫

2ヶ月くらい前に見たときまじでちんぷんかんぷんでほぼ何言ってるか分からなくて泣きそうだったのに今日見たら言ってることがすんなり入ってきてちょっとびっくりした。

逆に言えば、人間はこれより複雑な会話ができるってことか。ある意味、ChatGPTのような明快で論理的な回答の方が、複雑な思考ではない気がする。

すごいわかりやすかったです LLMの文脈で言えば、transformerはWord2vecの次元が一つ上がったものという感じなんでしょうか

15:45 ヒトラーを足すとかいうパワーワードで笑ってしまった

これが日本語訳で観れるありがたさ……

こんだけ行列, しかもかなり高次元な行列を何十回も何万回も計算して単語を出すのに数秒くらいしかかかってないの化け物すぎる やっぱGPUの並列計算(?)がつよいからなのか?

素晴らしい！素晴らしすぎますって。 今後は強化学習の分野もやって欲しいです。

わかりやスーイ

要するに頭の悪い人は脳内のバリュー行列の次元が低いってこと？

すごい

今回の内容難しくないか？俺がアホになっただけ？

初心者すぎて、12:00あたりの説明がわからない…… 1文を区切ることで、入力された文章自体を学習の材料に出来ちゃうというのは分かった。 でも、今回の例は形容詞は後に続く名詞を説明しているから大丈夫だけど、後置修飾の場合だったら、後ろのトークンが前に影響を及ぼせるようにしないといけないのでは？ 後置修飾の情報は、どうやって反映されるんだ？

2 ^4294967296は∞になります。 答え？知らねぇよそんなもん！

このバリュー行列って無くてもアテンション機構としては成立しそうな気がしたけど、パラメータスペース作るために入れたら上手く行ったみたいなことなのかな

レイヤーごとのattention計算を通して、徐々に各トークンの埋め込みが別トークンの情報を重み付きで吸収していく感じだよね バニラのtransformerの計算ではattention計算は入力トークン数の2乗オーダーになるからLinear attentionを始めとして別の計算方法だったり、GPUのメモリ割り当て効率化が行われているね

動けばいいだろの精神でネットに転がっているコードいじって使ってたけど、やっぱりGPT関連はえぐいぐらいむずかしいわ。

長い間コンテキストを共有してきた家族は単語に対する結びつきの解釈がすでにパラメータとして調整されているので、少ない会話でコミュニケーションが取れるってことか

AttentionとTransformerはLLMの革命児だよなあ

論文名“Attention is all you need“はかっこよすぎだろ