Winnyの金子勇さんが考案された機械学習アルゴリズムED法を再現して実装した人がいていま話題になっている。 『Winny』の金子勇さんの失われたED法を求めて…いたら見つかりました https://qiita.com/kanekanekaneko/items/901ee2837401750dfdad いまから書くことは私の記憶頼りなので間違ってたらコメント欄で教えて欲しい。 1998年ごろだと思うのだが、私はWinnyの金子勇さんのホームページの熱心な読者だった。(ページも全部保存してたので私のHDDを漁れば出てくると思うが、すぐには出せない。) Winnyのβ版が発表されたのが2002年なのでそれよりはずいぶん前である。 当時、金子さんはNekoFightという3D格闘ゲームを公開されていた。そのゲームには、自動的に対戦から学習するAIが搭載されていた。 当時の金子さんのホームページの
以下の文章は、コリイ・ドクトロウの「Google reneged on the monopolistic bargain」という記事を翻訳したものである。 Pluralistic 驚くべきことに、かつてAltavistaやYahooをふっと飛ばし、魔法の検索ツールで世界を驚かせたGoogleが、突如クソの山になってしまった。 Googleの検索結果はひどいものだ。ページの上部はスパム、詐欺、広告だらけだ。始末に終えないのは、その広告も詐欺だらけなのだ。時には、資金力のある敵対者がGoogleを出し抜いて大金を稼ごうと大掛かりな詐欺が試みることもある。 https://www.nbcnews.com/tech/tech-news/phone-numbers-airlines-listed-google-directed-scammers-rcna94766 しかし通常、こうした詐欺を働くのは
![かくしてGoogleはスパマーに敗北した | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/a3e1fdf42c7dd4fc729644f9cd286ef877f95066/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoog-sleeping-watchdog.jpg)
インタビュー記事はこちら https://www.piratewires.com/p/interview-with-jack-dorsey-mike-solana GIGAZINEはBlueskyのかなり初期から分散SNSを追っていて他のメディアより比較的コンテキストがわかっていると思いますが、今回は是非元になったインタビュー記事を読んでほしいです。SNSと言論の自由、検閲について興味があるなら特に 私とBlueskyそれでお前は誰やねんって話なので、ちょっと自己紹介します 多分bsky.appの日本人だと一番古いか、三番目くらいに古いユーザーで、多分世界初のBlueskyのサードパーティサーバー（PDS）のboobee.blueを運営しています。 その時の記事はこれ https://note.com/kingyosun/n/n45d3b1ff89bf 上の記事のときは「プロトコルはマジで
グラフィック系の開発者であるニキータ・リシッツァ氏が、「自身のプロダクトのあらゆる場所で使用している」と述べるお気に入りのテクニックである「指数平滑法」について解説を投稿しました。 My favourite animation trick: exponential smoothing | lisyarus blog https://lisyarus.github.io/blog/programming/2023/02/21/exponential-smoothing.html リシッツァ氏は下図のようなトグルボタンを例に解説を行っています。クリックすると「オン」「オフ」が切り替わります。まだアニメーションを何も設置しておらず、トグルボタンは左端と右端を瞬間移動しています。 機能的にはアニメーションが設定されていなくとも問題はないのですが、アニメーションを設定することでユーザーは何が起こって
この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
将棋AIで用いている詰将棋ルーチンにdf-pnというアルゴリズムがある。 これは、proof number(証明数)、disproof number(非証明数)を用いて効率的に探索を行い、その局面が詰むか、詰まないかを判定できるとても強力なアルゴリズムである。 将棋ファンなら『脊尾詰』と言う「ミクロコスモス」(1525手詰)を解く詰将棋専用ソフトについて一度ぐらいは聞いたことぐらいあるだろう。これは、脊尾さんが大学時代に作成されたプログラムである。そこに使われていたのが脊尾さんが考案されたdf-pnというアルゴリズムである。 df-pnに関しては、脊尾さん自身の論文(1998年)があるものの、要点しか書かれておらず、いまのようにGitHubにソースコードがあるわけでもなく、その詳細については長らく謎に包まれたままであった。(この脊尾さんの論文では、証明数のみを用いており、非証明数は陽には出
実務につなげる数理最適化
はじめに はじめまして、2023年10月にシニアリサーチャーとして入社したアドバンスドテクノロジーラボ（ATL）の梅谷俊治です。2023年9月まで、大阪大学大学院情報科学研究科にて数理最適化寄附講座教授を務めていました。 本記事では、リクルートのデータ推進室における数理最適化を活用した問題解決の取り組みをご紹介します。 数理最適化は、与えられた制約条件の下で、目的関数を最小（もしくは最大）にする最適化問題を通じて、現代社会における意思決定や問題解決を実現する数理技術の一つです。 近年では、機械学習によるデータ分析や予測の技術開発が進み次々と実用化されています。数理最適化は、それらのデータ分析や予測の結果を踏まえた上で意思決定や計画策定を実現する問題解決における出口を担当する技術です。例えば、オンライン広告などカスタマーに商品を推薦するレコメンデーションでは、機械学習を活用してカスタマーの商
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
はじめに @pocokhc(ちぃがぅ)さんが、金子勇さんのED法を実装してMNISTの学習に成功しました。 金子勇さんの失われたED法 金子勇さんの失われたED法発掘の経緯 ここではちぃがぅさんのコードを元に、ED法をシンプルに解説していきたいと思います。 ED法をわかりやすく解説するため、今入力を(1,0)としたとき(0)を推論するXOR問題を考えてみましょう。 ED法の場合, 入力、重みともに正負(p,n)２つ分の変数を用意する必要があります。 例えば 入力を(1,0)とすると 1 (p) ,1 (n), 0 (p), 0 (n) の4つとバイアス分の2つの p n が必要です。 また, 3層構造として中間層のニューロンをp, n 2つのみとします。 中間層のニューロンを２つとしたときは、 p, n の２つと, バイアス用のp, n の２つが必要です。 中間層のニューロン各々は、そのニ
【JS体操】JavaScript で頭の体操をしよう！〜第一問 44文字 解説編〜 - KAYAC engineers' blog
こんにちは！カヤック面白プロデュース事業部のおばらです。 普段は受託案件、特にインタラクティブな WebGL や Canvas2D を駆使する案件のデザイン＆実装を担当しています。 先日出題したJS体操 第一問目、挑戦してくださったみなさまありがとうございました！ 早速ですが最短文字数の回答は 44文字 でした！ export default x=>x-(x%=.2)+.2-(.04-x*x)**.5 みごと44文字を達成した方は、 halwhite さん koyama41 さん sugyan さん tkihira さん たつけん さん の5名！（※ Unicode コードポイント順） おめでとうございます！！ 最短文字数を狙った正統派の回答以外にも、裏技的な面白アプローチがたくさんありました笑 このアプローチは面白い、ぜひ紹介したい！という回答がいくつかあったので、解説記事は2回に分けて
【特別取材】「ストリーミングで日本の音楽市場はまだ伸びる」日本上陸したBelieveシルヴァン・ドランジェ氏が語る | Musicman
世界の音楽市場でDXを進めてきたBelieveが日本に上陸した。TuneCoreの親会社でもあるBelieveはフランスに本社を置き、パリのユーロネクストに上場している世界有数のデジタル音楽企業だ。年間1400億円 (8億8000万ユーロ) 以上の売上を持ち、国によっては世界的なメジャー企業に比肩、あるいはそれ以上の売上シェアを達成している。 アジア太平洋地域を統括するシルヴァン・ドランジェ氏にインタビューしたが、今や同社はアーティスト育成とデジタル・マーケティングの専門家へと変貌を遂げ、音楽産業の成長に欠かせない存在になりつつあるのが見えてきた。 （インタビュアー：Musicman編集長 榎本幹朗 取材日：2024年3月13日） シルヴァン・ドランジェ（Sylvain Delange） Believeアジア太平洋地区社長。フランス生まれ。2013年初めにBelieveに入社して以来、アジ
Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ
「アルゴリズム」という言葉の由来は？
アルゴリズムという言葉はGoogle検索やSNSでの分析や、特定のタスクを実行して処理するプログラム、人工知能の開発などで私たちの生活に不可欠です。だれもが聞いたことある「アルゴリズム(Algorithm)」というワードがどこから来たのかという由来と歴史について、メルボルン大学でデジタルヘルスの研究員を務めるデビー・パッシー氏が解説しています。 Why are algorithms called algorithms? A brief history of the Persian polymath you’ve likely never heard of https://theconversation.com/why-are-algorithms-called-algorithms-a-brief-history-of-the-persian-polymath-youve-likely-n
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成DeepLearningPyTorch活性化関数誤差逆伝播法ED法 追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。 また最後にニューロンが正・負どちらに発火しているのか可視化したチャートも追加しました。 初めに 誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差拡散法はとても衝撃的でした。 しかし、誤差拡散法は現在広く使用されているニューラルネットワークのアーキテクチャとは互換性がないため、 今すでに利用されているニューラルネットワークに興奮性、抑制性ニューロンのアイデアを直接反映できません。 そのため、今の誤差逆伝播法の範囲内
はじめに 先日以下の記事が話題となり、とてもワクワクしたので自分も実装して色々実験してみました。 実装するうちに理解が深まったので一度、 誤差拡散法の元ネタ紹介から 数式の解説、 ED法の弱点、 行列計算を使用した実装と簡単なテスト結果、 実装上の工夫 までまとめてみたいと思います。 誤差拡散（Error Diffusion）法 もともとは画像の2値化において失われる情報を周囲のピクセルで補うことで、遠目に元の画像の濃淡が残っているように見せる技術（ハーフトーン処理の一種）です。 Error diffusion -Wikipedia（英語版） 左の画像をちょうど半分の明るさをしきい値として2値化すると中央の画像のようになりますが、誤差拡散法を適用すると2値化後も右の画像のようにある程度濃淡を保存・表現できます。 誤差拡散法（画像処理）のサンプルコード コメントアウト箇所はFloyd, St
12.6. B-Trees — CS3 Data Structures & Algorithms
12.6.1. B-Trees¶ This module presents the B-tree. B-trees are usually attributed to R. Bayer and E. McCreight who described the B-tree in a 1972 paper. By 1979, B-trees had replaced virtually all large-file access methods other than hashing. B-trees, or some variant of B-trees, are the standard file organization for applications requiring insertion, deletion, and key range searches. They are used
For this second post in Zed Decoded, our blog & video series in which we're taking a closer look at how Zed is built, I've talked to Zed's three co-founders — Nathan, Max, Antonio — about the data structure at the heart of Zed: the rope. Companion Video: Rope & SumTree This post comes with a 1hr companion video, in which Thorsten, Nathan, Antonio, and Max use Zed to look at how Zed uses the Rope a
By Francesco Bertolaccini You’ve reached computer programming nirvana. Your journey has led you down many paths, including believing that God wrote the universe in LISP, but now the truth is clear in your mind: every problem can be solved by writing one more compiler. It’s true. Even our soon-to-be artificially intelligent overlords are nothing but compilers, just as the legends foretold. That sma
以下の記事が面白かったので、簡単にまとめました。 ・Evolutionary Model Merging For All 1. 進化的モデルマージ「Sakana.ai」は約1か月前、「進化的モデルマージ」に関する論文を発表し、大きな話題を呼びました。 「進化的モデルマージ」を使用すると、マージで特定のコンピテンシーや資質をターゲットにすることができます。これがないと、モデルマージは手動の探索プロセスになります。数十回のマージを試し、それらを手動で評価し、マージパラメータが最終モデルの性能にどのように関連するか頭の中で考え出そうとすることになります。「進化的モデルマージ」を使用すると、どのような性質を持たせたいかを指定でき、最適化がそれを処理します。 「mergekit」では、この「進化的モデルマージ」を利用できます。 2. ハードウェア要件7Bモデル の場合は 24GB のVRAMで十分で
Flow field pathfinding
You may know me for my interactive tutorials. But before that, I was writing visual but non-interactive tutorials. In particular, there wasn't a lot of information about A* on the web, so I decided to collect all my notes about pathfinding together in one place in the 1990s. But then in the 2010s I started making interactive pages. The newer pages are narrower in scope; I covered a broader set of
Visualizing algorithms for rate limitingMay 15, 2024Why rate limit?Imagine a Twitch chat with many active participants and just one spammer. Without rate limiting, the sole spammer can easily dominate the entire conversation. With rate limiting, each user has a fair chance to participate. A rate limiter lets you control the rate of traffic that your service processes by blocking requests that exce
GitHub - facebookresearch/searchformer: Official codebase for the paper "Beyond A* Better Planning with Transformers via Search Dynamics Bootstrapping".
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
githublog/2024/5/10/cordic.md at main · francisrstokes/githublog
This post is an adaptation of a twitter thread I put together a few days ago. CORDIC is an algorithm for computing trig functions like sin, cos, tan etc on low powered hardware, without an FPU (i.e. no floating point) or expensive lookup tables. In fact, it reduces these complex functions to simple additions and bit shifts. I'll cut right to the chase and tell you why I love this algorithm so much
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Winnyの金子さんのED法について | やねうら王 公式サイト
かくしてGoogleはスパマーに敗北した | p2ptk[.]org
ジャック・ドーシーがBlueskyを辞めた理由をもうちょい詳しくエスパーする｜KingYoSun
アニメーションをスムーズに見せるためのテクニック「指数平滑法」とはどんなものなのか？
GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning
僕たちがグラフニューラルネットワークを学ぶ理由
詰将棋アルゴリズムdf-pnのすべて | やねうら王 公式サイト
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
金子勇さんのED法のシンプルな解説を試みた - Qiita
LEIA: 言語間転移学習でLLMを賢くする新しい方法
金子勇さんのED法の解説と弱点、行列積を使用した効率的な実装 - Qiita
Zed Decoded: Rope & SumTree - Zed Blog
The life and times of an Abstract Syntax Tree
mergekit-evolve による 進化的モデルマージ｜npaka
rate limiter – smudge.ai blog