What I learned from looking at 200 machine learning tools
[Twitter thread, Hacker News discussion] Click here to see the new version of this list with an interactive chart (updated December 30, 2020). To better understand the landscape of available tools for machine learning production, I decided to look up every AI/ML tool I could find. The resources I used include: Full stack deep learning LF AI Foundation landscape AI Data Landscape Various lists of t
データエンジニア界隈で話題のdbt（data build tool）のまとめ - Qiita
概要 データエンジニア界隈で話題となってきたdbtに関する調査内容を共有します。 OSS版のdbtでも機能が充実しており、データエンジニアの方には一部の機能の利用だけでも価値があるツールです。 必要に応じて、この記事を更新します。 dbt（Data Build Tool）とは dbtとはData Build Toolの略であり、dbt Labs社が開発しているデータ連携のELTにおけるT（データストア内でのデータ変換）の実施をサポートするツールです。 機能をざっくり整理すると下記のものがあり、SQL文のコンポーネント化やドキュメントの自動生成に特異性があります。 有償版であるdbt cloudとOSS版であるdbt Coreがあります。dbt cloudにて、developer版という個人検証用の無償ライセンスもあるので、とりあえず触りたい方はこちらがおすすめです。 引用元：dbt Pri
OSS 観光名所を貼るスレ - ぽ靴な缶
これは はてなエンジニアアドベントカレンダー2023 2日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita トップバッターは緊張するけど、順番が回ってくるまで長い間ソワソワするのも嫌、という理由で例年2日目を狙うようにしている id:pokutuna です。今年も成功しました。 観光名所とは 目を閉じれば思い出す、あのコード... あの Issue... あなたが Web 系のエンジニアであれ、趣味で開発している方であれ、必要に応じてライブラリやフレームワークのコードを読むのはよくあることでしょう。公開の場で開発されているソフトウェアは、ソースコードだけでなく、開発コミュニティでの議論やバグ報告なども見ることができます。 リポ
AutoGen - Qiita
はじめに 今回はAutoGenの紹介になります．AutoGenはMicorsoftが開発しているOSSで，LLM，ツール，人間を統合できるLLMフレームワークや最適なコストで推論能力を向上させるチューニングの機能などがあります．また様々なシチュエーションに対応できるようなLLMを使ったフレームワークも紹介されていました．複数のエージェント間のチャット、コードを介してツールを使用する必要があるタスクの実行、人間のフィードバックを受けながらタスクを実行させることなどができるそうです． 記事に誤り等ありましたらご指摘いただけますと幸いです。 1. AutoGen 2. 使い方 3. おわりに 4. 参考文献 1. AutoGen ライセンス:CC-BY-4.0 LICENSE，MIT LICENSE-CODE (ドキュメントやデータがCC-BY-4.0でコードがMITライセンスという解釈で正しい
IFTTTやZapierのようなワークフロー自動化OSSのn8nをECS on Fargate上に建ててみた | DevelopersIO
こんにちは、臼田です。 みなさん、業務の自動化してますか？(挨拶 今回は少し前に話題になったワークフロー自動化OSSのn8nを触ってみたいと思います。 n8n IFTTTやZapierのようなサービスを自前で構築して使用できるオープンソースn8n このツールはnpmでインストールして使うことが出来ますが、dockerイメージも用意されていたのでECS on Fargateでやってみたいなーと思ったのでやってみます。ちなみに私はECS初心者です。なのでついでにECSやFargateを初めて触る人でも最低限同じように環境構築できるように意識してまとめてみます。 n8nとは n8nについてもう少し説明します。 先述しましたがn8nはオープンソースのワークフロー自動化ツールです。何かの動作をトリガーにアクションが始まり、条件分岐などをしながら次のアクションを実行できます。下記のイメージ図がわかりや
なぜ脱OSSが増えているのか？
はじめに TerraformやVaultを開発するHashiCorpは自社製品をOSSのMPL(Mozilla Public License v2.0) から、ソースコードは公開するも一部の利用に制限があるBSL(Business Source License) への変更をアナウンスしました。 これは2018年のRedisを皮切りにMongoDBやCockroachDB、ElasticSearchなど多くのプロダクトで進められている脱OSSの流れです。商用のオープンソース[1]と言われてしまうこともある最近のこの動きの理由は何故なのか？ という点を以下の動画で解説しました。 動画中では尺の都合で端折った個所も多いので、こちらの記事の方にもまとめておきたいと思います。 OSSとは？ OSSの定義 まず、OSS（オープンソース）とはなんでしょうか？ これはRMSのフリーソフトウェアを源流とする
Microsoft が LLM をアプリ開発に統合するための OSS「Semantic Kernel」を発表 - Qiita
Semantic Kernel (SK) は Microsoft が OSS として発表した、大規模言語モデル (LLM) をアプリにすばやく簡単に統合できる SDK です。SK は従来のプログラミング言語と最新のLLM AI "プロンプト" を簡単に組み合わせることができ、テンプレート化、チェーン化、埋め込みベースのメモリー、およびプランニング機能を備えています。 機能的には、LangChain や LlamaIndex に似たような機能を持っているライブラリです。現状は C# 向けにリリースされています。4/17 に Python 版 もリリースとなりました。ただし機能は部分的な実装である点にご注意ください。(FEATURE MATRIX) 6/23 Semantic Kernel が Copilot stack との連携を明確化しプラグインエコシステムと統合 Semantic Ker
StableStudio で Stable Diffusion の UI をぺろっと用意する
Stable Diffusion 代行業したいけど UI(フロントエンド)どうしよ... ローカルで Stable Diffusion したいけど, stable-diffusion-webui https://github.com/AUTOMATIC1111/stable-diffusion-webui はデザインがイマイチ... 最新モデルとか使えて機能はいいんやけどね... Gradle がイマイチよのう... StableDiffusion の OSS UI は以前調べて, Stable Diffusion 系動かすときの OSS GUI app のメモ あんまりいいのが無いから自作すっぺかな... と思っていたところ, ちょうどいいタイミングで(?), DreamStudio の OSS 版 Stable Studio が公開されました! デザインいい感じやね. MIT ライセン
OSSベクトルDBのChromaを使ってQ&AボットをLangChainで作成する｜mah_lab / 西見 公宏
新興で勢いのあるベクトルDBにChromaというOSSがあり、オンメモリのベクトルDBとして気軽に試せます。 LangChainやLlamaIndexとのインテグレーションがウリのOSSですが、今回は単純にベクトルDBとして使う感じで試してみました。 データをChromaに登録する今回はLangChainのドキュメントをChromaに登録し、LangChainのQ&Aができるようなボットを作成しようと思います。 しかしLangChainのドキュメントはほとんどがJupyter Notebook形式なので、ベクトルDBへ取り込みやすいようにフラットテキストにしてあげる必要があります。 以下の関数はJupyter Notebook形式（JSON）のファイルを分解してMarkdown形式に変換し、その後Unstructured.ioのMarkdownスプリッタを利用してコンテンツをチャンクに分割
ChatGPTのOSS代替「Open Assistant」とは？ “ただの複製”ではない理由
関連キーワード コミュニケーション オープンソースソフトウェア（OSS）の「Open Assistant」は、ビジネスユーザーおよび開発者向けの「ChatGPT」の代替を狙う。ChatGPTは、人工知能（AI）ベンダーOpenAIが開発した、自然なやりとりをするチャットbotだ。 「Open Assistant」とは？ “OSS版ChatGPT”で終わらない訳 併せて読みたいお薦め記事 「ChatGPT」は開発者を不要にするか 衝撃の「ChatGPT」 その可能性と“限界”とは？ ChatGPTが宣告 「プログラマーはコーディングさえできればよい」時代の終わり 「Open Assistantによって、言語におけるイノベーションを生み出したい」と、Open Assistantの開発チームは考えている。具体的には自然言語を使って、人とコンピュータのスムーズな対話の実現を目指す。2022年に登場
MLOpsの概要と機械学習モデルのサービングシステム - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに 機械学習システムを継続的に運用するための取り組みとしてMLOps (Machine Learning Operations)が注目を集めています。MLOpsの運用サイクルの1ステップとして、機械学習を利用したいシステムに対して、機械学習モデルを用いた予測機能を提供するサービング（Serving）があります。 サービングは、データサイエンティストが作成した機械学習モデルを本番環境へ導入する際に、必ず求められる要件です。本投稿では、機械学習システムの全体像とサービングの位置づけ、およびサービングシステムの構成を紹介します。 機械学習システムの全体像 MLOpsを考慮した機械学習システムの例を以下の図に示します。 図の機械学習システムは、下記5つのサブシステムから構成されます。 1. データ整備システム データ整備システムでは、機械学習に必要な
Sapling: Source control that’s user-friendly and scalable
Sapling is a new Git-compatible source control client. Sapling emphasizes usability while also scaling to the largest repositories in the world. ReviewStack is a demonstration code review UI for GitHub pull requests that integrates with Sapling to make reviewing stacks of commits easy. You can get started using Sapling today. Source control is one of the most important tools for modern developers,
「世界最速」機械学習技術、ヤフーがOSSで公開
ヤフーは11月15日、数十万の選択肢の中から適切な解を、世界最速・高精度に予測するという機械学習技術「AnnexML」（アネックスエムエル）を開発し、オープンソースソフト（OSS）としてGitHubに公開した。 ユーザーのサービス利用情報などビッグデータと、そのユーザーがクリックした広告などの数十万の選択肢との組み合わせを効率的に学習でき、「サービス利用情報のあるユーザーに対して、どの広告がクリックされやすいか」といった有力な候補の組み合わせを世界最速・高精度に予測するという。 テキストや画像、商品データ、ユーザーデータなど、複数の特徴を持つ高次元データを、大量のデータベースの中から高速に検索・特定できる技術「NGT」（OSSで公開済み）も活用。項目数を数十に圧縮したビッグデータをグラフ構造に整理・学習することで、高い予測精度と高速化を両立させた。 同種のビッグデータ分類技術と比較したとこ
Ayo.js について - from scratch
Ayo.js とは 「Node.js の fork です。」と言ってもまだできたばかりで正直このタイミングで記事にしてもまだ語ることはそんなに多くないです。 ただし、JavaScript界隈が騒ぎになりかけていることは確かです。日本でも発言が増えてきたので自分なりにまとめて今時点での話をしようと思います。 ちなみに読み方は好きに読んでくれ、と言われてます。 「アイ・オー」でもいいし、「エイ・ヨー」でも良いとのことです。ネーミング的には昔あった io.js fork騒動を想起させるネーミングになってます。もしも io.js についてご存じない方もいるのであれば、こちらをご参照ください。 yosuke-furukawa.hatenablog.com Ayo.js の目的 https://github.com/ayojs/ayo/blob/zkat/values/VALUES.md ここを見ると
#職務経歴書OSS化 の問題点とか - おうさまのみみはロバのみみ
概要 昨年10月末に前職を退職してから就職活動をしてきたのだけどもその際に職務経歴書をgithub上で公開するという手法を採用させてもらった。 職務経歴書OSS化については→職務経歴書をGitHubに公開するのはいいぞ #職務経歴書 実際に就職活動、転職活動を通して感じた問題点などを列挙しておこうと思う。 あくまでもぼく基準の問題点なので人によってはそれは問題にならない、と感じる人もいると思う。 その辺は適当に読み解いて欲しい。 メリット 話しのタネになる 目新しいから&業界的に受け入れてもらいやすいからだと思うがだいたい好意的に解釈してもらえた。 「効率がいい」「個人情報を応募企業側で持たなくていい」「エンジニアらしい」などなど割りと好評を得た。 正直これのメリットは先行者利益的なところだと思っているので普及してしまえば意味がなくなるかも。 お金がかからない ちょっとしたことだけど履歴書
OSS（オープンソース・ソフトウェア）鳥瞰図2017年版【第1回】 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ OSS ＞ OSSを理解する ＞ OSS（オープンソース・ソフトウェア）鳥瞰図2017年版【第1回】 OSS OSS記事一覧へ [OSSを理解する] OSS（オープンソース・ソフトウェア）鳥瞰図2017年版【第1回】 2017年2月15日(水)高橋 千恵子（日本OSS推進フォーラムクラウド技術部会長） リスト 本誌は2012年5月にオープンソースソフトウェア（OSS）のカオスマップ「OSS鳥瞰図」を作成・公開した。様々な分野ごとに多岐にわたるOSSを俯瞰的に把握できるように、という意図である。しかしOSSの進化は急ピッチであり、新たなソフトウェアが次々に生まれている。この点に問題意識を抱いたのが日本OSS推進フォーラム。クラウド技術部会が中心になって、「OSS鳥瞰図」を完全リニューアルする作業を実施した。（IT Leaders編集部）
2017年の抱負 - 僕がOSSを作り続ける理由 - 人間とウェブの未来
確かに、自分が欲しいもの・他者が必要とするものを作りたい、とか、承認欲求を満たしたい、エンジニア・研究者のアピールとして、とかあるんだけど、それらはやっぱりあくまで付加的な理由であって、僕にとっての一番の理由であり根源的な理由は、「面白いから」である。ただそれだけ。誰にも邪魔されない唯一の感情でもある。 コードを書いたり、コードを書くために腕組んで考えたり、他者からのフィードバックを経て試行錯誤しながらOSSを育てていったりすることがとにかく面白いと感じるし、その感覚がこれまでずっと長い間続いている。だからこそ、夜遅くなっても、眠くてしんどくても、なかなかすぐには手を止められないし、明日の用事と向き合いながら、あと少し、4時間寝たらいける、あと少し、と引き伸ばし続け、いずれ朝を迎えてしまう。きっと僕は死ぬまでOSSを書き続けるだろうと思う。 コードを書くことは、きっかけは業務だったり、自分
マーケット情報 | ビットバンクプラス
運営者情報本サイトは、日本最大級暗号資産取引所・販売所「ビットバンク」が運営する、ビットコイン(Bitcoin)、ブロックチェーン、暗号資産(仮想通貨)に関する知識、世界中の最新のトピックス、最先端の技術、プロジェクト、規制、相場など、暗号資産投資のヒントになるお役立ち情報を発信するメディアです。 金融庁のホームページに記載された暗号資産交換業者が取り扱う暗号資産（仮想通貨）は、当該暗号資産交換業者の説明に基づき、 資金決済法上の定義に該当することを確認したものにすぎません。 金融庁・財務局が、これらの暗号資産（仮想通貨）の価値を保証したり、推奨するものではありません。 暗号資産（仮想通貨）は、必ずしも裏付けとなる資産を持つものではありません。暗号資産（仮想通貨）の取引を行う際には、以下の注意点にご留意ください。 ＜暗号資産（仮想通貨）を利用する際の注意点＞暗号資産（仮想通貨）は、日本円や
GitLabへの貢献が転職の役に立った話 - プチ技術メモ
この度、ベンチャー企業に転職することになりました。データ解析の知識はほぼ素人ですが、転職先では実験データの解析などのお仕事をする予定です。我ながら無謀な挑戦ですが、一度きりの人生ですので、今やりたいことに挑戦していきたいと思います。 ちなみに、私は現在３０代半ばで、前職は中小SIerのSEとして約８年働いていました。特に対外的な実績もありません。 一般的に、私のような立場での転職活動はかなり厳しいものと思います。ネットで簡単に調べた情報によると、内定者は平均して24社に応募しているらしいです。さらに自分がやりたい仕事に就ける可能性となると、かなりの幸運に恵まれないと難しいと思います。 ところが、私の場合は応募２社目にして非常にやりがいのある仕事で内定を頂くことができました。 その際、以下の理由によりGitLabへの貢献が転職の役に立ちました。 1. 求める経験として「OSSへの貢献」が挙げ
世界初 メッセンジャーアプリ「Spika」を完全オープンソースで公開、フロントからバックエンドまで提供 【増田 @maskin】 | TechWave（テックウェーブ）
1990年代初頭から記者としてまた起業家としてITスタートアップ業界のハードウェアからソフトウェアの事業創出に関わる。シリコンバレーやEU等でのスタートアップを経験。日本ではネットエイジ等に所属、大手企業の新規事業創出に協力。ブログやSNS、LINEなどの誕生から普及成長までを最前線で見てきた生き字引として注目される。通信キャリアのニュースポータルの創業デスクとして数億PV事業に。世界最大IT系メディア（スペイン）の元日本編集長、World Innovation Lab(WiL)などを経て、現在、スタートアップ支援側の取り組みに注力中。 「Spika」は、完全オープンソース。 iOS版、Android版のソースコードのほか、バックエンドシステム全てがMITライセンスで公開されている。 データベースにはスケーラビリティーとスピードで定評のあるCouchDBを採用。スケーラビリティーを考慮し、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
