「SafeTest」がすごい ー Netflix内で利用されている、新しいフロントエンドテストライブラリ
cifar10 で Test Time Augmentation (TTA) の実験 - Qiita
Deep Learning の、特に画像分類系のタスクでよく使用される、 Test Time Augmentation (TTA) という Augmentation の手法を友人 (@hattan0523) に聞いたので、実際変わるものかと思ってカジュアルに試してみました。 なんかコンペとかでは必須らしい。 ※ 間違いなどご指摘歓迎です。 Test Time Augmentation (TTA) とは 機械学習、特に Deep Learning では、大きなモデルを学習させるためにたくさんの訓練データが必要になります。 データが増えるほど精度が上がったり、複雑なモデルも学習できるようになることが知られています。 そこで、訓練用データを少し加工し別のデータとしてデータセットに加えることで、学習に使えるデータの量を増やす試みがよく行われており、 Data Augmentation と呼ばれます
外注で初期開発したシステムを内製化するためにやったこと
この記事は FastDOCTOR After Advent Calendar 27日の記事です。 はじめに ファストドクター株式会社でテックリードをしている shirauix と申します。 弊社では、ある Next.js アプリケーションを別会社のパートナーさんに外注することによって初期開発を行いました。ある時点からこのシステムを内製化することになったのですが、それにあたって多くの課題を解決する必要がありました。 この記事では、外注と内製のそれぞれのメリット・デメリットや、内製に切り替える際にどんな苦労があったのかについての赤裸々な事例をご紹介します。 対象となる読者 外注で初期開発したシステムを内製に切り替えてメンテナンスしようとしているエンジニアの方 新しくシステムを開発したいが、外注と内製のどちらを選択すべきか悩んでいる方 外注と内製の違い 外注するか内製するかはあくまで手段の話であ
RAG評価ツールの "RAGAS" を使って、RAGパイプラインの性能を測定する - Qiita
はじめに こんにちは、KDDIアジャイル開発センターのはしもと（仮名）です。 LLMで何かしたい勢のみなさま、検索拡張生成こと RAG (Retrieval Augmented Generation)、やってますか？ 自社で持っているデータを使ってエンタープライズサーチを実現したい、それができればきっと無敵。そう考えて色々やろうとしているんじゃないでしょうか。私です。 RAGを使って意図した出力を得られるようにするには、十分なデータセットを準備したりパラメータを変更しながらチューニングをするなど、地道な作業が必要となります。 開発ライフサイクルにおける評価・テストステップで有効な、評価用フレームワーク RAGAS を使ってみましたので、本記事ではそれについてまとめます。 RAGASとは RAGパイプラインを評価/テストするためのフレームワークです。 パイプラインを構築するためのツールは多く
ブラウザ自動操作API入門: WebDriver APIとChrome DevTools Protocol(CDP)
ウェブブラウザを自動操作する際には、WebDriverやChrome DevTools Protocol (CDP) などのAPIが広く利用されています。 これらのAPIを基盤に構築された様々なブラウザ自動操作フレームワークが、テスト自動化の分野で重要な役割を果たしています。 例えば、SeleniumやPlaywrightといったフレームワークを利用して、テストの自動化に取り組まれている方もいらっしゃると思います。 私もテスト自動化フレームワークの便利さを享受する一方で、フレームワークを介さずにブラウザを自動操作する方法についての興味がわいてきました。 そこで、この記事ではWebDriverやCDPが提供するAPIを直接利用してブラウザを操作する方法を基礎から探求してみることにしました。 これにより、私たちが普段利用しているフレームワークの背後にある原理を理解し、より深い知見を得ることを目
クリフトンストレングスオンライン才能テスト
自分の強みを活かして最高の人生を送りましょう クリフトンストレングステストを終了した2500万人以上の人たちの一部と出会い、彼らの結果を活用して職場やその他の場所で潜在能力を最大限に引き出します。
マイクロサービスではどんな単位でサービスを分割すればいいか - そこに仁義はあるのか(仮)
最近、マイクロサービスアーキテクチャについて耳にすることが増えていますが、サーバレスのコンテンツと共に語られているケースもあり、「そのサービス単位では分割しすぎなのでは？」とたまに思います。 もちろん、何が正しいかはその現場のコンテキストによるとは思いますが、書籍「マイクロサービスアーキテクチャ」の第3章にサービスの分割についての考え方が記載されており、しっくりくるとても良い内容だったので、それをまとめてみました。 サービス単位を適度に適切に分割することでマイクロサービスの利点をより享受できるようになると思います。まずは、サービス分割のために重要になる概念を説明し、その後、サービス単位をどのように定めるのか記載していきます。 マイクロサービスアーキテクチャ 作者:Sam Newman発売日: 2016/02/26メディア: 単行本（ソフトカバー） 2つの重要な概念 マイクロサービスで優れた
CI/CD方針、テスト・QA方針と連動する三分類ブランチ管理方針で、開発での高品質と高スピードの両立を支える - 千里霧中
最近の開発では、CI/CD、自動テスト、継続的テストが当たり前となっていますが、その影響で、それらのCI/CD方針、テスト方針と、Git等のバージョン管理のブランチ方針をどう連携させるかが、定番の課題になっていると感じています。 今回は、このブランチ方針、CI/CD方針、テスト方針を連携させて、開発の品質とスピードを向上させるアプローチについて解説します。 結論から言うと、要点は以下の二つとなります。 バージョン管理のブランチ方針は、CI/CD方針、テスト・QA方針と不可分であり、連携を考えながら方針立てする必要がある ブランチ方針の工夫で、CI/CD、テスト・QAの開発インフラリソース消費を削減でき、本当に重要なポイントに開発インフラリソースを投入できる。これにより、限られたリソースでの高品質・高スピードの両立を支えられる 背景：開発インフラの進化が全てを解決すると楽観視していた発展期
Testing Language Models (and Prompts) Like We Test Software
Image created by the authors.How can we test applications built with LLMs? In this post we look at the concept of testing applications (or prompts) built with language models, in order to better understand their capabilities and limitations. We focus entirely on testing in this article, but if you are interested in tips for writing better prompts, check out our Art of Prompt Design series (ongoing
[初心者向け]AWS Elastic Beanstalk - Qiita
AWS Elastic Beanstalkについてなるべく難しい言葉を使わずに解説します。 分かりやすくするために一部厳密にいえば違うようなことも書いていますが、 あくまでイメージを捕えるためなので鵜呑みにしないでください。 (一応そういう書き方するところは注釈入れてます。) 1.Elastic Beanstalkとは？ 例えば、「AWS上のサーバ上でWEBアプリケーション動かしたいから環境作ってくれ」 上司からこんな指示が出たとしてやるべきことを全部分かっていて迷わずに準備できるWebアプリケーションエンジニアは全体の何%でしょう。 可用性高めるためにVPCのサブネットに分割して。。。 突然サーバへの負荷が上がった時のためにAutoScallingできるように設定して。。。 エンドユーザが複数あるサーバを認識できるようにElastic Load Balancingの設定をして。。。 物理
![[初心者向け]AWS Elastic Beanstalk - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f60c07c4c615836738a747b41f45b9030e3f802/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU1JTg4JTlEJUU1JUJGJTgzJUU4JTgwJTg1JUU1JTkwJTkxJUUzJTgxJTkxJTVEQVdTJTIwRWxhc3RpYyUyMEJlYW5zdGFsayZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDEzZmJiZTlhZTFiZDA2OGY0NDExZDAxNTE5Zjk1NWM%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5U2hpZyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MTBlZmVlMmNjYmNjY2ZiYmQxZTQwYjk3ZDhhMjU5YzY%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1c1f6ac2f1c6ca1e68b4e9d4100dcfb7)
AIでユニットテストを自動生成。リファクタリング、ドキュメントの生成、バグの検出なども行う「Refraction」登場
AIでユニットテストを自動生成。リファクタリング、ドキュメントの生成、バグの検出なども行う「Refraction」登場 ChatGPTに代表される自然言語やプログラミング言語のコードを理解するAIを用いてコーディングの支援を行うツールがまた新たに登場しました。 Refractionは、示されたコードから自動的にユニットテストを生成するほか、コードのリファクタリング、ドキュメントの生成、バグの検出などを行います。 Updates! https://t.co/9otFTI7nh0 is now https://t.co/MtN5JgnetI. Building out many utilities. You can... Generate unit tests Generate inline documentation Refactor your code Added a $5 / month
Vertexで3ヶ月で作る運用可能なML API基盤 - CADDi Tech Blog
こんにちは。CADDiのAI LabでMLOpsエンジニアをやっている中村遵介です。 MLOpsチームは今から3ヶ月前に立ち上がったばかりの新しいチームなのですが、その前身としてAPI基盤を作っていた時期があったので、そこで得られた知見を書いていこうと思います。 背景 CADDiのAI Labは2021年の12月に立ち上がった今月1才になったばかりの組織です。その若さにも関わらず、日々有用なMLモデルが作成されていっています。 そのような中で、「新しく作ったMLモデルを素早くユーザにデリバリーしたい」という話が上がるようになりました。ここでいうユーザとはCADDi社員や社内システム、公開アプリケーションなどを指します。 そのため、AI Lab内で簡単に使用できるAPI基盤を作成することにしました。具体的には以下の体験を作ることを目指しました。 開発者に提供するAPIデプロイ体験 推論コード
「フロントエンド開発者」の終焉 | POSTD
元記事の著者より：この記事は主に北米文化で私が見たことを反映しています。 誰かに職業をきかれたら、私は「フロントエンド開発者です」と答えます（答えは相手によって変わることもあります）。10年か20年前は、自分の仕事に必然的に伴うものが何なのかは、かなり明瞭でした。インタラクション用にHTMLやCSSを書き、JavaScriptも多少は書いていました。駆け出しの頃、PHPやMySQLの作業に職務の大半を費やしていたとはいえ、フロントエンド開発者として見られる方が好きです（これに関しては、後に詳しく説明します）。この状況は、2010年の初頭に変わり始めました。JavaScriptが、重要で、非常に大きな存在になってきたのです。昨年の初め頃から、たくさんのフロントエンド開発者に会うようになり、あることに気付きました。フロントエンド開発者は、もはや、私が以前から知っているフロントエンド開発者ではな
マイクロソフト「HoloLens」で変わるフォード車のデザイン現場
Ford Motorは車の設計工程を迅速化するため、世界中でMicrosoftの「HoloLens」のテストを開始する。 Fordは過去1年にわたり、米ミシガン州ディアボーンの本社にあるデザインスタジオでHoloLensのパイロット試験を実施していた。同社はそこで、従来式のクレイモデル（粘土模型）とHoloLensのホログラムを組み合わせて、新しい形状、質感、サイズの未来の車両をテストしている。 Fordによると、HoloLensのおかげで、デザイナーやエンジニアが新設計をテストする時間が数週間～数カ月から数分～数時間に短縮できたという。同社は今後、世界中のFordデザイナーにHoloLensを提供していく計画だ。 Fordで車両部品およびシステムエンジニアリング担当バイスプレジデントを務めるJim Holland氏は、声明で次のように述べている。「クレイモデルとホログラムという、古いもの
３秒でわかるSeleniumのつかいかた（Python・ちょっとDjango） - Heppoko Binbo Yarou no Newbie Nikki
2016/09/22 追記 3秒でわかるようになってなかったので追記。 Seleniumとはなにか 自動でブラウザ動かせれるやつ。テストとかにつかえる。 Seleniumのインストール方法 http://www.seleniumhq.org/download/ Chromeでやる場合、chromedriverをダウンロードする https://sites.google.com/a/chromium.org/chromedriver/downloads $ python >>> from selenium import webdriver >>> driver = webdriver.Chrome('chromedriverまでのパスをここに書いてね！') どうやって自動で動かすのか？ 概要 DOMの要素をとって、それを動かす JavaScriptでDOMの要素を取得してうんちゃら〜って書く
上司に「AIをやれ」といわれたら--機械学習プロジェクトで成果を出すために（後編）
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 前編では、機械学習などAIプロジェクトを始めるためにフォーカスする領域や、体制、他部署と連携するべき理由を説明しました。 今回は後編です。 開発フェーズと運用フェーズの両方を視野に入れる 開発フェーズでは「アウトプットの精度が十分か」や「計算速度は十分か」など、実装面での心配事に気を取られます。 しかし、機械学習がビジネスで真に価値を生むためには現場やサービスの中できちんと運用されることが重要です。 機械学習を用いたサービスや機能は、運用や保守が必要になるものもあります。先程の広告収益の例の場合、「性別」と「年齢」を推測するためのモデルを作るためには教師データが必要です。 教師データは、モデルを構築するために必要な正解データであり、ユー
SIについて私が思ったこと。そしてSIerにおけるモダン開発について : 小野和俊のブログ
ひとことで言えば、「レビュー文化は良くない」ということになるだろうか。 Slack導入、そして同時期に開始した服装の自由化、バイモーダルという考え方の浸透、AIやブロックチェーンを活用したPOC等の取り組みによって、SIerとしてのセゾン情報システムズは、社内の雰囲気もずいぶんと変わってきた。 しかし、こうした取り組みだけではどうにもならないものも少なからずあった。 そのひとつは、「悪い報告がしづらい」ことだった。 これは他のSIerでも同様のことが多いのではないかと思うが、問題プロジェクトに認定されると、品質管理部のモニタリングが強化されたり、第三者によるプロジェクト監査が始まったり、経営会議での定期的な報告が求められたり、何をやっているのかとレビューでこっぴどく叩かれたり、、、。 そうした責任感から、遅れをキャッチアップできるよう少しでもがんばろう、と励まし合う中で、それなのに四方から
スタンフォードのコンピュータサイエンスの授業の感想｜Rui Ueyama
いまのところ25単位分（マスター修了に必要な単位数の約半分）の授業を取ったので感想を時系列でちょっとまとめたい。昔のやつは記憶が曖昧になっているけど。 CS243 プログラムの解析と最適化 (2014Q4)要するにコンパイラの最適化の授業。前半はデータフロー解析とかでかなり実用的な感じがしたが、後半は行列計算の命令の依存関係を抽出してベクトル最適化とか、ItaniumみたいにレジスタのたくさんあるCPUでループアンローリングするみたいな話で、実際に役に立つのかはよくわからなかった。 と、そのときは思ったが、巨大な行列の計算はよくあるので、興味を持てなかった僕がダメだっただけかもしれない。 とにかく難易度が高かった。かなりがんばって夜中までやっていたつもりだけどもっと真剣に取り組むべきだったかもしれない。なにせこれが最初の授業だったのでレベル感がよくわかっていなかった。教授がドラゴンブックの
Google Analytics完全連携A/Bテストツール『Google Optimize 無償版』ついにリリース | Ledge.ai
Google『お ま た せ』 ついに来ました。以前Ledgeでも紹介し、リリース予告だけで業界を激震させたABテストツール『Google Optimize』無償版公開です。（ベータ版だけど誰でも使える） とりあえずLedge編集部でソッコー触ってみたので、以下「何ができるのか？」と「どう活用するのか？」のまとめとなります。 できない事って逆に何？至れり尽くせりな無償開放 まずは気になる「何ができるんだっけ？」てとこですが、なんと『有料版とほぼ遜色なし』て感じでした。つまり、以前の記事でお知らせした以下の機能がほぼフル装備状態での無償開放になったようなんです。 ※作れるエクスペリエンス数に制限はあるけれど とりあえずできることリストGoogle Analyticsタグにちょっと加工してURL指定すればOK表示された画面をドラッグ＆ドロップ、直接コード編集でいじってテスト作成変更履歴は全部残
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テスト自動化から、 開発を支える継続的テストへ