今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
今時のアプリ開発において、コンテナは避けて通れないものになっています。そして数多くあるコンテナ実行環境の中でも、デファクトスタンダードと言えるのがDockerです。そんなDockerのイメージですが、皆さんは正しくビルドできていますか? そのコンテナは無駄に太っていませんか? 効率よく最短時間でビルドできていますか? セキュリティは大丈夫ですか? 今回はDockerfileの書き方をテーマに、「今さら聞けない」Docker入門をお届けします。
今時のアプリ開発において、コンテナは避けて通れないものになっています。そして数多くあるコンテナ実行環境の中でも、デファクトスタンダードと言えるのがDockerです。そんなDockerのイメージですが、皆さんは正しくビルドできていますか? そのコンテナは無駄に太っていませんか? 効率よく最短時間でビルドできていますか? セキュリティは大丈夫ですか? 今回はDockerfileの書き方をテーマに、「今さら聞けない」Docker入門をお届けします。
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
今回は、最近話題の「Dify」というオープンソースのLLMアプリ開発プラットフォームを使って、簡単にAIアプリを作る方法をご紹介します。 Difyとは何か？Difyは、生成AIツールの開発プラットフォームです。 単一のモデルを使うのではなく、複数のAIモデルやツールを組み合わせることで、特定のタスクに特化した高性能なAIアプリケーションを簡単に作ることができます。 その最大の特徴は、RAG（Retrieval-Augmented Generation）エンジンを搭載していることです。RAGとは、関連する情報を検索・取得し、それを基に高品質な回答を生成する技術です。Difyではこの強力なRAGエンジンにより、幅広い分野でのAI活用が可能となっています。 圧倒的に使いやすいインターフェースDifyのもう一つの大きな魅力は、その使いやすさです。プログラミングの知識がなくても、直感的なGUIでドラ
awslim - Goで実装された高速なAWS CLIの代替品を作った - 酒日記 はてな支店
最初に3行でまとめ AWS CLIは便利です。しかし起動が遅いので、Goで実装された高速な(ただし機能は少ない)代替品を作りました。awslim といいます リリースバイナリは無駄に大きいので、必要な機能だけを組み込んだビルドを簡単にできるようにしてあります。ビルドして使うのがお勧めです どうぞご利用下さい github.com 以下はこれに至るまでの経緯とか、実装や使い方の話とかです。長いです。 作成の経緯 AWSの各種サービスにアクセスするための AWS CLI は、スクリプトやコマンドラインから処理を自動化するために大変便利なツールです。AWSでサーバーサイドの開発、運用している人であれば、ほぼ全員がお世話になっているんじゃないかと思います。 しかし、AWS CLI (コマンド名aws) には「起動が重い」という問題があるなとずっと思っていました。具体的には、aws --versio
Rust言語のための統合開発環境「RustRover」正式リリース、JetBrains。個人の非商用利用は無料
Rust言語のための統合開発環境「RustRover」正式リリース、JetBrains。個人の非商用利用は無料 Kotlin言語や統合開発ツールIntelliJ IDEAなどの開発を行っているJetBrainsは、Rust言語用の統合開発環境「RustRover」の正式リリースを発表しました。 All systems are GO! We’re over the moon to see RustRover finally land! Read all about the release and the new free non-commercial license in our blog post https://t.co/s3MnqfiTrs, and see how we can help you stay focused on what matters pic.twitter.com
Docker、Linux、AWSひとつでも勉強しようと思ったら - itstaffing エンジニアスタイル
IT業界にいると「勉強したほうがいい」「エンジニアには必須だ」などと言われることも多い「Docker、Linux、AWS」などのサーバーに関するトピック。 これらは、一つ勉強しようとすると必ず他の技術もついてくる、互いに切っても切り離せない技術です。そのためか、学びはじめのハードルを高く感じてしまうことも。今回はサーバー関連の入門記事をまとめてご紹介します。易しい解説で「サーバーってこんな感じ」と掴むことからはじめてみてください。 こんな方におすすめ □ インフラ系に興味のある方 □ サーバー関連で何から始めていいかわからない方 □ Docker、Linux、AWSのどれかを始めたけれど、苦戦している方 Pickup 1：インフラ系きほんのき、「サーバー」をゆるく解説 この記事でわかること ・サーバーは何をするもの？ ・ウェブサーバー、メールサーバー、データベースサーバー違いは？ 2：サー
はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能 Dockerコンテナで使われるコンテナイメージは、そもそもOSのカーネルなどが含まれていないためそれ単体で実行することはできず、コンテナに対応したOSの上にデプロイすることで実行されます。 このコンテナイメージのフォーマットは業界標準の「OCIコンテナ」（Open Container Initiativeコンテナ）として標準化されていますが、このOCIコンテナのフォーマットを守りつつ、ベアメタルサーバ上でブート可能な「ブータブルコンテナイメージ」の開発が進められています。 ブータブルコンテナイメージとは？ ブータブルコンテナイメージは、カーネルやデーモンなどの単独で実行可能なOSとしての
はじめに VSCode + Python + Poetry + Docker(docker-compose)でdev-containerを作成して開発を行っていました。 Dockerを勉強し、イメージの軽量化に関する記事を読んでいると、自分が使っているコンテナイメージのサイズが気になりました。 docker images > REPOSITORY TAG IMAGE ID CREATED SIZE > dev-container latest a9b8e3df9087 2.31GB 2.31GB！？ サーバとしてアプリを動かしていないのにここまで大きいなんて… というわけで勉強も兼ねて、イメージの軽量化に取り組みました。 イメージが軽量であるメリット ストレージの節約 これは言わずもがなだと思います。 限られたリソースを有効に使うことができます。 ビルド時間の短縮 Dockerは環境を作っ
最近にわかに話題のLLMツール「Dify」を僕も使ってみた。 いいところと「?」となったところがあったので纏めておく Difyとは、GUIでワークフローを組むことができるLLM-OPSツールだ。 ComfyUIのようにワークフローが組めたり、GPTsのように自分専用のアシスタントを作れたりできる。 特に、OpenAIのGPTシリーズとAnthropicのClaude-3、そしてCohereのCommand-R+なんかを組み合わせて色々できるところは良いところだと思う。また、ローカルLLMにも対応しているので、企業内でのチャットボットを作るんだったらGPTsよりこっちの方がいいだろう。 元々色々なテンプレートが用意されているが、テンプレだけ使うとGPTsっぽいものを作れる(それだってすごいことだが)。テンプレを改造するだけでも欲しいものが作れる人はいるし、ここはノーコード環境と言える テンプ
LayerX Fintech事業部 (※) の piroshi です。 ※ 三井物産デジタル・アセットマネジメント (MDM) に出向しています。 今回は、上長の ken5 さんとの 1on1 の中で「センス」について言語化した話を紹介させていただこうと思います。 現職で実装する機会が増え、力不足から「自分にセンスが無い」と感じた時、それを曖昧な状態にせず、要素に分解して改善に繋げようとしているお話の共有です。 問題の具体例 Fintech という領域ではセキュアな業務環境が求められます。その一環として、ECS を使ったセキュリティ施策の検証を進めています。 しかし私がこれまで Docker や ECS を扱った開発経験がほとんどないため、検証を進めるスピードは遅く、手探りの状態が続いていました。 1on1 での気づきと学び 長らく詰まっていた問題を ken5 さんに相談したところ、彼は
はじめに PythonのDockerfileを作成する際、ネット上で適切な情報が見つからず、試行錯誤することがあります。そこで、ここでまとめてみます。 完成品 # 開発用ステージ FROM python:3.11-bullseye AS developer ENV PYTHONUNBUFFERED=1 WORKDIR /app RUN apt-get update \ && apt-get install -y --no-install-recommends \ bash=5.1-2+deb11u1 \ && apt-get -y clean \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt ./ RUN pip install --no-cache-dir -r requirements.txt COPY . . # ビルド用ス
対象者 ・未経験からエンジニアを目指したい！と考えている方 ・エンジニアになったけどなかなか成長できてないな・・と感じている方 に読んでいただけると嬉しいです！ 自己紹介 株式会社PRUMという会社の代表をしています。岩本です。 https://prum.jp/ SES企業でエンジニアとして就業したのち、ヤフーでもエンジニアとして働いておりました。 2019年、PRUMを創業し組織を５期目の途中で70名の組織まで成長させました。 エンジニアの成長について、誰よりも考え抜いてきた自信があります。 エンジニアって、どれくらい勉強した方がいいの？ ずばり、はじめの2年間は、空いている時間は全て勉強しましょう。 そう考えるほうが楽です。圧倒的に楽です。 理由は後で書きます。 そもそも、エンジニアという仕事について エンジニアという職業は、とっても魅力的な仕事です。 人手不足のため給与水準もこれから
Self-hosted GitHub Actions runners in AWS CodeBuild を試す
CodeBuild プロジェクトを使用して Webhook を設定し、GitHub ACtions ワークフローの yaml を更新して CodeBuild マシン上でホストされているセルフホストランナーを使用できる GitHub への認証は PAT か OAuth App を使う まとめというかわかったこと ※間違ってることや、こうすればいいよなどがあったらコメントください。 良かった点 セットアップは楽 ephemeral である 起動時間は EC2、Lambda 共に 1 分程度だった 個人的には十分速い マネージドイメージに加えて Docker カスタムイメージを指定可能 jobs.<job_id>.runs-on に -<image>-<image-version>-<instance-size> を追記すると、設定不要で様々なアーキテクチャのイメージを使える jobs.<job
どうも GitHub Actions 上で Docker ビルドを行うと時間がかかるなぁと感じていました。 かなり軽量の Go の Web アプリケーションを Docker イメージにしてプッシュするプロセスなのですが、全体で 3 分ほどかかっています。 今回はその速度改善を行ったので、得た知見を記事にしたいと思います。 最終的に、ケース次第では以下のような結果を出すことができました。 ※ケース = go のソースコードのほんの一部を変更してワークフローを実行する。 go.mod など依存関係に変化はない。 go build: 60秒 → 1秒 docker/build-push-action ステップ: 2分30秒 → 30秒 ワークフロー: 3分 → 1分 前提 go build は Dockerfile のステップで行っており、イメージとして以下のような内容になっています。 FROM
Dify の ワークフロー の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Workflow - Dify 1. ワークフロー1-1. ワークフロー「ワークフロー」は、複雑なタスクを小さな「ノード」に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。 「ワークフロー」の種類は、次のとおりです。 ・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用 ・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、「質問分類」「質問書き換え」「サブ質問分割」などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち「
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
［速報］GitHub Copilot extensions発表。CopilotがDockerやAzureなどサードパーティの専門家へ拡張、プログラマの質問に答えてくれる
マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、GitHub Copilotの新機能「GitHub Copilot extensions」を発表しました。 GitHub Copilot extensionsは専門知識を持つCopilot GitHub Copilotは、プログラマはVisual Studio Codeなどのコードエディタ上やチャット欄でAIと対話し、プログラミングに関する質問への回答やコードの生成などをAIが行ってくれる機能です。 GitHub Copilot extensionsは、このCopilotの能力をサードパーティなどがそれぞれのソフトウェアやサービスの専門家へと拡張できるようにし、プラグインとしてCopilotに組み込み可能にしたものです。 拡張されたCopilotの例として、マイクロソフトが提供する「
本記事は 【プルリクウィーク】 2日目の記事です。 💻 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに Git と インフラ屋 と IaC そもそもインフラ屋が管理するコードとは？ IaC インフラ関連の設定ファイル CI/CD周りの設定ファイル PRレビューで難しいと思うこと 何を持ってOKとするか そもそも検証が難しい 網羅性が判断つかない PRレビューで意識していること 静的チェックの導入 コメントには意向を示す略語を付ける コメントがFixすればリアクションしてクローズする 対面レビューの時間を設ける リリースとの親和性が高い さいごに はじめに こんにちは、加藤です。 普段、私はインフラエンジニア（以下インフラ屋）としてシステム運用に携わっています。 最近はIaCの普及もあり、インフラチームでもプルリクエスト(以下PR)レビューを実施しているチームが多いのではないでしょうか
pytest でテストケース毎に DB を自動的に初期化して、テスト開発体験を向上させる - SalesNow Tech Blog
概要 Web バックエンドのテストコードを書く場合、その多くは DB に依存していることが多いです。 DB 関連のテストは、テストデータの準備やテストケース毎の DB 処理化を適切に行うことが重要ですが、手間がかかる場合あるため、Mock で擬似的にテストしてしまうことも多いかと思います。 ただ、Mock を使ったテストは本質的な問題を検知できない意味のないテストになってしまう可能性があり、可能な限り DB の Mock を行わずに、実際の DB を使用してテストすることが望ましいと考えています。 本記事では、pytest、sqlalchemy、PostgreSQL を使った場合に、テストケース毎に DB を簡単に初期化しつつ、テストケース毎の前提データ登録も簡単うことでテスト開発体験を向上させる方法を紹介します。 前提環境 本記事では、以下の環境を前提として説明いたします。 python
AWSを使用したアプリケーションのローカルテスト
AWSを使用したアプリケーションのテスト方法 AWSを使用しているアプリケーションの開発時に問題となるのは、どのようにテストを実施するかという問題が発生します。 この時の選択肢は次の通りとなります。 単体テスト時にAWSのモックを作成してテストを行う AWS上にテスト用の環境を用意してテスト時に接続してテストを行う LocalStackを使用してローカルにAWSサービスのエミュレーターを動かしてテストする 単体テスト時にAWSのモックを作成してテストを行う 単体テスト時にモックアップする方法はテストに都合のいいデータを返せるため容易にテストが行えます。 モックの作成に手間がかかりますし、思い込みでモックを作成してバグを作成する場合もありますが、Motoなどを用いることでこれらの問題は軽減できるでしょう。 ただし、あくまで単体テストでしか使用できません。例えば複数プロセスを連携するようなテス
［速報］マイクロソフト、自律型AIソフトウェアエンジニア「Devin」のCognition AIと提携を発表。Azure上でDevinを提供へ
マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、自律型AIソフトウェアエンジニアの「Devin」を開発しているスタートアップ「Cognition AI」との提携を発表しました。 Devinは、自律的にシステム開発を実現する能力を持つAIによるソフトウェアエンジニアだと説明されています。 具体的には、人間が課題を与えるとそれを基に開発計画を立て、GitHubリポジトリにあるReadmeなどの情報を参照して得られた情報を基に自動的に環境構築、ドキュメントからAPIの仕様も参照し、それを基にコーディングを行い、デバッグでは必要に応じてprint文などでエラーの箇所を特定しつつ問題を解決、動作するようになったらデプロイを行うなどの能力を備えているとされています。 参考：自律型AIソフトウェアエンジニア「Devin」登場。Readmeを読ん
こんにちは。メルカリ ハロのSoftware Engineer (Engineering Head)の@napoliです。連載：Mercari Hallo, world! -メルカリ ハロ 開発の裏側-の2回目を担当させていただきます。 2024年3月上旬にメルカリ ハロという新しいサービスが公開されました。メルカリ ハロは好きな時間に最短1時間から働ける「空き時間おしごとアプリ」です。 この記事ではメルカリ ハロを作るにあたり、どういった技術スタックやアーキテクチャを選定したのか、さらにその背景と意思決定をご紹介したいと思います。 この記事で得られること メルカリ ハロで採用されている技術スタックやアーキテクチャの全体像 その意思決定の理由とプロセス これから新規サービスを立ち上げるうえでのヒント 主な技術スタック メルカリ ハロで利用されている主な技術スタックは以下のとおりです。 バッ
php-fpm の挙動を確認するために発行されるシステムコールを簡単に確認できる Docker Compose 環境を作りました。 github.com システムコール strace-php-fpm strace オプション php-fpm が発行するシステムコール例 ini ファイルの探索 nginx からの FastCGI リクエスト PHP ファイルの読み込み さいごに 参考 システムコール システムコールは、php-fpm のようなユーザプログラムが、ファイル操作やネットワーク通信、プロセス制御のようなカーネルが提供する機能を利用する仕組みです。PHP コードは PHP（ここでは php-fpm）で実行する必要があるので、php-fpm が発行するシステムコールを確認することで php-fpm や PHP コードがどのように動作しているかを知る手掛かりになります。 システムコールを
対象者 Docker使いたいけどよくわからない Docker使い始めたけどコマンド言われるがままに打っていてよくわかってない コマンドと動作を図示で理解したい こんな人の理解の一助になれば幸いです。 (前提条件: docker version 26.0.2) Dockerコマンドを可視化してみた 勝手にローカルのPCをmacにしているのはご愛嬌です ※2024/5/16 9時訂正版の画像に差し替え コメントで間違いを指摘していただきありがとうございます🙇 細かいオプションなどは一旦無視してライフサイクルの部分を抜き出してみました。 Docker imageの操作 dockerの肝となるコンテナは、imageから生成します。 そのimageは、 docker hubからpullしてくる dockerfileからbuildする この2択で生成します。 コマンドは、 など、 docker i
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
［速報］マイクロソフト、Copilotを一連のタスクを自律的に実行できる「エージェント」へと拡張。受注したら在庫確認して顧客へ発送などが可能に
マイクロソフトは、日本時間5月22日未明から開催中のイベント「Microsoft Build 2024」で、Copilotを一連のタスクを自律的に実行できる「エージェント」へと拡張するCopilot Studioの新機能を発表しました。 Copilot StudioはMicrosoft Copilotの拡張やカスタマイズを可能にする開発環境です。今回の新機能では、Copilotがエージェントとして機能するように、以下の拡張が可能になります。 一定期間実行が継続されるビジネスプロセスの自動化 ユーザーからの入力とアクションについての推論 過去の記録からコンテキストを理解する ユーザーからのフィードバックによって学習を行う 具体的には、Copilotに対して処理の内容と手順を「インストラクション」で具体的に説明し、「トリガー」となるプロセスを指定。さらに参照すべき「ナレッジ」を指定し、どのよう
Docker Compose 1.27.0以降ではdocker-compose.ymlにversionを書く必要がなくなっていた - hogashi.*
あらすじ docker-compose.yml でトップレベルの version 要素を指定していると、 WARN[0000] (...)/docker-compose.yml: `version` is obsolete と表示される。インターネットを見ていくと version は指定しなくて良い、消したらいい、という記事がたくさん出てくるし、たしかに公式のドキュメントにも obsolete と書かれている Version and name top-level elements | Docker Docs。 Version top-level element (obsolete) The top-level version property is defined by the Compose Specification for backward compatibility. It is
今年も開催されたMicrosoft Build 2024のキーノートを日本語でまとめをお届けします！今年は吉田が製品チームとして「Ask the Expert」ブース対応を現地で3日連続アサインされた上、夜は無謀にも48時間以内にPower Platform の発表について2時間にわたってお届けするイベントを開催した関係上、まとめが遅くなってしまいました。 Build 2024 のPower Automateブース その分、Satya Nadellaが登壇で利用したスライドを丸ごと日本語化し、より丁重なまとめ？（もはやフル原稿…）を作ることができました。このページの一番下にはスライド完全意訳版をダウンロードできるようにしてありますので、ぜひ読んでくださいね。 それでは以下、キーノートの情報をお伝えします！ 開発者会議は常に最もエキサイティングで、最も楽しい瞬間です。私は成人してからの人生を
注意: Modelfile の構文は開発中です。モデルファイルは、Ollamaでモデルを作成・共有するための設計図です。おススメ記事フォーマットModelfile のフォーマット:# コメントINSTRUCTION 引数インストラクション説... モデルプロバイダーの追加 モデルタイプを選択: 「ollama」を選択します。 必要な情報を入力: モデル名: llm-jp-13b-v2 Base URL: http://host.docker.internal:11434 Completion Mode: 「Chat」 モデルコンテキストサイズ: 4096 最大トークン数の上限: 4096 Vision Support: 「No」を選択 ワークフローの作成 4人のエージェントのシステムプロンプトを設定: 楽観的AI研究者、慎重派経済学者、AIジャーナリスト、倫理学者の4人のエージェントを作成
インターネットからの野良リクエストがどれぐらい AWS WAF のマネージドルールに一致するのか確かめてみた - 電通総研 テックブログ
こんにちは。コーポレート本部 サイバーセキュリティ推進部の耿です。 Web サービスへの攻撃を防ぐために WAF を使いましょうというのはよく聞きます。 ではインターネットに公開した Web サービスに送信される悪意のあるリクエストがどれぐらい WAF によって防御され得るのでしょうか？ お手軽に使える AWS WAF のマネージドルールを対象に確かめてみました。 この記事の概要 実験用に固定レスポンスを返すだけの HTTP エンドポイントを作成し、約半年間インターネットからアクセス可能な状態で放置した AWS WAF のマネージドルールをアタッチしており、それぞれのルールに一致したリクエスト数を集計し、ランキング形式にまとめた 一致したリクエスト数が多いマネージドルールそれぞれに対して、どのようなリクエストが多かったのか集計し、ランキング形式にまとめた 実験用システムの構成 基本的なデー
Q by LivesenseをWordPress on EC2からHugo on Cloudflare Pagesに移行しました - LIVESENSE ENGINEER BLOG
はじめに 技術構成（before）と課題 技術構成（after）と選定の理由 改善したこと パフォーマンスの向上 デリバリー速度の向上 セキュリティ面でのリスク低下 大変だったこと 記事のマークダウン変換 段落分けと改行の区別 字下げ 書式の追加 Lintが必要になった 記事ごとのOGP画像周りの実装 URL変更に伴うリダイレクト設定 標準の検索機能がない おわりに はじめに 技術部の @mom0tomo , @etsxxx です。 技術部では、事業部横断的な仕事としてコーポレートサイトの運用も行っています。このたびWordPress on EC2で運用されてきた弊社のWebメディア（Q by Livesense）を、Hugo on Clouflare Pagesに移行しました。 q.livesense.co.jp 弊社のWordPress運用はやや特殊で、エンジニアがサーバーにSSHして
「Transcription Stream」は音声ファイルをアップロードするだけで自動で文字起こしと要約を作成してくれる上、シークバーと文字起こし結果が連動するため人間による聞き取りが必要な場所を一目で見つけられる便利なツールです。無料で使用でき、セルフホスト可能なオープンソース版として「Transcription Stream Community Edition」が用意されているので実際にセルフホストしてみました。 GitHub - transcriptionstream/transcriptionstream: turnkey self-hosted offline transcription and diarization service with llm summary https://github.com/transcriptionstream/transcriptionstre
テスト自動化のために作られたIDE「Aqua」、JetBrainsが正式公開。Webインスペクタ、HTTPクライアント、テストランナー、デバッガーなど統合。個人向けは無料
テスト自動化のために作られたIDE「Aqua」、JetBrainsが正式公開。Webインスペクタ、HTTPクライアント、テストランナー、デバッガーなど統合。個人向けは無料 JetBrainsは、テスト自動化のためのテストコード作成や自動テストの実行などに最適化した統合開発環境「Aqua」の正式版を公開しました（β版登場時の機能紹介）。 Aquaはテスト自動化でよく使われるJava、Python 、JavaScript、TypeScript、Kotlin、SQLなどの言語と、Selenium、Playwright、Cypressなどの主要なフレームワークをサポート。 クラスやシンボルなどを認識するスマート検索や、安全な名前の変更と削除、メソッドの抽出、変数の導入、変数またはメソッドのインライン化などのリファクタリング支援機能も備えています。 JUnit、TestNG、Pytest、Jest、
GitHub Copilot Extensions発表 ―さまざまな開発ツールを組み合わせながらCopilotを利用可能に GitHubは2024年5月21日、サードパーティのツールやサービスの機能をGitHub Copilotに追加できる「GitHub Copilot Extensions」を発表した。Copilot Extensionsを使用すると、開発者はIDEやGitHub.comから離れることなく、好きなツールやサービスを使用しながら自然言語でAIとやりとりし、開発を進めることができる。 GitHub Copilot Extensionsのご紹介：パートナーとのエコシステムで無限の可能性を引き出す -GitHubブログ Copilot Extensionsは現在のところGitHub.com上のGitHub Copilot Chat、Visual Studio、およびVS Code
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に GitHubは2024年5月13日、リポジトリ内の依存関係を監視しチェックするツールDependabotの基本コンポーネントdependabot-coreを、MITライセンスにもとづくオープンソースとして利用可能にしたことを発表した。 dependabot-core is now open source with an MIT license -The Github Blog 📣 Dependabot is now open source!https://t.co/RXpQG38AiD — GitHub (@github) May 14, 2024 Dependabotは、リポジトリ内の依存関係のアップデートの有無を検知して、自動でプルリクエストを発行したり、アラートの通知を
RubyKaigi 2024に参加 & 登壇しました + Rubyアソシエーション開発助成の話 - shioimm || coe401_
RubyKaigi 20024 RubyKaigi 2024おつかれさまでした! 沖縄から帰ってきてはや一週間余り、ようやく今年のRubyKaigiが終わったという現実を受け入れられるようになってきました。 海が綺麗でしたね ありがたいことに、わたしは今回もsocketライブラリのHappy Eyeballs Version 2(以下HEv2)対応を題材に登壇の機会をいただきました。 rubykaigi.org また今年は勤務先のエス・エム・エスがブースを獲得したので、初めてスポンサーとしてブースに立つこともできました。 この記事ではRubyKaigi 2024に至るまでと、それからRubyKaigi 2024会期中の出来事について振り返ってみたいと思います。 ※とんでもない長文ですがご容赦ください Happy Eyeballs Version 2 対応socketライブラリ開発日誌 上記
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
ノーコードで、高機能AIチャットbotを作ろう。「Dify」を徹底解説｜ChatGPT研究所
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
Dockerのコンテナイメージを1/10以上軽量化してみた - Qiita
噂のノーコードAIシステム開発環境Difyを使ってツールを作ってみた。使った感想｜shi3z
1on1 で「センスが無い」を言語化した話 - LayerX エンジニアブログ
PythonのDockerfileをセキュアにするためのベストプラクティス - Qiita
元ヤフーエンジニア社長が考える、未経験エンジニアの最適な勉強時間 - Qiita
GitHub Actions 上での Go の Docker ビルドを高速化する
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
とあるインフラ屋のプルリクエストレビュー奮闘記 - NRIネットコムBlog
メルカリ ハロの技術スタックとその選定理由 | メルカリエンジニアリング
Docker Compose で php-fpm が発行するシステムコールを見る - Shin x Blog
Dockerコマンドの挙動を図解にして覚えやすくしてみた - Qiita
Microsoft Build 2024 キーノート完全日本語化まとめ・意訳 - 吉田の備忘録
DifyとローカルLLMを使用して複数のエージェントを設定して議論する方法 - Sun wood AI labs.2
「Docker Desktop」も「Windows on Arm」に対応 ～業界のARM64シフトが鮮明に／近日リリース見込みのv4.31で
無料＆セルフホスト可能なブラウザ上で操作できる文字起こしツール「Transcription Stream」レビュー
GitHub Copilot Extensions発表 ―さまざまな開発ツールを組み合わせながらCopilotを利用可能に | gihyo.jp
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に | gihyo.jp