LLMのプロンプトをCI/CDで評価する。promptfooを使って - Gunosy Tech Blog
こんにちは。 LLM事業部のUTです。 概要 promptfoo の紹介 起動 CI での評価 GitHub Action まとめ 概要 OpenAI による ChatGPT 登場の衝撃から1年ほど経ちましたが、 LLM を活用する企業はものすごく増えました。 OpenAI だけでなく、大手クラウドや Hugging Face などを通して各企業も提供しています。 遊びで使う分にはどの LLM を使うかは適当で良いかと思いますが、プロダクトとして提供する場合利用を想定しているシーンに対して、最適なモデルを選びたいと思うのは必然でしょう。 また LLM を利用してレスポンスを受けるに当たり、最も重要なのがプロンプトです。 様々な研究結果にもある通り、プロンプトの書き方一つで出力結果が大きく変わります。 欲しいアウトプットを出すプロンプトを探すには、プロンプトを複数作り比較する必要があります。
GitHub ActionsでZennの下書きをClaudeにレビューしてもらう
はじめに GitHub ActionsとClaude APIを組み合わせて、Zennの下書きをChatGPTライクなAIモデルであるClaudeにレビューしてもらう仕組みを作ってみたので紹介します。 記事を書くときにPull Requestを作る 僕は普段Zennのリポジトリでは特にレビューしてもらったりということがないのですべてmainブランチで運用していましたが、PRでレビューしてもらうにあたって Pull Request を作るように変更しました。 mainブランチに比べてPR作ったりが面倒なので以下のスクリプトで記事の作成・PRを作成します。 #!/usr/bin/env bash set -eux # 記事名と記事slugを対話形式で入力させる read -p "記事名を入力してください: " title read -p "記事slugを入力してください: " slug # 記事
Terraformのplan結果をChatGPTに説明してもらう機能をCI/CDに組み込んでみた！ - Qiita
背景 インフラエンジニア 「このterraformコードのPR、レビューお願いします。」 インフラエンジニア 「変更点はplan結果↓を見てください。」 An execution plan has been generated and is shown below. Resource actions are indicated with the following symbols: + create ~ update in-place - destroy -/+ destroy and then create replacement Terraform will perform the following actions: # aws_instance.example1 will be created + resource "aws_instance" "example1" { + ami
fabric2いいかも • masu-mi's blog(dirty pages)
最近になって「fabricで作業の自動化を増やしたい」と思うことがありました。 調べてみたらPython3対応されたfabricはfabric2として独立していました。そしてfabric2を待ちきれずにフォークされたfabric3はメンテされている様子はありません。 正解はfabric2です。 fabric2はfabricと違いinvokeのssh拡張がついたラッパーなようです。 使うにあたりConfig, Connection, Groupの違いを確認したりしました。 また気楽なタスクランナーとして使うためにヘルパーやパターンが出てきたのでメモします。 実験した残骸はここに残してます。 pkg version
CUEでTerraformを書いてみる - chroju.dev
最近 CUE の話題を少しずつだがよく見かけるようになってきた。 CUE を使用した Kubernetes マニフェスト管理 | メルカリエンジニアリング [DevOps プラットフォームの取り組み #4] CUE 言語の紹介 - NTT Communications Engineers' Blog CUE によるスキーマやバリデーションのポータビリティ | gihyo.jp CUE とは何か、レポジトリの README から引用すると以下のように書かれている。 CUE is an open source data constraint language which aims to simplify tasks involving defining and using data. It is a superset of JSON, allowing users familiar with
Dagger で Node.js アプリをビルドする - なんとなくな Developer のメモ
CI/CD のパイプラインを定義するためのツール Dagger を使って Node.js アプリのビルドを試してみました。 Dagger v0.2.7 今回使用したソースは こちら sample1. echo の実施 まずは以下の処理を Dagger で実施してみます。 (1) ローカルの input.txt ファイルの内容を取得 (2) alpine イメージでコンテナを実行し、(1) に _echo を付けた文字列を echo して /tmp/output.txt へ出力 (3) コンテナの /tmp/output.txt の内容を取得し、ローカルの output.txt ファイルへ出力 Dagger プロジェクト作成 下記コマンドを実行して Dagger の実行に必要なファイルを作成しておきます。 $ dagger project init $ dagger project upda
(小ネタ) terraform graph で該当するリソースだけ絞り込むスクリプト | DevelopersIO
お疲れ様です。小島です。 terraform のリソースは増えていくにつれ、関係性について把握が難しくなるのではないでしょうか。 その時、依存関係を dot 言語で出力してくれる terraform graph があります。 しかし、多くのリソースが含まれる図には多くの関係を示す線が含まれており、把握するには一苦労です。 terraform graph には module-depth という深さを指定し、出力を絞り込むことができるオプションがあります。 ですが、スモールスタートでの開発で徐々にリソースが増えていくような場合だと、 module のリファクタリングは state も考慮する必要があるので後回しになりがちです。 なので、正規表現に該当するリソースだけ吐き出すようなスクリプトを go で書きました。 スクリプト スクリプトの使い方 # Glue に関するリソースを絞り込む ter
Streamlit on Cloud Run with Identity-Aware Proxy (IAP) - public note
タイトルのとおり、Cloud Run で Streamlit を動かしてみました。また、特定の人のみがアクセスできるように、Identity-Aware Proxy(IAP) での保護を試しましたので、その設定やコードを紹介します。 Cloud Run で動かすのはすぐにできたのですが、複数の Streamlit コードを認証付きでいい感じにホストする手段を探すのにかなり苦戦しました... Streamlit 構成図 ソースコード リクエストから Streamlit が起動するまで よいところ 設定のポイント ユーザ認証方法 Cloud Run の Ingress 設定 IAP で必要な権限 パスルール設定 リクエストURL に Streamlit の起動URLを合わせる サーバーレス NEG と Cloud Run の設置リージョン 参考にしたページ Streamlit Streamli
terraformをパースして自動で命名規則等のアラートを出したい！ - Qiita
やりたきこと いちいち命名規則を見に行きたくない tagとかも統一したい s3のloggingルールとかも忘れないように・・・ description書けるやつは忘れずに書きたい！ tfファイルをパースして名前とかを正規表現で引っ掛けるしかない！！ まずローカルでプログラムが動くように！ 以下のサンプルを例にファイルから読み込んでパースできるようにする ohsawa0515/hcl_parse_sample 発生した問題 docker内のGoで以下のようなコードを書いていたのですが。。。 FROM golang:latest WORKDIR /go/src/app RUN go get -u github.com/golang/dep/cmd/dep ADD . . RUN dep ensure CMD ["go", "run", "main.go"] package main impor
hashicorp/hcl2 を使って独自 DSL を定義する - tellme.tokyo
HCL2 とは HCL (HashiCorp Configuration Language) は HashiCorp によって作られた設定言語です。 HCL の目的はコマンドラインツールで使用するために、人間からも機械からも扱いやすく構成されていて、かつ特に DevOps ツールやサーバーなどを対象とした構造化構成言語であることです。 実装は hashicorp/hcl にあります。 実はこれの他に同時に Version 2 の実装も目下開発中のようです。 hashicorp/hcl2: Temporary home for experimental new version of HCL このリポジトリでは HCL が元から持つ iteration と補間言語 HIL を組み合わせて、任意の式をサポートする単一の構成言語を目指しているようです。 要するに、設定ファイルでありながら、演算処理
自作Terraform Providerのユニットテストの書き方 - My External Storage
公式チュートリアルには載っていなかったので、自作Terraform Providerを作るときのユニットテストの書き方をメモしておく。 なお、最初にコメントしておくと今回の記事はかなり説明を省略しているので各Providerにコミットしたことがあるか自作Providerを作った人じゃないとわからなそう… TL;DR TerraformはProvider経由で各種サービスのリソースを操作する https://www.terraform.io/docs/providers/index.html SDKを使えば自作Providerを作ることも可能 https://github.com/hashicorp/terraform-plugin-sdk 公式ガイドに載っていないが、schema.Resource#TestResourceDataメソッドを使うとテストが書きやすい https://pkg.
ふわっと JVM のヒープ領域監視について考える - ようへいの日々精進XP
ども、かっぱです。 はじめに Java アプリケーションを運用する上では避けて通れないであろうヒープ領域の監視についてフワッと考えてみた JVM には幾つか領域があるがヒープ領域に焦点を当てる 参考 http://www.whitemark.co.jp/tec/java/javaHeap.html http://www.whitemark.co.jp/tec/java/javagc.html http://d.hatena.ne.jp/ogin_s57/20120623/1340463194 http://d.hatena.ne.jp/ogin_s57/20120709/1341836704 https://docs.oracle.com/javase/jp/1.5.0/guide/management/agent.html http://chonaso.hatenablog.com/en
AWSで秘密定数を外部に公開せず環境変数として定義するためのGo製ツール、「ssm2env」作った
ssm2env - Environments injection tool for AWS EC2, with SSM (EC2 Parameter Store). 詳細環境ごとに異なる秘密情報をAPIに渡す際、その管理方法は、twelve-factor appにもある通りデプロイ対象のサーバー内部の環境変数として定義するべき。 ただ、自動化されたデプロイフローでは、どういった手順で秘密情報を渡せばいいか悩むことが多い。 自分が考えた範囲では、 1. AWSのSSMにTerraform経由*1でシークレットな変数を設定 2. APIのデプロイ時にSSMから特定prefixのついたパラメーターを取得 3. パラメーターを全て環境変数として読み込ませる 4. APIが起動する際に秘密情報を定数として環境変数から読み込む*1) 正確にはCircleCIの環境変数設定に事前に入れた状態で、Circ
Terraform v0.8.6とCodeBuildを利用したServerless Frameworkのデプロイ | DevelopersIO
使ってみる 早速使ってみましょう。最終的に以下のような構成になります。 コード 以下で主要なコードを解説していきます。 tf-codebuild-demo/codebuild.tf resource "aws_codebuild_project" "codebuild" { name = "${var.env}-project" service_role = "${aws_iam_role.codebuild.arn}" timeout = 60 artifacts { type = "S3" location = "${random_id.s3.hex}" } environment { compute_type = "BUILD_GENERAL1_SMALL" image = "aws/codebuild/nodejs:7.0.0" type = "LINUX_CONTAINER" e
RuboCopを無理なく既存プロジェクトに導入する
TL;DR- RuboCop良いよ - 入れるだけだと誰も使わないよ - 運用フローに入れると良いよ - 千里の道も一歩からだよ RuboCopとはRuboCopはコーディング規約に従っているかをチェックし、コードの品質を保ってくれるgemです。 RuboCopのイメージ例えば以下のようなrubyとしてはあまり良くないコードだった場合に、RuboCopはルールに沿って問題点の指摘や自動修正を行ってくれます。 これ以外にもRuboCopは多様なルールをサポートしており、その中にはバグりやすいコードを回避するようなルールもあります。 RuboCopを使う事でコーディング規約に沿っていないコードや、バグを含んだコードを自動である程度抑制でき、レビュー等でそれらの指摘する手間を大きく削減できます。 導入方法gem install rubocop するか、Gemfileに書いてインストールしてくださ
RuboCop の Cop の実装について - Qiita
こんにちは、pockeです。今回はLintツールのひとつ、RuboCopのCopの実装方法に関して述べようと思います。 対象読者 RuboCopの内部実装を知りたい人 Lintの実装をしたい人 Cop とは? Cop とは、RuboCopにおけるひとつのルールの単位です。 例えば、 evalメソッドの使用を検出する インデントの不整合を検出する Gemfile内のgemがアルファベット順になっているか検査する などがひとつのCopの単位となります。 今回述べるscope RuboCopには現在(2016/12/23現在のmaster)、321個のCopがあります。 数多くのCopがある中で、Copが問題とする領域によってCopが必要とする情報が変わるため、Copの実装方法も変化します。 そのためRuboCopにはCopの実装にいくつかの方法があるのですが、今回はその中から1つを選んで紹介し
Rubocop v0.46.0 の changelog - Qiita
2016/11/30 にリリースされた rubocop 0.46.0 のチェンジログから新機能部分についてまとめてみた。 Add new Bundler/DuplicatedGem cop. (@jmks) class ドキュメントに書いてあるとおり、Gemfile 内の重複定義を怒ってくれる。 単なる重複は当然として、group にまたがった重複も対象になる。 # # bad # group :development do # gem 'rubocop' # end # # group :test do # gem 'rubocop' # end # # # good # group :development, :test do # gem 'rubocop' # end # # # good # gem 'rubocop', groups: [:development, :test]
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IaCジェネレーターとBedrockで詳細設計書を生成してみた
Yuki Uehara | Profile page
GitHub - aksakalli/gtop: System monitoring dashboard for terminal
