ChatGPTでOpenAPI定義からKarateのテストスクリプトを自動生成する - Taste of Tech Topics
最近久々に近所のお祭りに行ってきました、屋台の食べ物ではりんご飴が好きな菅野です。 皆さん、普段APIのテストはどのように行っておりますか？ 最近は、APIのテスト自動化を行えるようなツールやサービスも増えてきているように思いますが、当社では、OSSのテスティングフレームワークである「Karate」を用いることが多いです。 比較的簡単な構文で直感的にAPIのテストができる点がよいと思います。 しかし、いかに簡単な方法でAPIのテストが記述できるからといっても、APIの数が多いとテストを作成するのは一苦労です。 今回は、そんなKarateのテストスクリプトをChatGPTを活用して作成してみようと思います。 まず、REST-APIの仕様を定義する場合、OpenAPIを利用することが多いのではないか、と思います。 ChatGPTの開発元である「OpenAI」ではないです。自分も書いていて、紛ら
AI駆動開発と現状とのギャップを示す - ブロッコリーのブログ
はじめに 〜記事執筆のきっかけ〜 先日、以下の記事についてのツイートが流れてきました。 zenn.dev この記事の内容については、ChatGPTをはじめとするAIによるテストの可能性を示した素晴らしい内容だと思います。 ですが、果たして"今時点（元記事の執筆時点）の"出力結果*1が実用に耐えうるものになっているのか検討し、提示する必要もあると感じました*2。 そこで本記事では、テストエンジニアである私の回答例と"今時点の"AIの出力結果を比較しギャップを示すことを目的とします*3。 決して、AIによるテスト自動生成の進化自体を否定している訳ではないことを念頭にお読みいただければと思います。 結論 本記事では、"今時点の"AIの出力結果に対して、以下の結論を導き出しています。 状態遷移図のテスト設計の題材では、根幹となる機能に関する不具合が含まれていた デシジョンテーブルのテスト設計の題材
仕様書とテストを用いた「AI駆動開発」
数年前にAIを離れ現在はフロントエンドをやっているのですが、半年くらい前に思い切り引き戻されました。画像生成AIにおけるmidjourneyとstable diffusionの登場です。noteのCTO深津さんが記事を出したと思ったのも束の間、急速に進化を果たしました。 絵柄の固定・ポーズの指定・マシンスペックなど、日々さまざまな問題を解決しながら新たな技を身につけています。 しかし、同等かそれ以上に話題になっているのは大規模言語モデル(Large Language Model)かもしれません。ChatGPTが話題になった思ったら、BingやPerplexity,You.comなど大規模言語モデルを交えたサービスが次々と登場しました。 活用方法もたくさん見つけられており、私は特に以下の二つの記事が好きです。 「感情回路」の記事に入力(プロンプト)でここまで変わるのかと感動したことを覚えてい
過度なDRYを行わず、APIドキュメントだと思って書く 脳内メモリを消費させない“リーダブルなテストコード”の書き方
さまざまなテストレベルとロールで活躍されている方々がテストコードをリーダブルにする方法について語り、それぞれの違いや共通点について議論する、「リーダブルなテストコードについて考えよう」。ここで株式会社ソニックガーデンの伊藤氏が登壇。リーダブルなテストコードとは何か、リーダブルなテストコードを書くための具体的な意識を紹介します。 伊藤氏の自己紹介 伊藤淳一氏：リーダブルコードという発表です。いきなり余談から入りますが、今日仕事をしていたらテストコードに助けられました。 仕様変更がいつ入ったのかを調べなきゃいけなくなってコミットを追いかけていったら、過去の僕がすごくわかりやすいテストコードを書いていて、仕様Aを仕様Bに変えることがdiffを見れば一目瞭然というようなものを作っていました。リーダブルなテストコードを書いてて良かったと思った日がこの勉強会の開催日で、ナイスタイミングだと思いました。
Cognitive Complexityを400以上減らすまでに何をしたか 〜 コード品質改善の具体的なプラクティス
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo!広告 ディスプレイ広告エンジニアの安田です。私たちの開発チームでは広告配信の起点となるJavaScript（TypeScript）ライブラリを提供しています。今回はこのライブラリのデプロイ失敗率を改善できた、コード品質改善の取り組みについてご紹介します。 コード品質を定量的に測る指標の1つにCognitive Complexityがあります。Cognitive Complexityは人間視点での複雑性を評価する指標で、例えばネストが深くなるほど複雑と判断される特徴があります。複雑なコードは変更に多くの時間を要し、テストが難しくなるので要改善なシグナルといえるでしょう。私たちが今回実施した品質改善の取り組みで
Google、Dockerイメージに対するテスト自動化フレームワーク「Container Structure Tests」オープンソースで公開
Google、Dockerイメージに対するテスト自動化フレームワーク「Container Structure Tests」オープンソースで公開 Container Structure Testは、コンテナ内部でコマンドを実行することで正しい出力やエラーが帰ってくるかどうかや、コンテナ内部のファイルが正しく格納されているかなどの検証を実行できるフレームワークです。 具体的には下記のテストをサポートしていると説明されています。 Command Tests コンテナイメージ内部でコマンドを実行し、正しい出力やエラーが返ってくるかを検証する。 File Existence Tests コンテナイメージ内部に、あるファイルがファイルシステム内の適切な位置に存在しているかどうかを検証する。 File Content Tests コンテナイメージ内のファイルシステムにあるファイルのコンテンツとメタデータ
テストがなかった無法地帯にテストを導入して開発速度を1.7倍にした話 - Qiita
テストがなかった無法地帯のプロジェクトに自動テストを導入して、開発速度を1.7倍にした話をします。 自動テストがなぜないのか 自動テストのないプロジェクトには、そうなる理由が必ず存在します。よくみる理由は、「時間がないから1」「テストの書き方がわからないから」「無理やりテストを書いたつらい経験があったから2」といったものです。今回のプロジェクトの場合は、以下の2点でした： 自動テストの書き方がわからないから レビューがテスト代わりだったから まず、チーム編成が変わって私ともう一人がチームに加わるまで、実装者の中に自動テストの経験者はいませんでした。このような状況では、自動テストは困難になります。なぜなら、何をどうやってどこまでテストするかを決めるには、多少の慣れが必要だからです。この慣れがないと、何をしたらいいかわからないという状態に陥りがちで、結果として自動テストが後回しにされてしまいま
テスト環境で使えるクレジットカード番号 - Qiita
実在するカード番号を利用することもできます。 カードの番号として妥当であれば上記以外の番号も利用することができます。 こちらのページで、番号の確認ができます。 【PHP】クレジットカードチェックサンプル カード番号以外の情報について 基本的に何でも大丈夫です。 名前・・・スペース区切りで名字と氏名を記入した名前なら何でも使用できます。(例: Taro Tanaka) 有効期限・・・現在時刻より未来の年月を有効期限として指定してください。 セキュリティーコード・・・適当な任意の3桁か4桁の数字を入れてください。 エラーさせるカード番号 テスト環境では、有効期限切れや、カード会社に決済を拒否されたり、偶発的に接続へ失敗した場合などに発生する例外（card_error）を、以下の番号を指定することで意図的に発生させることができます。 クレジットカード番号 card_errorのcode エラー内
テストや開発環境における自動化に関して議論したICST2017 unofficial meetup - クックパッド開発者ブログ
技術部品質向上グループの松尾(@Kazu_cocoa)です。 2017年3月13日〜2017年3月17日の間に、東京にてICST2017という国際学会が開かれました。 その学会に基調講演としてGoogleの方などが来日しました。そのさい、非公式ながらミートアップを開いたのでその時の学びを共有したいと思います。 ICST2017とは ICST2017とは、2017年に開催された第10回 IEEE International Conference on Software Testing, Verification and Validationの略です。Webサイトはこちら。 そこではソフトウェアテストや開発環境、品質に関する研究や事例が発表され、議論されました。 今年は10周年である上に、この会が始まって以来、初めて日本で開催されたようです。 学会と聞くと学術的すぎると思うかもしれませんが、比
受け入れテストの自動化 ～ OpenCVの「眼」で捉え、Pythonの「脳」が思考し、Appiumの「指」で動かす - Speaker Deck
2017/02/03 JaSST’17 Tokyo
女性向けサービスでコンバージョン数を爆上げさせた話 〜ネイルブックが１年間でCV数を69倍にした方法〜
2017年2月2日にヒカ☆ラボで「女ゴコロとコンバージョンのあやしい関係」としてお話したときの資料になります。 ------------------------------- 「女ゴコロフレームワーク」「デザイン負債の返し方」に続く ネイルブックのサービスを育てるフレームワーク第3弾！ 毎月100万人の女性が利用するネイルサービス「ネイルブック」。 ネイルブックチームでは、この1年間はネイルサロンのオンライン予約を増やすことに注力してきました。 1年間でオンライン予約数を69倍にするまでの試行錯誤と、 そこで得られたノウハウや女性向けサービスならではの苦労話などをお話します。 ------------------------------- 関連URL https://nailbook.jp http://spika.co.jp https://www.wantedly.com/compan
ASTER-テスト設計チュートリアル ちびこん編 ‘21
1. テスト観点（テストすべきこと）を整理して、網羅的に挙げよう テストすべきことを挙げきることは、バグを防ぐために大切な考え方です。ここではテストすべきことを網羅的に挙げるとはどのようなことか、どのように行ったらよいかについて、Myersの三角形問題を題材にして具体例を挙げながら説明します。また、テストは網羅的に行うことも必要ですが、効率的にバグを見つけるためにピンポイントでバグを狙って検出する、というテスト設計も必要です。ピンポイントでバグを狙うためのテスト観点やその導き方についても合わせて紹介します。 2. テストフレーム（テストケースの構造）を考えよう テストすべきことをテスト観点として列挙したら、それらをまとめてテストケースにしていきます。その時にテストケースの構造を考えると、網羅しやすいテスト設計になります。ここではテストケースの構造とはどのようなことか、どのようにまとめていっ
WEB+DB PRESS Vol.88でモバイル開発の話を書きました - プログラマでありたい
2015/8/22発売のWEB+DB PRESS Vol.88にモバイル開発の話を寄稿しました。内容としては、クラウドサービスを利用して、楽に開発しようよという話です。白状すると私が書いたのは最初の1章だけで、後は会社の後輩の@yanayanalteに書いてもらいました。 目次 今回の特集は、5章構成です。背景のところから、ビルド・テスト・デプロイと一通りの工程を取り扱っています。 いまどきのモバイルアプリ開発事情 〜クラウドの活用でプロダクトの改善に注力する〜 CircleCIを使った自動ビルド 〜ヒューマンエラーを防ぎ安定した開発を実現する〜 Scirocco Cloudを使ったE2Eテスト 〜他機種・多端末での検証を省力化する〜 DeployGateを使ったデプロイ 〜ストレスなくα版アプリを配布する〜 Crashlyticsを使った障害検知 〜運用中のクラシュ情報を見える化する〜
テストを書く文化を育てる戦略と戦術
at DevLOVE現場甲子園2013 2013/11/09 (土) http://http://devlove.doorkeeper.jp/events/5464Read less
第10回 莫大なテスト工程を効率化、最適なツールの導入で効率を上げミスを減らす
第10回 莫大なテスト工程を効率化、最適なツールの導入で効率を上げミスを減らす ソフトウエア開発の自動化（4）テスト設計の自動化 テスト工程では、ソフトウエアの実行やソースコードの検証を行います。この作業を通じて、システムが正しく意図した通りに動作するのかを確認し、ソフトウエアに潜むバグを発見します。 テストは、システムの納品前に品質を確保する非常に重要な作業ですが、単調で地道な作業をコツコツとこなしていく必要があります。 その一方でテストは、非常に多くの作業工数を要します。システムの規模や種類にもよりますが、システム開発に関わる工数のうち、一般的におよそ4割がテストに費やされているといわれています。このため、テストの効率化は開発全体の効率化に非常に大きく寄与します。 テスト自動化で効率を上げ品質を高める テスト工程に自動化ツールを活用することにより、単調なテストの作業を効率化できるだけで
ニュース - 「日産リーフ」の自律走行車、公道テストへ：英国（WIRED.jp）：ITpro
英国政府が、2013年中に英国内の公道で自律走行車のテストを行うことを承認すると発表した。 7月16日（現地時間）に発表された80ページにわたる新たな報告書「道路に関する行動計画：21世紀のネットワーク（Action for Roads: A network for the 21st century）」によると、英国ではオックスフォード大学が日産自動車の電気自動車「リーフ」を使うかたちですでに取り組みを始めている（日本語版記事）が、これまでは私道でしかテストを行っていないという（冒頭の動画）。 2012年には米国のフロリダ州、カリフォルニア州、ネヴァダ州（日本語版記事）が（グーグルによる）自律走行車のテスト実施を承認している。ミシガン州も近々その予定だ。 「自律走行車に乗っていると、人が普通に車を運転しているときとよく似たかたちで、車がすべての決定を分析しているのがわかる。しかも自律走行車
「自動受け入れテスト」を考えてみる - 日々常々
きっかけは XP祭り関西2013 の @StoneGuitar777 さんのLTからです。 LTスライド: XP祭り2013-LT-Codeer @ITの記事: 特集：受け入れ検査の自動化手法の考察：Windowsアプリの受け入れテストを自動化しよう (1/5) - ＠IT 「継続的デリバリー」に貼付けた付箋を抜き出してみる 【大阪】継続的デリバリー読書会(8回目) - connpassの範囲でもありました。 受け入れ＝ビジネス的な受け入れ基準＝ユーザーの価値 ユニットテストとの色分け ユニットテスト: 作り手の意図 受け入れテスト: 顧客の意図 うまくやらないとコストが高すぎる 適切に作成して保守すれば自動のほうがはるかに安上がりになる ユニットテストやコンポーネントテストではどれほど包括的にやっても検出出来ない問題がある 手動テストはアプリケーションの複雑さに関わらずきわめて高くつく
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
QA≒テストからQA⊃テストに進化するためのQA入門 (JaSST ‘23 Tokyo 版)
サバンナ便り〜自動テストに関する連載で得られた知見のまとめ〜
開発効率を上げるテスト設計
