タイトルの結論は、「役に立つ」です。 役に立つか立たないかの議論は一切せず、本記事では、如何に統計や数学が実社会で役に立つかを紹介します。 はじめに こんにちは。ZENKIGENデータサイエンスチーム所属の廣田です。原籍はオムロンソーシアルソリューションズ株式会社 技術創造センタですが、社外出向でZENKIGENに所属しており、数理最適化や機械学習を用いたデータの分析業務、それらの結果に基づいた顧客への提案をしております[1]。 出向先のZENKIGENの同僚にも、原籍のオムロンの同僚にも、統計検定®の準1級や1級を持っている方がいて、私も負けじと準1級を受験しました。結果、統計検定®準1級に合格し、優秀成績賞までいただくことができました。 統計検定®合格証と優秀成績賞 試験対策を通じて、改めて統計学の考え方は有用と感じました。この手の検定試験は物事を体系的に学ぶきっかけになるため、私個人
Pythonのパッケージ・プロジェクト管理ツールはまだ乱立状態にあって、どれを使えばいいのかわからないから慣れたpyenv+pipを使おうという判断をする人がいるかもしれない。その判断自体は別に否定しないけれども、初心者に教える時にpyenvを教えるのはもうそろそろやめてほしい。 Pythonをソースからビルドするので、コンパイラや依存ライブラリを事前に揃えないといけない。依存ライブラリが足りないと中途半端なPython環境もできうる。 デフォルトで最適化オプション(PGO+LTO)が付いてないので、最適化ビルドしたPythonより~5%程度遅い Windowsで使えない Rye, pdm, Hatch などは python-build-standalone と呼ばれるビルド済みPythonをインストールする機能があるので、これらの欠点が存在しない。 Pythonをインストールするところま
概要 pythonでテストコードを書くときがありますが、（筆者のように）超初心者からすると難しい用語や書き方がたくさん並んでいてハードルが高いです。 テストコードの入口となる最低限（最低限過ぎるかもしれませんが）の書き方を備忘を兼ねて書きます。 pythonでのテストコードを書く時のライブラリの種類 筆者が簡単に調べたところ、2つのライブラリがよく使われているようです。 unittest : python標準ライブラリ。インストールが必要ない。pytestと比較すると、柔軟なテストケースを書きづらい。 pytest : サードパーティ製のライブラリ。インストールの必要がある。柔軟なテストケースが書ける。pythonのテストコードを書く時のデファクトスタンダートになりつつある模様（これが本当かは確認していないですが、そういう記述を見かけることが多かったです）。 筆者個人としては、以下の3つの
はじめに PythonのDockerfileを作成する際、ネット上で適切な情報が見つからず、試行錯誤することがあります。そこで、ここでまとめてみます。 完成品 # 開発用ステージ FROM python:3.11-bullseye AS developer ENV PYTHONUNBUFFERED=1 WORKDIR /app RUN apt-get update \ && apt-get install -y --no-install-recommends \ bash=5.1-2+deb11u1 \ && apt-get -y clean \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt ./ RUN pip install --no-cache-dir -r requirements.txt COPY . . # ビルド用ス
こんにちは、横須賀市生成AI推進チームのM田です。 横須賀市がChatGPTを全庁利用を始めて1年経ちましたが、現在、いよいよ市民向けのAIサービスの実現に向けて相談AIチャットボットの実証実験をはじめたところです。 既に多くの人から話しかけてもらっていて、想定したよりも多くのアクセスがあったため一時停止するトラブルもありました…。 （現在は動いています） 今回は、この「ニャンぺい」を公開するにあたって、内部で行うテストをChatGPT（GPT-4o）とPythonプログラムを使って超効率化したよ、という話です。 AIチャットボットのテストAIチャットボットを作るにあたって、チャットボットの挙動（望んだ返答をしているか）のチェックをするテストは欠かせません。 テストは、まず複数のシナリオを作り、チャットボットへ質問し、回答を採点します。そして、採点結果をもとにチャットボットを修正して、再度
Python命名規則の基本
はじめに Pythonの命名規則は、コードの可読性を高めるために非常に重要です。 実はPeP8というPythonのスタイルガイドには、命名規則に関する詳細なガイドラインが記載されています。 本記事では、Pythonの命名規則について、PeP8に基づいてまとめたいと思います。 なぜ命名規則が重要なのか 命名規則(Naming Convention)は、コードの可読性を高めるために非常に重要です。 最も重要なのは一貫性(Consistency)で、コードが一貫性のある命名規則に従っていると、変数や関数の目的が明確になり、コードの理解が容易になります。 また、命名規則に従っていると、他の開発者がコードを読んだり、メンテナンスしたりする際にも、迷うことなく作業を進られるため、作業効率UPにもつながります。 Pythonの命名規則のタイプ Pythonの命名規則には、大きく分けて以下の4つのタイプが
NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更 Pythonの代表的な学術計算ライブラリNumPyの初のメジャーバージョンアップとなる「NumPy 2.0」のリリース日が、2024年6月16日となることが発表された。 NumPy 2.0 release date: June 16 -News-NumPy NumPyはPythonで数値計算を行うためのライブラリ。NumPyプロジェクトにより、修正BSDライセンスの元で開発されているオープンソースソフトウェアである。低レベルから高度なものまでさまざまな計算に対応し、高いパフォーマンスを発揮することから、近年のAI、機械学習の発展において欠かせないモジュールとなっている。 NumPy 2.0は2006年以来の最初のメジャーリリースとなり、数多くの新機能と大幅なパフォーマンスアップが盛り
G-gen の神谷です。今回、Gemini 1.5 Pro を活用して、ビジネス心理テストであるストレングスファインダーで自身の強みを分析し、AI によるマネジメントやメンタリングが可能か、試してみました。本記事では、その取り組みの詳細をご紹介します。 ストレングスファインダーとは Strength Mentor Bot の作成 Gemini 1.5 Pro を使った実装 34の資質を JSON 形式で抽出 BigQuery への保存と分析 チームビルディングへの応用 ストレングスファインダーとは まず、ストレングスファインダーについて説明します。 ストレングスファインダーは、個人の強みを特定し、それを活かすための評価ツールです。クリフトンという心理学者によって開発され、現在はギャラップ社が提供しています。 34の資質（強み）を測定し、個人の弱みではなく強みに焦点を当てることで、より良いパ
はじめに PythonでHTTPリクエストを大量に非同期で投げる方法を探していました。requestモジュールはどうも対応していない様子なので、aiohttpを使うしかないのか…？と諦めていたところ、どうやらHTTPXが良さそうなので、試してみました。 What's HTTPX? HTTPXはDjango REST frameworkや、Starlette、Uvicornと同様に管理しているEncode社が管理しているプロダクトのようです。 HTTPX is a fully featured HTTP client library for Python 3. It includes an integrated command line client, has support for both HTTP/1.1 and HTTP/2, and provides both sync and a
PDFをLLMで解析する前処理のパーサーは何が良いのか？（pdfminer, PyMuPDF, pypdf, Unstructured） - Qiita
PDFをLLMで解析する前処理のパーサーは何が良いのか？（pdfminer, PyMuPDF, pypdf, Unstructured）PythonpdfminerPyMuPDFpyPDFUnstructured 現状の LLM は PDF ファイルを直接処理出来ない為、予めなんらかのプレーンテキスト形式に変換する必要があります。 （PDFを読める各チャットアプリも内部的には何らかの手段でプレーンテキスト形式に変換しているはずです） 変換を行ってくれるライブラリは複数存在する為、動作の違いを確認します。 抽出プログラム 抽出する対象のPDFファイルはBedrockユーザーガイドの日本語版を使います。
はじめに 5月13日にGPT-4oがOpenAIから発表されました。 この発表以降、Xでも多くの方がGPT-4oを試した感想を書いていました。 その中で画像認識の精度が上がって、かなり使える機能になってきているとの話があり、気になったのでまずはAPIから使えるようにしてみました。 OpenAIのモデルがVisionに対応したのはだいぶ前になりますが、 値段の割にあんまり精度が良くなさそうだったので、お恥ずかしながら今まで試したことがありませんでした。 なので今回は、 VisionのAPIドキュメントを一通り読む Chainlitのマルチモーダル機能の挙動を確認する 以前作成したChainlitとLangGraphのAgentアプリで画像認識をできるようにする という手順でやっていきたいと思います。 Vision APIのドキュメント確認 まずはVisionの使い方やコストについて、Open
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計検定®︎準１級は実務で役に立つのか？
pyenvを初心者に薦めるのはもうやめよう - methaneのブログ
【超初心者向け】Pythonのテストの書き方（pytest, unittest） - Qiita
PythonのDockerfileをセキュアにするためのベストプラクティス - Qiita
AIチャットボット「ニャンぺい」のテストをPython×GPT-4oで自動化する！｜自治体AI活用マガジン（運営：横須賀市）
NumPy 2.0、6/16にリリース ―初のメジャーバージョンアップでABI、APIに大幅な変更 | gihyo.jp
Gemini 1.5 Proを使って自分の強みを分析してみた - G-gen Tech Blog
Pythonで使える！非同期対応のRequestsモジュールとしてのHTTPX
ChainlitとLangGraphを活用してAgentによる画像認識を実現する方法