Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの
Mojoプログラミング言語の特徴とは？将来性は？よく分かる入門資料まとめ
2023年5月に発表された新しいプログラミング言語「Mojo」が世間で注目を浴びています。 PythonをベースにしたAI向きの言語であるということで、どんな言語なのか気になっている方も多いのではないでしょうか？ この記事では、Mojoの特徴や機能、今後の将来性について解説します。Mojoを学んでみたい方向けの学習方法もまとめているので、これからMojoを勉強すべきか検討している方は、ぜひご一読ください。 レバテックフリーランスはITエンジニア専門の フリーランスエージェントです案件を探してみる 注目のプログラミング言語「Mojo」とは？ プログラミング言語「Mojo」とは、どのような目的で作られ、他の言語と比べて何が新しいのでしょうか。まずはMojoの概要と特徴についてチェックしていきます。 Mojoプログラミング言語の概要 「Mojo（モジョ）」とは、Modular社が2023年5月に
新しいPython風プログラミング言語Mojoを試してみた | DevelopersIO
こんにちは。CX事業本部Delivery部のakkyです。 少々旧聞となりますが、今年9月にMojo言語がローカルで実行できるようにリリースされました。 MojoはSwiftの開発者が立ち上げたModular社が開発している新しいプログラミング言語で、Pythonの文法とRustのメモリ安全性を兼ね備えたコンパイラ型プログラミング言語です。 AI開発に使用することが想定されていて、SIMDのファーストクラスサポートなども特徴的です。実際にllama2.mojoというLlama2の実行環境の実装も行われています。 現在はPythonとの完全な互換性はありませんが、Pythonインタプリタを呼び出すことでPythonコード/ライブラリを呼び出すことができ、将来的にはMojo自体がPythonのスーパーセットとなることを目指しているそうです。 10月19日にはMacのApple silicon(
Python: コマンドラインパーサの Click が便利すぎた - CUBE SUGAR CONTAINER
Python のコマンドラインパーサといえば、標準ライブラリに組み込まれている argparse が基本。 蛇足になるけど、バージョン 2.7 以前で使われていた optparse は将来的に廃止予定なので新たに使うことは避けた方が良い。 そして、今回紹介する Python のサードパーティ製コマンドラインパーサ Click は、既存のパッケージと比較すると最小限のコードで美しくコマンドラインインターフェースを実装できるように作られている。 どれくらい楽になるかといえば、もう argparse を使っている場合じゃないな、と思えるレベル。 Welcome to Click — Click Documentation (8.0.x) もくじ もくじ Click をインストールする 基本的な使い方 コマンドを定義する オプションを追加する 引数を追加する サブコマンドを作る オプションについて
【nasne用】シンプルなニコニコ実況表示ソフトを作った。【Python】 - Qiita
はじめに 2020年11月、『ニコニコ実況リニューアル、torne等との連携サービス終了』というニュースが全nasneユーザーを震撼させた。 それから数ヶ月後の先日、バッファロー版nasneが発売されたが、ニコニコ実況に代わるサービスは現れず、私は今日も一人寂しく録画を消化するのであった… というわけで（？）、やっぱりニコニコ実況のないnasneは味気ないですよね。 今回も ないなら作ろうの精神で、nasneと連携してニコニコ実況を表示する簡単なPC用GUIアプリを作ってみました。 これで録画視聴が捗りますね！ PC TV Plus（右、PC用のnasne再生ソフト）で動画の再生を開始すると自動的に実況（左）が流れ始めます。 スマートフォンで動画の再生を開始しても、同様にPC上で実況の再生が自動開始されます。 追記 Pydroid3というAndroidアプリで実行したところ、スマートフォン
めちゃくちゃ手間のかかっていた手作業をPython使って激効率化した話 - Qiita
前置き すごく手間のいる作業が存在していた。ざっくり スプレッドシートを複製 運用管理ツールからjsonを複数DL シミュレータ実行 シミュレータ実行結果をスプレッドシートに貼り付け 目視で結果確認（NGならリトライ） スプレッドシートからExcelファイルexport メール＆Slackで報告 実質的な作業時間としては10~20min（リトライあるともっと）かかるが、色んなツールが必要だからとにかく面倒。 図にするとこんな感じ 環境 masOS Mojave ver10.14.6 Python 3.7.3 pip 19.2.2 激効率化（自動化）した結果 パラメータ指定なしのコマンド一つで、欲しかったExcelファイルが作成されるようにした 自動化のポイント 1. 運用観点 無駄は無くしていこうな方針で2点対応。 1-1. スプレッドシートの廃止 シミュレート結果の確認＋Excelファイ
Python3: 並列処理で速度を上げる Joblib | お名前.com、さくらのVPS等のサーバーでの開発・設定メモ
#! /usr/bin/env python # -*- coding: utf-8 -*- import sys import re import MySQLdb import math import more_itertools from joblib import Parallel, delayed def checker(lines: list): sql = 'select * from filelist where size=%s' conn = MySQLdb.connect(user='mysqluser',passwd='mysqlpassword',host='mysqlhost',db='mysqldb', charset='utf8') cur = conn.cursor() cur.execute('SET NAMES utf8') ret = [] for li
【高合格率と最低価格】アークのＩＴＩＬ® ＩＳＯ 研修
【ファンデーション 合格100％継続中】 Zoom ３日コース（研修と試験） Zoom ２日コース（研修と試験） ｅラーニングコース(通学不要。研修と試験) ITIL is a registered trade mark of AXELOS Limited, used under permission of AXELOS Limited.The Swirl logo? is a trade mark of AXELOS Limited, used under permission of AXELOS Limited. All rights reserved. 【情報システム部門実務管理（近日開講）】 (ＰＭ Practitioner Manager) ＜全体管理＞ (CAI：Collaborate,Assure,and Improve) ・ Zoom ３日コース ・ ｅラーニングコース ＜
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita
はじめに 最近サーバレスアーキテクチャに興味を持っています。以下2エントリーはGoogle Apps ScriptでJava Scriptを使った時の記事ですが、今回はAWS上のLambdaを使って、サーバーレスでPythonコードを実行させることをやっていきたいと思います。記事の内容は、Pythonほぼ初めまして&&AWSほぼ初めましての人が、LambdaとDynamoDBでいろいろできるようになるまでの記録を書いていきます。 また最初AWS分かんなさすぎて最初は絶望していたし、Lambdaはエラー出まくって初見殺しだし、Python興味はあるけど使ったこと少なめと、かなり初心者目線で記事を書いていきたいと思ってます。写真多め、初心者がわかる程度の内容を、ひとつずつ書いていく感じですので、PythonistとAWS上級者の方は新しいことはないかと思いますが、どうぞよろしくお願いします。
![[ AWS ] 初めてLambda-PythonとDynamoDBに触る人に参考になるかもな話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0b3782ac3cb9df726f9db751a95aace065be13f6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJTIwQVdTJTIwJTVEJTIwJUU1JTg4JTlEJUUzJTgyJTgxJUUzJTgxJUE2TGFtYmRhLVB5dGhvbiVFMyU4MSVBOER5bmFtb0RCJUUzJTgxJUFCJUU4JUE3JUE2JUUzJTgyJThCJUU0JUJBJUJBJUUzJTgxJUFCJUU1JThGJTgyJUU4JTgwJTgzJUUzJTgxJUFCJUUzJTgxJUFBJUUzJTgyJThCJUUzJTgxJThCJUUzJTgyJTgyJUUzJTgxJUFBJUU4JUE5JUIxJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz04ZWU0MGM2YTk1OWIyMTQ4ZTg0NDliYTM1MDI3N2UzZQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweWtoaXJhbyZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzJmYjQxZjhhOGNjYjYxZjdhZDg2NjNjMDI1OTgzMTk%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D92d653200dfb69a256b6b26d7543b863)
[Python][Tips] DynamoDBテーブルでもアトミックカウンターを更新したい | DevelopersIO
こんにちは。こむろ＠札幌です。北の大地が本気を出してきました。本日（2016/11/09大統領選挙戦）は最高気温0℃です。寒すぎる。 最近は専ら運用サイドでAWSのマネジメントコンソールとお友達です。 アトミックカウンタの更新をしたい 今回はDynamoDBのテーブルの項目をPythonで操作する際に色々と試行錯誤したので、そちらの記録です。 あるDynamoDBのテーブルに定義されているアトミックカウンタの項目がありました。こちらをインクリメントする単純なスクリプトが欲しかったのですが、AWS公式ドキュメントを参照して実装してみるとうまく行きませんでした。 今回は色々悩んだ挙句、弊社屈指の蛇使いであるサーモン横山くんに、色々と教えてもらいつつ、七転八倒しながらスクリプトを作成しました。 環境 自分の環境は以下になります。 OS: Mac OSX 10.10.5 Python: 3.4.3
![[Python][Tips] DynamoDBテーブルでもアトミックカウンターを更新したい | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/4b2f07b09ab4c1be36356e4aa6b29a3c80c4aa9a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FDynamoDB.png)
Pythonでパワポの説明資料（報告書）を生成する - Qiita
1. パワーポイントを生成するPythonライブラリの導入 世の中便利なもので大体のものはすでに存在している。 python-pptx そして先駆者が使っている。 https://qiita.com/daiki7nohe/items/11019e90cd43c82095fa https://qiita.com/pocket8137/items/3d8fda2c47664bf9130b 以下のコマンドでインストール。 pip install python-pptx 2. サンプル：基本的なスライド まずはGetting Startedから基本的なスライドの生成プログラムを見る。 このスタートアップガイドで図や表の挿入方法について触れられている。 プログラムの流れは 1. レイアウトの読み込み 2. スライドの追加 3. タイトルや本文の挿入 4. 保存 となっている。 from pptx i
Pythonの学び方と,読むべき本を体系化しました2018〜初心者から上級者まで - Lean Baseball
【2021/1/11】2021年版を公開しました 【2020/1/9】2020年版もあります, こちらもよろしくおねがいします！ 【2019/8/12】一部書籍のリンクを最新版に更新しました 【2018/12/24追記】最新版を公開しました！「Python本まとめ・2019年版 - Webとデータ分析を初心者が仕事にするまで - Lean Baseball」 機械学習にWebアプリ,そしてFintechと,今年（2017年）は昨年（2016年）以上にPython界隈が賑やかな一年でした. Pythonでお仕事と野球データ分析を生業としている@shinyorke（野球の人）ですこんにちは. このエントリーでは,そんなPythonの学び方・本が充実した今年から来年（2018年）に移るにあたり, 最短距離でPythonレベルを上げるための学び方・読むべき本の選び方〜2018 をまとめてみました.
ちょっとしたツールを作るのに便利なPythonライブラリ - Qiita
この記事は、LIFULL Advent Calendar 2017の2日目の記事です。 おはようございます。新UX開発部の二宮( @ninomiyt )です。 LIFULLではデータ解析や最適化の用途、もしくはAWS Lambda上の簡易ツール実装用途などでPythonがそれなりに普及してきました。数値計算寄りの（いわゆるデータサイエンティスト的な）メンバーも今はPythonを使うことが多く、コード量としては小規模なプロジェクトが多く、簡単なAPIやバッチ処理の実装までやってもらうこともあります。 そのレビューをやっていく中で、「これ使うともっと簡単に実装できるよね」っていうライブラリがいくつかまとまってきたので紹介します。 click コマンドラインパーサー用のライブラリで、デコレータを使って関数を簡単にCLI化できます。 標準ライブラリのargparseがありますが、clickではバリ
[Python] 軽量WebフレームワークのFlaskに入門（準備、起動、HTML、静的ファイル、GET、POSTなど） - YoheiM .NET
こんにちは、@yoheiMuneです。 今日はPythonのWebフレームワークの1つ、Flaskをブログで書きたいと思います。個人的にも業務でも使っていて、軽量フレームワークでとても簡単に使えます。 目次 Flaskとは Flaskとは、PythonのWebフレームワークの1つです。Webフレームワークでは他にもdjangoがありますが、それに比べて超軽量なところが特長です。数行でWebアプリケーションが作れて、何かを手軽に作るには便利なフレームワークです。ただ、超軽量で自由が効くので、大きなアプリケーションを作ろうとすると、フォルダ構成やクラス設計などなど、決めることが多いです（自分で決めたいという人は嬉しい話ですが）。 Flaskのインストール インストールはpip経由で行うことができます。 $ pip install --upgrade Flask Flaskでハローワールド それ
![[Python] 軽量WebフレームワークのFlaskに入門（準備、起動、HTML、静的ファイル、GET、POSTなど） - YoheiM .NET](https://cdn-ak-scissors.b.st-hatena.com/image/square/847b109f4a5bf13e6a055a54e22e2b799eb7a29a/height=288;version=1;width=512/https%3A%2F%2Fwww.yoheim.net%2Fimage%2F417.jpg)
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Torishima / INTP on X: "これは私が実際に複数の Python 製ソフトウェアを Windows / Linux 両対応でポータブル化した際に苦心して得た大変貴重な知見＆持論情報ですが、 ・PyInstaller はマルウェアに使われ過ぎたせいでウイルス判定されやすいが、yt-dlp がやっている (https://t.co/PjfYtERhX6) ように自前ビルドの…"
【図解】Python基礎64選 - Qiita
Pythonの「仮想環境」を完全に理解しよう
【Pyxel】Pythonでレトロゲームを作ろう！ 総集編 -まるっと1週間でゲーム開発入門-｜はやぶさの技術ノート
