S2JDBCのiterate()で OutOfMemoryError - ログ日記
S2JDBCを使って DBのデータ数十万件をまとめてDLしようとしたらエラーになった。 getResultList()じゃなくてiterate()使ったら結果をまとめて保持しなくなるからメモリを使わなくなるんじゃないの？と思ったけどダメ。 WicketのResourceStream系がキャッシュしてるのか自分で書いたオブジェクトを書き出す処理がミスってたのか何か使い方が間違ってたのか分からずハマった。 Eclipse Memory Analyzer でダンプを見たら、どこかでデータを全件保持している模様。 2/29 ここから追記S2JDBC+PostgreSQLだとs2jdbc.diconのfetchSizeプロパティの設定＋トランザクションをきちんと開始する、で解決しそう。(とりあえずローカル環境でエラーの再現 → エラー修正の確認まではできた) PostgreSQL: http://o
100万件ぐらいのレコードを扱ったらOOMEが出た話。 - 谷本 心 in せろ部屋
要約 技術的な話だけ教えて、という方のために先に結論だけ書いておきますと、PostgreSQLはクエリを実行した時点で全レコードの情報を一気に読んできてヒープを埋めてしまう場合がある、ということ話です。 たとえば、ResultSet#nextメソッドを使いながら処理を回すようなコードを書いて、少ないヒープでも処理できるようにするのは常套手段だと思いますが、そういうコードを書いていても一気にヒープを消費してしまうことがあるのです。詳しくはこのドキュメントを見てください。 https://jdbc.postgresql.org/documentation/head/query.html#query-with-cursor ことの発端 ちょっと仕事でJava + jOOQ + PostgreSQLで、DBのデータを集計するようなバッチ処理を書いてまして、もちろん俺様の書いたコードにバグなんてある
【トラブル大捜査線】失われたコネクションを追え！
【トラブル大捜査線】失われたコネクションを追え！：現場から学ぶWebアプリ開発のトラブルハック（7）（3/3 ページ） 【最終話】それが、トラブルシューティング屋の務め クローズ漏れの個所も大体の見当が付いたので、アプリケーション開発チームに確認・修正を依頼した。 アプリケーションが直るまでの間、removeAbandonedを付けたままで負荷試験を継続することにした。目的はremoveAbandonedのオーバヘッドを測定することである。logAbandonedを指定しなければstackTraceは生成されない。そのため、ある程度の性能は出るように思われた。 ■removeAbandonedの同期化 しかし、実際に測定してみたところ、思ったように性能は出なかった。CPUがほとんど使い切れなかったのだ。 ここまできたら、ついでに解析してしまうのが、トラブルシューティング屋の務めだろう。負荷
Log4J コネクションプーリング対応JDBCAppenderでパフォーマンスを向上する
はじめに Apache Logging Services ProjectのLog4Jは、DBにログを出力するためのクラスとしてJDBCAppenderクラスを用意しています。このクラスはコネクションプーリングに対応していないため、ログを出力するたびに「DBへの接続」「SQL実行」「DB接続のクローズ」を繰り返します。そのためログの出力回数が増えるとシステムの負荷が高くなってしまいます。本稿では、JDBCAppenderクラスを拡張してコネクションプーリングに対応させる例を紹介します。DBのコネクションプーリング機能は「Jakarta commons DBCP」を使用します。 対象読者 Javaでプログラミングしたことがある方を対象とします。 必要な環境 J2SE5.0 Log4J 1.2.11 Jakarta Commons DBCP 1.2.1 Jakarta Commons Pool
Tomcat 5.0.* 系での DataSource ( データソース ) の利用 - Context ファイル 編-
本ページでの使用環境 OS：Windows XP SP 2 ( Linux 系 OS の場合も本ページと手順は同様です。 ) Java：JDK 5.0 UPDATE 8 Tomcat：5.0.28 ここでは、JDK 5.0 UPDATE 8 、Tocmat 5.0.28 がインストールされていることを前提として説明いたします。 これらのインストールについては下記のページを参照ください。 JDK のインストール -Windows 編- Tomcat 5.0.* 系のインストール - Windows 編 ( exe , zip ファイル ) - * ここでは zip ファイルを使用して C:/jakarta-tomcat-5.0.28 に Tomcat をインストールした前提とします。 CATALINA_HOME は、C:/jakarta-tomcat-5.0.28 です。
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。
＠IT：現場に活かすJakarta Project 第6回 DBのコネクションプールを簡単に実現する
今回も、前回「Commonsでオブジェクトプーリングを実現」に引き続きCommonsプロジェクトの活用法を紹介します。前回はPoolを利用してデータベースのコネクションプーリングを実現しました。今回はDBCPを用いて、より容易なデータベースのコネクションプーリングを実現してみましょう。なお、この原稿執筆時点でのDBCPコンポーネントの最新バージョンは1.0です。 PoolingDriverクラスとPoolingDataSourceクラス 通常JDBCを用いたプログラミングではConnectionオブジェクト（java.sql.Connection）を使ってデータベースにアクセスしますが、Connectionオブジェクトを取得するにはDriverオブジェクト（java.sql.Driver）やDataSourceオブジェクト（javax.sql.DataSource）が必要になります。DBC
2007-09-19
前回に引き続いてTextFieldネタを。 TextFieldWithHistory/TextFieldWithStoredHistoryクラスとPropertiesComponentクラス 履歴機能付きテキストフィールドってのは，...WithHistoryから察することができよう。WithStoredHistoryやPropertiesComponentについては，おいおい説明するとして，まずは外観をご披露。 これもキャプション部分はJPanel。左のTextFieldWithHistoryに「...」ボタンが付いているが，これは後付けしたもので，TextFieldWithHistory/TextFieldWithHistory単体での外観は右側のなんかアイコンが付いてるテキストフィールドがそう。 見た目から機能は推測できよう。こんな具合に入力履歴を保存できるテキストフィールドが，Te
DbUtilsで結果セットをJavaBeansにマッピングする
基本的なデータベースアクセス方法の問題 Javaから一般的なリレーショナルデータベース（以下、データベースと呼称）にアクセスするには、以下に示すようにjava.sqlパッケージのConnection、Statement、ResultSetを使うのが基本です。 InitialContext init = new InitialContext( ); DataSource ds = (DataSource)init.lookup("java:comp/env/jdbc/TestDB"); Connection con = ds.getConnection(); Statement st = con.createStatement(); ResultSet rs = st.executeQuery("select * from items;"); ……// rsから結果を取得 rs.close(
OracleとJ2SE5で致命的なバグ - minghaiの日記
02/22 まだこの記事を見に来る人が多いので1つ追加。 パッチのリリース予定日は2007年8月とのこと。 What effect does Oracle/Java5 bug have for comp... | Oracle Community Support just got back to me and told me: that a fix for this issue will be available in 10.2.0.4.0 JDBC Driver which is scheduled for august 2007. 01/12 修正情報が投稿されました。 http://forums.oracle.com/forums/thread.jspa?forumID=99&threadID=461701 まだ落とせませんが、近いうちにOTNに投稿されるであろう、ドライバ10.2.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Huge Database problem - ChemAxon Forum Archive
pgpool-II 2.0.1とjdbcどらいば - 似非 － 跡地
Jakarta Commons DBCP
java:jdbc [paulownia.jp]
hellohiro.com