機械学習エンジニアの吉田です。 この記事はLayerXテックアドカレ14日目の記事です。前回は @shnjtk による ストーリーポイントではなくアウトカムで開発速度を測る でした。次回は osuke さんが担当します。 今回はバクラクの帳票画像を使ってDALL-EのdVAE (discrete Variational AutoEncoder) を学習させた話をご紹介します。 背景 前回 バクラクのデータセットを用いたLayoutLMv3による事前学習 という記事を書きました。 tech.layerx.co.jp この記事にあるように、 LayoutLMv3*1のMasked Image Modeling (MIM)の事前学習では画像トークナイザーとして学習済みのDALL-EのdVAEを使っていました。 しかし、オリジナルのLayoutLMv3では文書画像で事前学習されたDiT*2の画像ト

こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう？ この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務や電子帳簿保存法の要件を満たすための項目を抽出する機能を構築しています。 AI-OCR機能については、以下の資料などで詳しく述べられています。 バクラクでは、ありがたい事に導入社数が順調に伸びており、

2023年10月21日、ARG Webインテリジェンスとインタラクション研究会（ウィッツ研究会）のセミナーにおける講演資料です。 様々なコンテンツやクラウドサービスの充実により、機械学習という技術を利用するハードルは低くなりました。一方で、機械学習を用いて価値を生み出すことは容易ではありません。プロダクト開発において「機械学習」という技術で価値を創出する技術について、バクラク請求書の実例とともにお話ししました。 https://www.sigwi2.org/cfanos3.html

DataEngineeringStudy #13に10Xの瀧本が登壇した際の資料です。

こんにちは！エンジニアの福間（fkm_y）です。 先日、弊社でデータベースの技術顧問をして頂いてる三谷（mita2）さんに開発部向けのMySQLロックのデータベース勉強会を実施したのでそのレポートをお伝えします。 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しています。以前にもロックに関するMySQL勉強会を開催していたのですが、1年半経過しており参加していない開発メンバーのほうが多くなっていたことやプロダクトの成長によりデッドロックなどのロックに起因する問題が目立ち始めていたことから増強版のMySQLロックのデータベース勉強会を開催することになりました。 概要 データベースのロックについて ロックタイムアウトについて デッドロックについて まとめ データベースのロックについて なぜデータベースにロック機構があるのかから知ることが重要です。性能と安全性を両立するためにあ

こんにちは、メルカリMicroservices SREチームの藤本(@jimo1001)です。 私は現在、Embedded SRE として サーチインフラチームに入り活動しています。このサーチインフラチームは、Elasticsearchを使用した検索基盤を管理し、様々なマイクロサービスに検索機能を提供するチームです。この検索基盤は非常に巨大なプラットフォームで、メルカリ全体のマシンリソースの高い割合を占めており、メルカリの検索を支える非常に重要なものです。私の Embedded SRE としてのミッションは検索基盤の信頼性の向上と自動化を推進することです。 今回は、メルカリの検索基盤で利用している Elasticsearch における運用のノウハウを紹介したいと思います。 Elasticsearch とは Elasticsearch は、Elastic社が開発する Apache Lucen

コンテナ・サーバレスがもたらす世界と開発者がAWS上で取り組むべきこと / Containers and Serverless Technology for Developers

エンジニアがいい仕事人生を歩むために、「心と体のコンディション」と「仕事のパフォーマンス」にはどんな相関関係があるのだろう？ 高いパフォーマンスを発揮するエンジニアの経験談から「心・技術・体」のベストバランスを学ぶ！ 2020年、NTT東日本と独立行政法人情報処理推進機構（以下、IPA）が提供した、無償かつユーザー登録不要で利用できるシンクライアント型VPN『シン・テレワークシステム』が話題を呼んだ。 このシステムをわずか2週間で完成させたことで称賛を集めたのが、自ら経営するソフトイーサの代表取締役、筑波大学産学連携准教授、IPA技術研究室長、NTT東日本特殊局員と、4足のわらじを履くプログラマー・登大遊さんだ。 優れたアウトプットを出し続ける登さんだが、「パフォーマンスと自身のコンディションは、基本的に常に一定」なのだという。登さんはなぜ、ブレずに高いパフォーマンスを出し続けることができ

はじめに GitHub で Mermaid がサポートされました。 Mermaid は図やグラフを描画するの独自の記法を持ちます。 その記法を Markdown のコードブロック中に記述するだけで図を描画できるのが便利です。 ...便利なのですが、記法が独特なことや機能が豊富なことから、とっつきにくいところもあります。 弊社[1]では みんチャレ 開発の情報共有ツールとして esa.io を活用しており、 esa も Mermaid をサポートしており以前から活用していました。 この記事では、私がこれまでに活用してきた中から特に便利だと感じた機能を紹介します。 ちなみに Zenn も Mermaid をサポートしているため図を描画できます。 Gantt ガントチャートです。 私が Mermaid を使いたいと思ったきっかけの機能です。 まずは、一番シンプルな例を書きます。 gantt Co

2019年10月10日に発売した、及川卓也の著書『ソフトウェア・ファースト あらゆるビジネスを一変させる最強戦略』。このnoteでは、出版の経緯や書籍づくりの裏話、発刊時に削った原稿の公開など、制作にまつわるさまざまな情報を発信していきます。 こんにちは、及川卓也のマネージャーの酒井と申します。今でこそ多くの方にご愛読いただいている『ソフトウェア・ファースト』ですが、制作中はプロダクト開発におけるアンチパターンをいろいろやってしまいました。この経験は、その後の私たちの仕事で「これ、進研ゼミでやったやつだ！」的な効力を発揮し、立ち止まって考える機会を与えてくれています。どれもあるあるで、皆さまのお仕事を振り返る際にもお役に立てるのではないかと思い、整理してみました。 ここからは、酒井真弓著『ルポ 日本のDX最前線』（集英社インターナショナル）を再構成してお届けます。 筆者（酒井）は独立を機に

実際に逮捕・起訴された人の事例をいろいろ読んでみると、普通に生活・仕事していてもされる時はされるんだと思う。 痴漢冤罪や荷物すり替えで違法薬物の運び屋にされるなどの巻き込まれケースだったり、もともとルール（法律・運用）が曖昧なグレーゾーンが拡大解釈で突然咎められたり、捜査機関の描いた架空のストーリーの登場人物にされたり、本人は犯罪の意識が希薄だったり、色々ある。 逮捕・起訴されると人生に大きなダメージを被る。会社なんかで災害を想定してBCP（事業継続計画）を事前に立てたりするけど、それと同じような感じで、万が一逮捕された場合でも「こうなる」をそこそこ認識して「こうする」を事前に決めておければ役に立つかもしれないと思うようになった。 概要 弁護士選び 逮捕～裁判の流れ 逮捕 逮捕後 留置場・拘置所 取調べ・調書 捜索差押 勾留請求・勾留質問 裁判 世論形成・名誉回復 参考事例・参考文献 概要

Amazon Web Services (以下AWS)の利用開始時にやるべき設定作業を解説します。AWSの利用開始とは、AWSアカウントの開設を意味しますが、より安全に利用するため、AWSアカウント開設直後にやるべき設定がいくつかあります。この連載ではその設定内容を説明します。 AWS Organizationsを使用することで、複数のアカウントに自動的にこういった初期設定を行うことも可能ですが、この連載では新規で1アカウントを作成した場合を前提とします。複数アカウントの場合も、基本的な考え方は同じになります。 設定作業は全１９個あり、作業内容の難しさや必要性に応じて以下３つに分類しています。 少なくともMUSTの作業については実施するようにしましょう。 MUST ：アカウント開設後に必ず実施すべき作業 SHOULD ：設定内容の検討または利用方法を決定のうえ、可能な限り実施すべき作業 B

九州支社技術部(九州・中四国事業部)所属。自作パソコン好きで、ハードウェア選定の仕事を与えると喜ぶ。最近は何でもコンテナにしたい教に入信し、コンテナ化の機会を虎視眈々と狙っている。 Docker完全に理解した？ 【エンジニア用語解説】 「完全に理解した」 製品を利用をするためのチュートリアルを完了できたという意味。 「なにもわからない」 製品が本質的に抱える問題に直面するほど熟知が進んだという意味。 「チョットデキル」 同じ製品を自分でも１から作れるという意味。または開発者本人。 — 伊藤 祐策(パソコンの大先生) (@ito_yusaku) September 20, 2018 ということで、Docker完全に理解したので、自分なりの「これからDockerでコンテナを始める時のポイント」をいくつかご紹介したいと思います。 申し遅れましたが、九州支社技術部(九州・中四国事業部)所属のy-m

@NTT 社員に嫌がらせするのもうやめようぜ。。 （退職するor退職した人間も含めてや。） 0. この記事を読む前に 年末なので、人間関係を整理する。今まで受けたパワハラの仕返しの意味も込めて、退職エントリを書いておく。 NTT社員は自分でやったこともやっていないとよく嘘をつくので（痴呆症が多いのかな）、直接相手にしても仕方がない。 外部に発信するしか手段がなかったので、この場で晒しておく。 俺は今までの短い人生で気づいた、 「相手がどれだけ巨大であろうと、戦わなければ一生勝利を掴めることはない。今こそ小さな反撃の狼煙をあげる時だ」と　（←ここ非常に重要） あと、ついでに俺のモットーも記載しておく 「自分からは攻撃しないが、やられたらやり返す。倍返しだ。」 あと法人の名誉毀損に問われないように一言。名誉毀損罪の構成要件を満たす場合であっても、 「公共の利害に関する特例」が成立する場合には、

共著者が「英文校正を受けたのに査読者から英語の質を指摘された」と不満そうだったので、サバティカルのときに作った自分用メモを渡した。 年末年始に論文を書こうという方、ご笑覧ください。年始に執筆会やりたい。 https://t.co/koSG76i4Vs

この記事は Tech KAYAC Advent Calendar 2021 の20日目の記事です。 こんにちは、バックエンドエンジニアの @commojun です。今年のTech KAYAC Advent Calendarは3度めの参戦です！よろしくお願いいたします！ 本日の記事は、昨年の記事の続きで、Amazon EC2のプロダクトをAmazon ECS構成へと乗り換えた話になります！ techblog.kayac.com 目次 目次 背景 Amazon Linuxのサポート終了 ついでにPerlのバージョンもあげた 苦労したポイント 1，デプロイ方法がめっちゃ変わる デプロイのために都度コンテナイメージを焼く 2階建て作戦 2，batchサーバどうするの問題 sqsjfr + SQS + sqsjkr 作戦 3，泥臭い戦い ecspressoの存在 非エンジニアにもわかってもらおう 「

「CEOに身代金を要求したい」 こんにちは、PSIRTマネージャのただただし（tdtds）です。この記事はfreee Developers Advent Calendar 2021 18日目です。 freeeにjoinしてから早くも14ヶ月がすぎました。freeeでは毎年10月に全社障害訓練をしていて、昨年は入社したてで右も左もわからないままAWS上の本番環境（のレプリカ）に侵入してDBをぶっ壊す役目をさせられたのも良い思い出です*1。 で、上の「CEOに身代金を要求したい」という物騒な相談は、今年の訓練計画の話です。話を持ち掛けてきたのはCIOの土佐。昨年は主要サービスが落ちて、開発チームが対応にあたる中、ビジネスサイドも顧客対応などで訓練参加しましたが、今年はさらに、経営サイドまで巻き込もうというゴール設定がされたわけですね。腕が鳴ります。 ゴールは「CEOに4BTCを要求する」 ゴー