Microsoft Learn では、対話的な方法で、従来の機械学習の概要を理解することができます。 これらのラーニング パスは、ディープ ラーニングのトピックに移行するための優れた基盤にもなり、各自の生産性を向上させます。 最も基本的な従来の機械学習モデルから、探索的データ分析やカスタマイジングのアーキテクチャまで、ブラウザーを離れることなく、概念的内容や対話型の Jupyter Notebook を簡単に把握することができます。 知識と興味に応じて自分のパスを選択してください。 オプション 1: 完全なコース: 機械学習のためのデータ サイエンスの基礎 ほとんどのユーザーには、このパスがお勧めです。 これには、概念の理解を最大限に高めるカスタム フローを備えた、他の 2 つのラーニング パスと同じモジュールがすべて含まれています。 基になる概念と、最も一般的な機械学習ツールでモデルを構
新人: 「本日データサイエンス部に配属になりました森本です!」 先輩: 「お、君が新人の森本さんか。僕が上司の馬庄だ。よろしく!」 新人: 「よろしくお願いします!」 先輩: 「さっそくだけど、練習として簡単なアプリを作ってみようか」 先輩: 「森本くんは Python なら書けるかな?」 新人: 「はい!大学の研究で Python 書いてました!PyTorch でモデル作成もできます!」 先輩: 「ほう、流石だね」 新人: 😊 先輩: 「じゃ、君には今から 3 時間で機械学習 Web アプリを作ってもらうよ」 先輩: 「題材はそうだなぁ、写真に写ってる顔を絵文字で隠すアプリにしよう」 先輩: 「あ、デプロイは不要。ローカルで動けばいいからね。顔認識と画像処理でいけるよね?」 新人: 😐 新人: (えぇぇぇぇぇぇぇ。3 時間?厳しすぎる...) 新人: (まずモデルどうしよう。てかもら
くりぷとバイオ@研究×新規事業開発 @cryptobiotech 企業で研究×新規事業開発に励む人 | 修士卒→大手メーカー研究職→Ph.D.取得→新規事業開発職 | 生成AIとDeepTech勉強中 | BiotechとFoodtechが好き | ココナラで院生就活支援→https://t.co/d94kwtA29T | note→ https://t.co/pvmKzQaD1A https://t.co/0FG5b9HSAL くりぷとバイオ@研究×新規事業開発 @cryptobiotech 1st author論文持ってる修士就活生が増えてるようで、それを達成してるM1後輩に話を聞いてみたら「日本語で文章書いて全部DeepL翻訳で英語化→英語化された文章をgoogle翻訳、みらい翻訳で日本語化→違和感ないか確認→指導教官に提出」というプロセスを踏んでるらしい。そりゃ早くなるわけだ。すご
2021年、企業が無償公開した新人エンジニア向け研修資料 機械学習やゲーム開発、AWS入門、数学などさまざま(1/2 ページ) 2021年、さまざまな企業が自社の社内研修資料を無償公開したことが話題になった。ITmedia NEWSでは主に、新人エンジニア向けに公開した資料などを記事として取り上げたところ、多くの反響が集まった。 学べる内容は、機械学習やIT業界の文化、ゲーム開発、セキュリティ、AWS入門、数学など各社さまざま。100ページ以上のスライドや5時間を超える動画などの資料もあり、新人教育への力の入れ具合も垣間見える。改めて、2021年に企業が無償公開した、社内研修資料を取り上げた記事を紹介する。 セガ、3DCG技術の基礎に役立つ数学資料 セガは6月15日に、2020年に社内勉強会で使った線形代数の教材を公式ブログで公開した。ゲーム制作では、キャラクターや背景を3次元で回転させた
こんにちは。 在宅の機会が増えて以来Youtubeを見る機会が増え、機械学習などが勉強できるチャンネルをいくつか探しては見ていました。探した中でよかったと思ったものをメモしていたのですが、せっかくなので公開したいと思います。日本語のソースがあるもののみ対象にしており、『これ無料でいいのか?』と思ったチャンネルを紹介したいと思います。主観で以下のレベルに分けましたがあくまで参考程度にお願いいたします。 基本:Pythonを触ってみた人 Pythonの説明・動かし方などを解説していて、動画によっては踏み込んだ内容になる 応用:アルゴリズムを使いこなしたい人 「model.fit(X, y)して動かしてみた」よりも踏みこみ、Python自体の説明は少ない 発展:研究開発もしたい人 最新の手法の仕組みの理解などが主眼であり、Pythonの解説はほぼ無い もしおすすめのチャンネルございましたらぜひコ
さくらインターネットは5月22日、人工衛星が取得したデータを使って機械学習やプログラミングの基礎が学べるeラーニング教材を無償公開すると発表した。在宅によるオンライン学習をサポートしたい考え。 提供するのは、動画で衛星データやプログラミングの基礎知識、データの解析手順などを学べる「Tellus Trainer」と、Pythonを使って簡単な画像処理や衛星画像の加工などを学べる「Tellus×TechAcademy 初心者向け Tellus 学習コース」。衛星データをクラウド上で分析できる同社のサービス「Tellus」の利用を想定している。 関連記事 さくら、衛星データ基盤「Tellus」に「つばめ」の撮影画像を追加 新宿エリアを定点観測 さくらインターネットが、JAXAの人工衛星「つばめ」が撮影した画像を「Tellus」に追加。新宿エリアを4月2日~5月10日の午後4時半ごろに毎日撮影した
今回自分は0から始めて9か月でコンペで銀メダル(6385分の249位,top4パーセント)を獲得できました。 自分の今までの流れをおさらいしていきます。 それまでの僕のスペック 数3と行列はほぼ何も分からない プログラムはrubyとjavaはそこそこに書ける、pythonは知らん 勉強の流れ 12月末 機械学習を始めると決心、とりあえず何をやればいいかよく分からないがpythonが必要らしいのでprogateでpythonをやってみる 1月 数学が必要らしいので、行列と微分積分について1から学んでみる。今から考えると、行列の基礎をさらえたのは良かったですが、それ以外はこの時間は絶対いらなかったなと考えています。 微分積分 行列 2月 Udemyで多くの講座を受ける、詳細は以下の記事にまとまっています https://qiita.com/HayatoYamaguchi/items/c8051
近年ではオンラインの翻訳サービスに機械学習が用いられるようになり、以前よりも格段に翻訳の精度が向上しています。2017年8月にサービスが開始された機械学習を用いたオンライン翻訳サービスの「DeepL翻訳」が、日本語と中国語の翻訳に新しく対応したとのことで、実際に日本語での翻訳機能を試してみました。 DeepL翻訳 https://www.deepl.com/translator DeepL翻訳が日本語と中国語を習得 https://www.deepl.com/blog/20200319.html DeepL Translator gets support for Japanese and Chinese languages - gHacks Tech News https://www.ghacks.net/2020/03/19/deepl-translator-gets-support-f
ここ1〜2年くらいで、業務やプライベートのデータ分析・データサイエンスで参考にした本(と一部本じゃないもの)をまとめてみました(注:もちろん全部読んでいます).*1. なお, あくまでワタシ個人(@shinyorke)の見解に基づいた独自解釈であり、所属組織・チームの意向とは関係ありません(とだけ最初に断っておきます). サクッとまとめると 「レベル感(はじめて・経験者)」だけででなく,「エンジニア面を鍛える or 理論を固める」の軸で考えると良い書籍・学び方に出会える確率上がる エンジニアでも理論でもどっちから初めても良い, がどちらかが得意な方が絶対幸せ(≒片方だけじゃお話にならない可能性) 個人的なオススメは「機械学習図鑑」「前処理大全」「機械学習のための特徴量エンジニアリング」そして「試して学ぶ機械学習」です. おしながき サクッとまとめると おしながき 対象読者&執筆者について
リンク Yahoo!ニュース 尿素水不足、韓国は大騒ぎで日本が静かな理由(THE Korea Economic Daily Global Edition) - Yahoo!ニュース 韓国と産業構造が似ている隣国の日本では尿素水の不足現象が起きていない。主原料であるアンモニアの80%を自国生産する上、ディーゼル車の割合が少ないためという分析だ。 10 users 289 11月、韓国でアドブルー(尿素水)が不足し、物流が大混乱に陥ってるというニュース この記事によれば、日本では尿素の原料となるアンモニアの製造プラントが国内シェアの大半をまかなえるぶんあるため、影響はほとんどないという論調だったのですが(後述しますが実はこの記事には誤りがあったようです)、 そのあと日本でもアドブルーが急速に品薄に Deep Forest @EpisodeNeo 最近のディーゼルエンジンは、排ガスをきれいにしま
主な確率分布の関連図 こんにちは、吉岡(@yoshiokatsuneo)です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
皆さん初めまして! 先日kaggleのARCコンペで2位になったのですが、 2位で終了しました!みなさんお疲れさまでした。コード書くの楽しかった。 pic.twitter.com/dLxl6Mlgoe — Aryyyyy (@aryyyyy13) 2020年5月28日 僕のkaggle歴が浅めということもありtwitterでも結構反響があって、何人かの方にはわざわざDMまで頂いてどんな勉強をしたか聞いていただきました。なるほど需要があるならということで、今までのことをまるっと振り返ってみようと思います。 これからkaggle始める方のためになれば幸いです。 機械学習を始める前のスペック 準備期間:2019年7月〜 kaggle初参加:2019年9月〜 kaggleちゃんと始める:2019年10月〜 DSB参加:2019年10月〜 会社を休職して本格的に勉強開始:2020年1月前半〜 手頃な
個人用メモです。 機械学習は素材集めがとても大変です。 でもこの素材集め、実は無理してやらなくても、元から良質な無料データベースがあったようなのです。 URLはこちら YouTube8-M https://research.google.com/youtube8m/explore.html 提供されているサービスは以下の通り 800万個の動画 19億個のフレーム 4800個の分類 使い方はExploreから画像セットを探し、ダウンロードするだけ。 他の方法も見つけた open images dataset 「すごい神だな」と思ったのは これもう完成されてますよね もちろんこの認識前の画像もセットでダウンロードできます。 Youtube-8Mとは、画像数を取るか、精度で取るか、という違いでしょうか。 他にも良い素材集を教えていただきました (はてなブックマーク情報 @sek_165 さん )
社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 (追記)これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス
メルカリで写真検索とEdge AIチームに所属している澁井(しぶい)です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください! PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください! GitHub:https://github.com/mercari/ml-system-design-pattern GitHub Pages:https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか?」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ!」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記:LightGBMのチューニング実行例追加 以下の記事に、Ligh
Amazon Web Services(AWS)は、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演で、機械学習を用いて自動的にコンピュータがコードレビューをしてくれる「Amazon CodeGuru」を発表しました。 Amazon CodeGuruのコードレビュー機能は、Amazon自身のこれまでの大量のコードと、GitHubで公開されているポピュラーな1万のオープンソースソフトウェアのコードを基に機械学習のトレーニングを行ったモデルを用いて、対象となるコードを解析。 GitHubやCodeCommitのプルリクエストと連係し、問題があるとされた個所には人間に読める形式でコメントをしてくれるというもの。 並列処理や脆弱性の問題あるコードを指摘 例えばAWSにおけるベストプラクティスのコードから外れているものや、並列処理における問題などの指摘。
株式会社デジサク がお送りするプログラミング記事、 今回はAI(機械学習)について扱っていこうと思います。 ※ 無料セミナーも開催中なので、ぜひご覧になってみて下さい。 はじめに kaggleや学習サイトなど誰でも機械学習を学べる機会が増えてきました。 その反面、情報量が多すぎて全体感を掴めていない人が多いと感じています。 そこで、様々な参考書や記事で紹介されている機械学習で使用する手法を全公開しようと思います。 細かなコーディングはリンクを貼っておくので、そちらを参照されてください。 SNS でも色々な情報を発信しているので、記事を読んで良いなと感じて頂けたら Twitterアカウント「Saku731」 もフォロー頂けると嬉しいです。 機械学習の一連手順 まず、機械学習を習得するために必要なスキルは下記です。 実務の場では数段細かな作業が必要になりますが、最初は下記を勉強するだけで十分で
はじめに みなさん競馬はお好きでしょうか? 私は今年から始めた初心者なのですが、様々な情報をかき集めて予想して当てるのは本当に楽しいですね! 最初は予想するだけで楽しかったのですが、『負けたくない』という欲が溢れ出てきてしましました。 そこで、なんか勝てる美味しい方法はないかな〜とネットサーフィンしていたところ、機械学習を用いた競馬予想というのが面白そうだったので、勉強がてら挑戦してみることにしました。 目標 競馬の還元率は70~80%程度らしいので、適当に買っていれば回収率もこのへんに収束しそうです。 なのでとりあえず、出走前に得られるデータを使って、回収率100パーセント以上を目指したいと思います! 設定を決める 一概に競馬予測するといっても、単純に順位を予測するのか、はたまたオッズを考えて賭け方を最適化するのかなど色々とあると思います。また、買う馬券もいろいろな種類があります。 今回
「Amazon Forecast」が正式リリース。過去の時系列データを与えるだけで機械学習による予測をしてくれる、専門知識不要のサービス Amazon Forecastは、なんらかの時系列データおよびその時系列データに影響を与えたであろう周辺情報、例えばある店舗の売り上げの時系列データおよび、その店舗の場所の天候、気温、交通量、曜日や祝祭日など売り上げに影響すると思われる周辺情報を与えると、予測に必要な機械学習モデルの構築、アルゴリズムの選定、モデルの正確性の検証や改善などを全て自動で実行し、売り上げに関する予測のデータを出力してくれるというサービスです。 一般に、機械学習を活用するには、学習用のデータと検証用のデータを用意し、学習用のデータから求められた予測結果を検証用データで検証して正確性を評価し、より適切なモデルやアルゴリズムを選択する、といった作業が発生します。 Amazon Fo
リモートワークで自室の机に向かって座っている時間が多くなり、環境改善と称して色々買っていたらちょっと楽しくなってきちゃったので書きます。 電動スタンディングデスクとかアーロンチェアは出てきません。 照明 まず机上がなんとなく暗い気がしたので正面にダクトレールを足しました。壁に直付けは嫌だったので2x4材用の突っ張りアジャスターを使ってこんな感じで(ロフトなので天井低い)。 この手のアイテム、ラブリコとかディアウォールとかウォリストとかカインズホームのとか、いろいろあるんですが、選んだのはこれ。 平安伸銅工業 LABRICO DIY収納パーツ 2×4アジャスター アイアン 屋外使用可 ブラック IXK-1 平安伸銅工業 Amazon 通常のラブリコはプラスチックで安っぽいのがあんまり好きじゃないんですが、これは艶消しブラック塗装のアイアンでかっこいい。 これで2x4材の突っ張り棒を2本作って
Microsoftは、WindowsやMacにダウンロードして無料で使える「Lobe」を公開している。同ツールでは、ネット接続やログインもなしで機械学習トレーニングができて、利用するデータはプライベートに保たれる。 Microsoftは2018年にLobeを買収し、同ツールをブラッシュアップしてきた。今では、誰でも簡単に機械学習モデルがトレーニングできるように…とのコンセプトを体現したものになっている。写真をインポートすれば自動でトレーニングLobeのWebサイトに掲載の紹介動画を観れば、このツールのシンプルな使い勝手が認識できるだろう。ナビゲーターがPCのWebカメラで水を飲む写真を複数通り撮影。同じく水を飲んでいないシーンを撮影すると、トレーニングが自動で行われる。 ラベルを調整して、Webカメラの前で水を飲むと「水を飲む」動作が検出できるように。また、モデルの修正も簡単にできるようだ
いやギョッとするレベル。 一般的な家電とかじゃなくロボット掃除機も複数台あるし空気清浄機、何なら照明は音声でオンオフできるしエアコンもそんな感じになってる。カーテンまで動く。 大きなテレビやプロジェクター、でっかいスピーカー、パソコンも複数台あり、楽器のキーボードや電子楽器がいっぱい、電子工作に使うという道具類も沢山、工具もあり、謎の計器も多くある。 彼氏の部屋の玄関へ入るときに鍵を出さず普通にガチャっと開け「えっ?」と言ったら「俺の部屋は遠隔で開けられる」って言う。 最初から玄関の電気も付いてて、リビングに入るとブーンとエアコンが動き出すの。 部屋は見渡す限り機械、機械、機械...散乱しているわけでなく機械が整然と部屋中に並んでる光景を見て唖然としてしまった。 私の父も機械類は好きな方だとは思うけどココまでではなかったから同年代の機械好きの男の人ってこんな感じなの!?と驚いてしまった。
(Image by Pixabay) 最近になって、こんな素晴らしい資料が公開されていたことを知りました。 この資料自体は著者のMoe Uchiikeさんが東大での講義に用いられたものだとのことですが、その内容の汎用性の高さから「これは全ての機械学習や統計学を実務で用いる人々が必ず読むべきドキュメント」と言っても過言ではないと思われます。 正直言ってこの資料の完成度が高過ぎるのでこんなところで僕がああだこうだ論じるまでもないと思うので、内容の詳細については皆さんご自身でまずは上記リンクから精読していただければと思います。その上で、今回の記事では「機械学習や統計学を『社会実装』する」ということがどういうことなのかについて、この資料を下敷きとした上でさらに僕自身の経験や見聞を加えて考察したことを綴ってみます。 機械学習や統計学と、社会との「ギャップ」 機械学習や統計学を、社会に「馴染ませる」
日本ディープラーニング協会(JDLA)は3月13日、AIの仕組みやプログラミング言語「Python」の基礎などを学べる講座を、公式サイトで無料公開した。新型コロナウイルスの感染拡大に伴って外出を控えている社会人と学生に、ディープラーニングを学ぶきっかけを提供したいという。無料期間は講座ごとに異なる。 ディープラーニングの基礎知識や、ビジネスでのAI活用、Pythonを使った機械学習などを学べる8種の学習コンテンツを無料で提供。JDLAはディープラーニングを活用できる人材の育成に向けた検定・資格試験を実施しており、今回の施策では「G検定」(ジェネラリスト検定)と「E資格」(エンジニア資格)の試験対策講座なども対象になる。E資格の取得に必要な講座も一部含まれるが、その講座を受講しただけでは受験資格は与えられないという。 関連記事 さくら、Pythonの基礎講座を無償提供 新型コロナで外出控える
2023/10/18 歴史的地名の「行政区画変遷」を大規模オープンデータ化 ~『日本歴史地名大系』を平凡社地図出版との協働により機械可読データとして強化~ 情報・システム研究機構 データサイエンス共同利用基盤施設 人文学オープンデータ共同利用センター(以下ROIS-DS CODH、センター長 北本朝展)と株式会社平凡社地図出版(代表取締役 西田裕一)は、『日本歴史地名大系』の機械可読データ化に向けた協働を推進し、このたび歴史的地名の「行政区画変遷」に関する大規模オープンデータを公開しました。 『日本歴史地名大系』(用語解説1)とは、全国の歴史研究者の協力を得て地名研究・地域史研究の全成果を結集し、株式会社平凡社が25年(1979年~2004年)をかけて出版した50巻51冊の地名辞典です。この地名辞典の編集にかつて関わった人々の全面的な協力を得て、地名辞典の内容の更新や位置情報(緯度経度)の
「役に立たない機械」という、早稲田建築の名物課題がある。学生が全力で役に立たない機械を作るのだ。実は慶応にも同じ課題が出される授業があり、今年、初の早慶戦が行われた。 「役に立たない機械」の早慶戦が開催された 「役に立たない機械」とは、早稲田大学の建築学科の一年生に対する名物課題で、役に立たない機械を作りなさい、というものだ。当サイトでは 2008年の記事 で最初に取材させていただき、その後も毎年紹介している。このところタモリ倶楽部などのテレビ番組でも定期的に取り上げられている。 実は慶應大学にも「役に立たない機械」というお題が使われている授業がある。早稲田で授業を担当していた先生の一人である石川初先生が慶應大学で中西泰人先生と一緒にやっているものだ。 そして今年、初めての「役に立たない機械」早慶戦が行われるにいたった。コロナ禍で学生を励まそうと、早稲田の中谷礼仁先生が中心となって企画した
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く