AI– category –

AIや自然言語処理（NLP）の分野でよく出てくる「トークン」とは何か、初心者にもわかりやすく解説します。 1. トークンとは？ トークン（Token） とは、AIや自然言語処理の中で文章を扱う際に、文章を小さな単位に分割したものです。この「小さな単位」とは、単語、句、文字、または特定の意味を持つまとまり（例えば「New York」などのフレ...

AIにおけるハルシネーション（Hallucination）とは、特に生成型AIモデルや自然言語処理（NLP）モデルにおいて、実際には存在しない情報を生成したり、誤った情報を提示したりする現象を指します。この問題は、AIがユーザーの質問やプロンプトに対して適切なデータがない場合や、学習したデータの中から適切な答えを導き出せない場合に生じま...

はじめに：なぜブログ記事にするのか ChatGPTとの対話は、私たちの日常や仕事の問題を解決する強力なツールです。しかし、なぜこれらの対話をブログ記事として保存し、共有するのでしょうか？疑問があれば、毎回ChatGPTと話せば良いのではないでしょうか？このアプローチには、いくつかの重要な理由があります。 一つは、スピードです。ChatG...

このブログは記事の本文をAIに書かせるという試みなのだが、いざやってみると、これは非常に良いやり方だと思った。基本的には普段調べたことをついでに記事としてまとめさせているのだが、これ、普通に見返す。一度やったことは二度も三度もやるものらしい。たいへん役立っている。 このノウハウを伝えるべく、ChatGPTにまとめ記事を書かせ...

ChatGPTに対して、丁寧な質問と雑な質問では明らかに回答の質が明らかに変わる、だから丁寧に聞いたほうがいい、みたいな記事を時々見る。別にそれが間違っているとは言わないんだけど、僕はけっこう雑に聞くことが多い。なんでかっていうと、常に丁寧な回答を求めているわけではないから。僕だけじゃなくて、みんなそうじゃない？雑な質問は...

AI技術の中でも「自己注意(Self-Attention)」という概念は、自然言語処理や画像処理の分野で重要な役割を果たしています。特に、文章の理解や翻訳、文章生成において、この自己注意がどのように働いているかを理解することは、AIの仕組みを知るうえで非常に役立ちます。この記事では、自己注意とは何か、どうして重要なのか、そして具体例を...

以下のスクリプトは、stable-diffusion-webui-reForegeまたは1111のAPIを使用して、画像を生成しローカルに保存するものです。 全体のコード import requests import json import os import io import base64 from pydantic import BaseModel, Field from PIL import Image, PngImagePlugin from datetime import datetime, timezone, timede...

AIや自然言語処理（NLP）の分野でよく出てくる「トークン」とは何か、初心者にもわかりやすく解説します。 1. トークンとは？ トークン（Token） とは、AIや自然言語処理の中で文章を扱う際に、文章を小さな単位に分割したものです。この「小さな単位」とは、単語、句、文字、または特定の意味を持つまとまり（例えば「New York」などのフレ...

近年のAIの進化において、Googleが開発した「Transformer」という技術が大きな注目を集めています。特に自然言語処理（NLP）の分野では、Transformerの登場が革命的な進歩をもたらしました。この記事では、Transformerとは何か、その仕組み、そしてどのようにAIに使われているのかを初心者にもわかりやすく解説します。 1. Transformerとは？...

最も推奨される方法：公式Windows版をインストール 概要 2024年後半から、OllamaはWindows向けにネイティブ実行可能な公式ビルドを提供している。インストーラ形式で導入でき、追加の仮想環境（WSLやDocker）は不要である。一般ユーザーから開発者まで、すべての用途でこの方法が推奨される。 手順 公式サイトからインストーラをダウンロード...

AIにおけるハルシネーション（Hallucination）とは、特に生成型AIモデルや自然言語処理（NLP）モデルにおいて、実際には存在しない情報を生成したり、誤った情報を提示したりする現象を指します。この問題は、AIがユーザーの質問やプロンプトに対して適切なデータがない場合や、学習したデータの中から適切な答えを導き出せない場合に生じま...

AI分野で近年注目されている技術の一つに「GAN（Generative Adversarial Network）」があります。GANは、その革新性と応用範囲の広さから、AIの発展に大きな影響を与えました。この記事では、GANとは何か、何がすごかったのか、そして現在のAI技術にどのような影響を与えているのかを初心者向けに解説します。 GANとは？ GANとは、Generative...

Whisper.cpp や LLaMA.cpp を動かした経験があるなら、必ず目にする二つの名前がある。ggml と gguf である。これらは似たように見えるが、実際にはまったく異なる役割を持つ。どちらも開発者 Georgi Gerganov 氏によって設計されたものであり、ローカル環境でAIモデルを動かす基盤を支えている。本稿では、両者の設計思想・役割・関係を明確...

ChatGPTに対して、丁寧な質問と雑な質問では明らかに回答の質が明らかに変わる、だから丁寧に聞いたほうがいい、みたいな記事を時々見る。別にそれが間違っているとは言わないんだけど、僕はけっこう雑に聞くことが多い。なんでかっていうと、常に丁寧な回答を求めているわけではないから。僕だけじゃなくて、みんなそうじゃない？雑な質問は...

本記事は、Apple Silicon搭載のMac mini（M2 Pro）を対象とする。GPUアクセラレーションにはMetalを用い、Core MLは使用しない構成である。macOSはSonoma 14以降、XcodeとCommand Line Toolsがインストールされているものとする。 まず、開発環境を確認する。 xcode-select --install brew install cmake ffmpeg gitxcode-select --install b...