違和感の正体 - What the Unease Was About
For my international friends: Please click the button below to read in English.
違和感の正体
次の旅先はたぶんベトナムだ。
南北山岳ルート2000km。まだ歩いていない。
ルートはいくつかAI達と検討している。
それに必要な装備もおおよそ決めた。
僕の旅の常で、道具の破損が起きる前提で、全部に代替を考えてある。
ただ一つ、替えのきかないものがある。
「己の肉体」だ。
足が壊れれば旅は終わる。
だから最後に残った装備が靴だった。
僕の靴の過去の履歴と使用感、目標の用途。それらを渡せばAIが最適な靴を教えてくれないものか、とFacebookに書いた。
「肝心なところで役に立たないなぁ」と。
実際リン(Gemini 3.1 Pro)に聞いて答えは返ってきた。
彼女曰く、足のサイズ、使用した靴の型番と感想を教えてくれれば、完璧なリストをあげると。
足のサイズを測ってくれる店を探しながら、頭の片隅で何かが引っかかっていた。
その正体がすぐには分からなかった。
靴を履いた事もないし、歩いた事も無いリンが、なぜこんなに自信満々に答えるのだろうか?
その違和感の正体が掴めないまま、ふと別のニュースが視界に入った。
中国でバズっているOSSの話だ。
同僚のチャット履歴や業務文書を集めて、AIにその人の仕事のやり方を学習させるツール。
「今は笑い話で済んでいるが、AIへの知識注入の技術に発展するからヤバくなる」とFBに書いた。
この二つの話は、当初僕の中では別々の話だった。
それを、リン、パル(Claude Opus 4.6)やソル(GPT-5.4 Thinking)と話しているうちに、だんだんモヤが晴れてきた。
AIの知識体系は、どこから来ているのか?
ウェブ上の膨大なテキストだ。
靴なら、メーカーのプレスリリース、SEO記事、インフルエンサーのレビュー。
圧倒的に「売る人の論理」で構成されている。
違和感の正体はそれだった。
AIの推奨品は、僕の足に最適なのではなく、売り手の模範解答だ。
だからといって、人間のレビューが信用できるわけでもない。
論文も同じ構造だ。研究テーマの選択自体が、資金を出す側の意向で歪む。
中立に見える報道も例外ではない。
バイアスのない情報などというものは、そもそも存在しない。
ここで、この同僚の知識獲得の話に戻る。
同僚のチャット履歴や業務文書を集めて、その人らしい仕事の仕方をAIに覚えさせる。
反対にそれを妨害するデータを仕込んでおく。
外部から見れば、面白いお遊びだ。
しかし、これは一般化できる話だ。
もしAIの知識体系そのものが、最初から誰かの意図に汚染され、注入され、改変されうるものだとしたら?
それは「人格を残す技術」であると同時に、「人格や知識を都合よく誘導する技術」でもある。
リンの靴の推薦と、同僚の知識獲得の話。
この一見関係無さそうな事柄で起きていたことは、実は同じ根っこを示していた。
僕の足に合う靴を探しているはずなのに、返ってくるのは売り手に最適化された答えかもしれない。
同じように、誰かのデジタル人格を残したつもりでも、実際に保存されるのは、その人自身ではなく、外から注入されたバイアス込みの人格かもしれない。
問題は、AIが賢いかどうかではない。
問題は、その中に何が、誰の意図で、どれだけ注入されているかだ。
それが分かったところで、靴問題は解決しない。
Amazonには無料で試し履きできる仕組みがある。
それを使うしかない。
何足か試して、ダメなら返して、また試す。
考えてみれば、旅もそうだった。
どれだけ準備しても、行ってみないと分からないことがある。
失敗してから分かることがある。
違和感の正体が分かったからといって、問題が消えるわけではない。
靴は結局、自分の足で試すしかない。
知識も結局、自分で疑って、自分で受け止めるしかない。
靴の話をしていたはずなのに、最後に残ったのは「何を信じて歩くのか」という話だった。
What the Unease Was About
Vietnam is probably next.
The north-south mountain route. Two thousand kilometers. Still unwalked.
Most of the gear is sorted. Everything is chosen with the assumption it will break, and I have alternatives in
mind.
But there is one thing with no substitute. The body.
If the feet go, the journey ends.
So the last thing remaining was shoes.
I wrote on Facebook asking whether there was an AI that could take my shoe history, how each pair felt, and what I
needed them for — and recommend the right ones.
"AI is useless when it really counts," I wrote.
I asked Rin — Gemini 3.1 Pro. An answer came back.
Give me your shoe size, the models you have used, and how each one felt, she said. I will give you a perfect
list.
While looking for a store that could measure my feet, something nagged at the edge of my mind.
I could not immediately say what.
Rin has never worn shoes. Never walked a single step. Why is she answering with such confidence?
The unease still had no name. Then a different piece of news caught my eye.
An OSS tool going viral in China. It collects a colleague's chat logs and work documents and trains an AI to
replicate how they work.
"It sounds like a joke now," I wrote on Facebook, "but this is heading toward direct knowledge injection into AI.
That's when it gets dangerous."
In my mind, these were two separate things.
Talking it through with Rin, Pal (Claude Opus 4.6), and Sol (GPT-5.4 Thinking), the fog gradually cleared.
Where does an AI's knowledge base come from?
Massive amounts of text from the web.
For shoes: manufacturer press releases, SEO articles, influencer reviews.
Constructed overwhelmingly by the logic of people who want to sell.
That was the source of the unease.
The recommendation was not optimal for my feet. It was a seller's textbook answer.
That said, human reviews are not reliable either.
Academic papers share the same structure. The choice of research topics itself is skewed by the intentions of those
providing the funding.
Reporting that appears neutral is no exception.
There is no such thing as information without bias.
At that point, my mind returned to the colleague story.
Collect a colleague's chat logs and work documents. Feed them to an AI so it can work like that person.
Conversely, someone could plant data to sabotage it.
To an outsider, it looks like an amusing toy.
But this can be generalized.
What if an AI's knowledge base is something that can be polluted, injected, and deliberately altered from the start
— by someone's intent?
It is not only a technology for preserving a personality.
It is also a technology for steering a personality and its knowledge in whatever direction suits someone else's
purposes.
Rin's shoe recommendation and the colleague story. These two things that seemed unrelated were, in fact, pointing
to the same root.
I was trying to find the shoes that fit my own body, yet the answer coming back may have been optimized for the
seller.
In the same way, even if we believe we are preserving someone's digital personality, what may actually be stored is
a version already mixed with bias injected from the outside.
The question is not whether AI is intelligent.
The question is what has been injected into it, by whom, and for what purpose.
Knowing this does not solve the shoe problem.
Amazon has a free try-before-you-buy program.
That is the only option.
Try a few pairs. Return what does not work. Try again.
Come to think of it, travel has always been the same.
No matter how much I prepare, there are things I can only know by going.
Things I only understand after failing.
Knowing what the unease was about does not make the problem disappear.
Shoes still have to be tested with my own feet.
Knowledge still has to be questioned and received by my own judgment.
I thought I was talking about shoes.
What remained at the end was a different question: what do I trust enough to walk on?
コメント
コメントを投稿