舞台芸術の膨大なアーカイブを、「見つけられて、使えるデータ」へとどう変えていくか。その問いに向き合ったのが、早稲田大学坪内博士記念演劇博物館(通称「演博」=エンパク)と、舞台芸術のアーカイブとデジタルシアター化を進める一般社団法人EPAD、そしてベクターデザインによる三者共同プロジェクト「PADS-X(舞台芸術データサービス検索UX向上プロジェクト)」です。

本記事では、AIという発展途上の技術を使いながらも、学術研究に耐えうる精度を実現し、実務レベルの実装へとたどり着いたこのプロジェクトを支えたベクターデザイン独自の伴走型開発というアプローチを紹介します。既存技術をレゴブロックのように組み合わせる設計と、不確実性を実用性へと変えていくPoC(概念実証)。さらに、ベクターデザインが「長屋のように多様なプロフェッショナルが混ざり合う共創の場」であることも、プロジェクトに大きく貢献しています。

未知の領域をおもしろがり、形にしていく技術開発。そして、エンパクとEPADとの「共同」ならではの成果について、ベクターデザイン代表取締役の梅澤幻と、取締役の松原孝司が語ります。

1. 「つくらない」という選択  変化に強いラッパー設計

プロジェクトの出発点は、演劇のフライヤー(チラシ)からの情報抽出でした。しかしそれは、一般的な文書や書籍とはまったく異なる性質を持っていました。タイポグラフィはデザインの一部として溶け込み、文字は斜めに配置され、レイアウトも一定ではありません。いわば、既存のOCR(光学文字認識)技術では精度が著しく低下する「不定形なデザイン」の集合体です。

「通常、こうした課題を解決しようとすると『独自の学習モデルを構築して精度を上げよう』と考えがちです。しかし、わたしたちはあえて『自社でつくらない』という選択をしました」

そう語るのは、本プロジェクトの技術開発の中心を担う松原です。そして採用したのは、既存の汎用AIサービスを巧みに組み合わせ、その能力を最大限に引き出す「ラッパー(Wrapper)」という設計思想でした。

二段階のAIプロセスとRAGの活用

具体的な処理は、二段階で構成されました。まず「Cloud Vision API」を使用して、画像内の文字を網羅的に「塊」として抽出します。この段階では、文字はまだ脈絡のない羅列に過ぎません。次に、「Gemini」や「ChatGPT」などの大規模言語モデル(LLM)に、その雑多な文字列を入力し、「タイトル」「会場」「期間」などを推定・整形する。つまり、「文字を読み取る力」と「その意味を理解して整理する力」を分離し、それぞれを得意なAIに担わせたのです。

さらに、学術研究において問題となる「ハルシネーション(AIがもっともらしい誤情報を生成する現象)」を抑制するため、役者名や会場名のリストを補助辞書として参照させる「RAG(検索拡張生成)」も導入しました。

こうした仕組みは、いずれも既存の巨大プラットフォームを組み合わせて構築されており、専用サーバーを抱えるコストを抑えながらも、進化し続ける最新技術を取り込むことができます。さらに特定のLLMに依存しないため、別のモデルへの置き換えも可能に。その結果、システム自体が陳腐化しにくい構造となったのです。

映像解析へのチャレンジ 「スライス」と「言語化」で探せる状態へ

プロジェクトの途中で、EPADから「映像の中身も検索可能にしたい」という新たな要望が出されました。演劇映像は2時間を超える長尺が多く、ひとの手でタグを打つには限界があります。そこで、検討を重ねた結果、「YOLO(物体検出)」などの一般的な映像解析ツールでは、今回の目的には届かないと判断されました。必要だったのは、「何が映っているか」ではなく、「どのような情景か」を捉えることだったからです。

「開発当時のLLMには技術的な制約があり、2時間の動画を一度に読み込ませることはできません。そこで、映像を3〜5分単位でスライスし、そこから切り出した静止画をLLMに解析させる手法を採用しました」(松原)

各画像ごとに「このシーンでは何が起きているか(緊迫した対峙シーン、華やかなダンスシーンなど)」を説明させ、それをタイムコード付きのメタデータとして蓄積する。こうして、映像は単なる記録から「検索できる情報」へと変換されたのです。

静止画をどのタイミングで切り出すか。AIの説明が演劇表現として適切か。共同パートナーであるエンパクとEPADとともにくり返し検証が行われました。劇中で使用される楽曲の特定など著作権処理を効率化するための音響イベント(環境音)検出も、合わせて検証されました。

開発の9割はAIが担い、フィードバックを重ねる

PADS-Xの開発現場では、AIは解析だけでなく、「システム開発そのもの」にも活用されています。

「今回のプロジェクトでも、プログラムコードの約9割を生成AIが書いています。重要なのは、AIに適切な指示を出し、出てきたものをレビューして、全体の設計に組み込む『指揮官』をひとが担うことです」(松原)

さらに、エンパク・EPAD・ベクターデザインによる定期的なミーティングでフィードバックが継続的に積み重ねられたことも、開発に大きく貢献しています。検証と修正のサイクルが止まることなく回り続けたことで、プロジェクトは停滞することなく、約1年で実装へとつながったのです。

2. 共同があってこそ生まれたシステム

PADS-Xが他のシステム開発と決定的に異なるのは、エンパクとEPADという「アーカイブのプロ」が、開発の最前線でAIの回答を検証し続けた点です。

「結局、AIは使うひと次第です。その分野に明るいプロがつくるのか、関わりのない誰かがつくるのかで、できあがってくるものは全く違います。AIを使って処理を組み立てるのはエンジニアであるわたしの役割ですが、そこに『演劇の文脈』を流し込むには、エンパクさんやEPADさんの力が不可欠でした」(松原)

AIは「文字」は読めても、その「意味」や「文化」までは理解できません。たとえば、喜劇のフライヤーと歌舞伎のフライヤーでは、表現が大きく異なります。そんな独自の文脈を、現場から提供される生のデータとレビューを通じてAIに学習させていきました。

「エンジニアがたったひとりでつくるレベルでは、この精度には到底到達できませんでした。演劇に精通した方々が関わり、データを細かく検証していただくフローがあったからこそ、学術研究にも耐えうる精度が実現できたのだと思います」(松原)

3.独自のPoC(Proof of Concept/概念実証) 

PADS-Xは「PoC(概念実証)」という方法でプロジェクトが進行しました。それは、「本当にうまくいくのか」を小さな単位で試しながら検証していくアプローチです。

「AIの開発は7割までは比較的スムーズに進みますが、残り3割を詰めるのが非常に難しい。そこでPADS-Xでは、まずPoCをくり返し、トライアンドエラーを重ねながら“使える水準”、つまり8割を目指しました」

梅澤はそう語ります。

この進め方は、エンパクとEPADとの合意のもとで行われました。文化芸術を担うアカデミズムの現場にとって、時間をかけた検証はむしろ自然なプロセスでもあります。

最初から完璧な仕様書を固めるのではなく、Miroなどのプレゼン用ツールで検証結果を共有しながら、「これなら使えるか」「どこを改善すべきか」を三者でくり返し議論する。 その過程で、プロジェクトは「発注側と受注側」という関係を超え、ひとつのチームとして進んでいきました。

「プロジェクトの根幹は、このプロセスそのものです。前例のない課題に挑むとき、『巨額を投じても完成しなかったらどうしよう』『完成しないと報酬が得られない』という不安は常につきまといます。PoCは、そうしたクライアントと開発側双方のリスクを回避できる方法でもあります」(梅澤)

4. 長屋システム「PERCH(パーチ)」に集うクリエイターによる協力体制

ベクターデザインが運営するシェアオフィス「PERCH」には、プログラマーはもちろん、エンジニアやアートディレクター、映像作家、デザイナー、文化芸術プロデューサーなど多様なプロフェッショナルが集っています。ここは単なるシェアオフィスではなく「ライブオフィス(実験場)」にもなっており、日々ベクターデザインのプロジェクトに多角的な視点をもたらしています。

「互助会のようなものですね。偶然なのですが、 気づいたらおもしろい方々が集まり、その能力や才能をパイプとしてつなぎ、仕事として成立するように調整しているのがPERCHです。外部講師を招いた勉強会も定期的に行っていて、それが新しい仕事につながることも少なくありません」(梅澤)

この“場”の存在は、PADS-Xにおいても決定的でした。PERCHには演劇に精通したメンバーもおり、AIの出力をひとの目でスクリーニングする役割を担ったのです。

「エンジニアだけでは見落としてしまう違和感を、専門家の視点で修正していく。文化芸術に関わる多様なネットワークとそうしたプロセスが、結果的にデータベースの精度を大きく引き上げました」(梅澤)

5. 10年を超える縁、そして次なる展開へ

ベクターデザインとエンパクとの縁は、2014年にエンパクで開催された「サミュエル・ベケット展 –ドアはわからないくらいに開いている」まで遡ります。フィジカルな展示のシステム協力からはじまった関係が、「JDTA(Japan Digital Theatre Archives、日本の舞台公演映像の情報検索サイト)」というデジタルアーカイブ構築を経て、今回のPADS-Xへとつながりました。

この長い関係を支えてきたのは、技術は文化をより豊かにするためにあるという姿勢を共有していたこと。そして、このプロジェクトで培われた技術と知見は、いま、あらゆる分野へと広がろうとしています。

「不定形なデータから意味を抽出する『ラッパー設計』と『情景解析』は、さまざまな分野に応用できます。たとえば、美術館の収蔵品や古文書、映画アーカイブなどに制作者や日付といったメタデータを付与すること。放送局に眠る膨大な映像アーカイブに自動でタグ付けするなどです。あるいは監視カメラ映像からの音響イベント(怒鳴り声や異常行動など)の検出、医療や防災分野におけるAIマスキング技術による高度な個人情報保護なども考えられます。これまで『存在するけれど、見つけられない』とあきらめていたデータが、再び息を吹き返すはずです」(松原)

ただ保管されていただけだったデータに、あらためて光を当てること。それが、このプロジェクトの大きな意義のひとつではないでしょうか。

技術を“共につくる”という姿勢について、梅澤は次のように語ります。

「おもしろいと思ったら、まずやってみる。小さく試す。 そうした姿勢で、エンパクさんやEPADさんと伴走してきました。わたしたちは、技術を提供するだけでなく、解決に至るまでの試行錯誤を共にすることを大切にしています。『どうすればいいかわからない』という段階からご相談いただき、一緒に糸口を探っていく。そのプロセスの中から、新しい価値や技術が生まれると考えています」(梅澤)

「何ができるかわからないが、この膨大なデータをなんとかしたい」
「既存のシステムでは限界を感じている」

そうした課題に対して、新たな視点をもたらすのがPADS-Xの事例です。演劇という不定形な領域から生まれたこの試みは、まだ誰も踏み入れていない領域へと、確かに道を拓きはじめています。

取材・文/HATO文化編集部