ステレオカメラを用いた E2E 自動運転モデルの研究

研究室での研究（Astemo株式会社との共同研究） （2024-10 – 現在）

研究テーマ：
認識～制御を単一ネットワークで最適化するエンドツーエンド(E2E)自動運転において、入力センサにステレオカメラを用いたモデルの実現、 センサ構成の変更によるモデルの得失の考察

使用技術：

• 言語：python

• 既存の カメラとLiDARを入力センサとして用いたモデルである TransFuser を改良し、 画像と左右画像の視差から生成した点群を入力として加速度を出力するネットワークへ拡張
• まずは追従走行タスクに限定
• 実車で取得した13 万フレームのデータで学習、オープンループ評価を実施

• 日常走行シナリオで 一定の追従性能 を確認
• 坂道や急激な光の変化などの特殊な状況で性能の低下を確認
• 実環境からのフィードバック前の目標加速度予測では、ほぼ完璧に推論できていることを確認

• 学会発表テーマ：「アダプティブクルーズコントロールにおけるステレオカメラを用いた深層ニューラルネットワークの評価」， 第24回複雑系マイクロシンポジウム(リプリント可)，28，2025年3月， https://cs-micro.github.io/2025/
• 学会発表テーマ：「アダプティブクルーズコントロールにおけるステレオカメラを用いた深層ニューラルネットワークの評価」， 第39回人工知能学会全国大会，3M1-GS-10-03，2025年5月， https://confit.atlas.jp/guide/event/jsai2025/subject/3M1-GS-10-03/advanced

今後の展開：

• シミュレータを用いたクローズドループ評価により、モデルの性能を多角的に検証
• 追従走行以外の運転タスク(レーンキープ、経路生成など)へ段階的に適用範囲を拡大

LLMを用いた薬機法チェック自動化システムの開発

アルバイトでのチーム開発 （2024-1 – 2024-6）

概要：

• 化粧品等の広告が薬機法に違反していないかをチェックする業務について、今まで弁護士が手動で行っていた代わりに、 LLMを用いて自動でチェックできるようなシステムを構築するプロジェクトに参加

自身の担当範囲：

• 自身は広告PDFのOCR処理から各行テキストを大規模言語モデル（LLM）へ送信し、薬機法違反リスクを自動評価する機能のコア部分を開発

使用技術：

• 言語：python

アプローチ：

• 広告PDFからOCR(google vision APIを使用)を用いてテキストを取り出す
• 取り出した各行テキストをLLM APIへ投げて、薬機法違反の可能性をスコアリング
• プロンプトエンジニアリングによる判定精度の向上
• 製品化されたLLMとオープンソースモデルをファインチューニングしたモデルを比較（最終的に製品化されたLLMを使用）

• 納期内にシステム完成。クライアントから一定の評価を獲得
• PMとの二人三脚で、計画→実装→レビューの一連を実践
• 法律事務所や仲介企業、受注企業顧問など多様な立場の間で合意形成を経験

今後の展開：

• 化粧品以外の広告（医薬部外品、健康食品など）への対応

匿名掲示板の開発

個人でのアプリ開発 （2021-10 – 2021-12）

概要：

• 北海道大学生専用の匿名掲示板を開発

使用技術：

• 言語：Ruby
• フレームワーク：Ruby on Rails

アプローチ：

• トピック検索機能を実装し、キーワードによる高速検索を可能に
• コメント数ランキング機能を導入し、人気トピックを可視化

成果・個人の得られた経験：

• 技術課題を自主的に解決する能力と開発推進力を習得
• 得られた経験が現在の研究プログラム実装にも貢献
• ソースコードを公開し、オープンソース開発の基礎を習得

ソースコード：

• github.com/kengo6053/hokumiru

blenderでの背景モデルの制作

個人でのCG制作 （2025-5 – 2025-6）

概要：

• 夕暮れ時の西欧の街中の路地裏の様子をイメージして、背景モデルを制作

使用したソフトウェア：

• Blender

制作期間（制作時間）：

• 2か月（40時間）

工夫したポイント、注力した点など：

• 夕方の日が落ちてきたときの光や、ランタンの光を温かな色で表現
• 木箱や樽，ゴミ箱をちりばめることで、生活感を出し、よりリアルさを演出