csv doctor

---
layout: lab.njk
title_zh: csv doctor
title_ja: csv doctor
title_en: csv doctor
year: 2026
cover: /images/lab/csv-doctor/cover.png
description: "Browser-based CSV cleaner & WebGIS converter. Auto-detects encodings, normalizes Unicode, exports to GeoJSON / CZML / KML. All processing local — files never leave your browser."
url: https://csv-doctor.surreal.tools
embed: https://csv-doctor.surreal.tools
github: https://github.com/lavalse/csv-doctor
workTags:
  - lab
  - software
---

<div lang="zh">

工作里被 CSV 折腾的次数太多了——日文系统导出的 Shift_JIS 编码乱码、坐标列藏在表头深处、看不见的零宽空格混在数据里、重复的列名、各种边角情况。每次都用一两个一次性脚本处理，写完就扔。

于是顺手做了 csv doctor 把这些处理流程固化成一个浏览器工具。

它做的事很具体：

- 自动检测 Shift_JIS / CP932 / UTF-8 编码并修复
- Unicode 标准化、移除不可见字符、清理空白
- 自动识别坐标列（中英日）
- 如果有坐标列，导出 GeoJSON / CZML / KML
- 50 MB / 100,000 行内的文件本地处理

所有处理都在浏览器里完成，文件不会上传到服务器——这点对于工作中处理敏感数据很重要。

技术：React 19 + TypeScript + Vite，[PapaParse](https://www.papaparse.com/) 解析 CSV，[encoding-japanese](https://github.com/polygonplanet/encoding.js) 处理日文编码。

这个工具是用 [Claude Code](https://www.claude.com/product/claude-code) 协作搭起来的早期版本，后续会继续打磨。

</div>

<div lang="ja">

仕事で CSV に振り回されることが多すぎた——日本語システムから書き出された Shift_JIS の文字化け、座標列がヘッダーの深いところに隠れている、見えないゼロ幅スペースがデータに混ざっている、重複する列名、ありとあらゆる細かいケース。毎回一度きりのスクリプトを一、二本書いて、終わったら捨てる。

そこで csv doctor を作って、こうした処理フローを一つのブラウザツールに固定した。

やっていることは具体的に：

- Shift_JIS / CP932 / UTF-8 のエンコーディングを自動判定して修正
- Unicode 正規化、不可視文字の除去、空白のクリーンアップ
- 座標列を自動認識（英語・中国語・日本語）
- 座標列があれば GeoJSON / CZML / KML へエクスポート
- 50 MB / 100,000 行までのファイルをローカル処理

すべての処理はブラウザ内で完結し、ファイルはサーバーにアップロードされない——仕事で機密データを扱うときに重要なポイント。

技術：React 19 + TypeScript + Vite、[PapaParse](https://www.papaparse.com/) で CSV をパース、[encoding-japanese](https://github.com/polygonplanet/encoding.js) で日本語エンコーディングを処理。

このツールは [Claude Code](https://www.claude.com/product/claude-code) との協働で組み上げた早期バージョン。これからも磨いていく。

</div>

<div lang="en">

Got tired of CSV pain at work — Shift_JIS exports from legacy Japanese systems, coordinate columns hiding at random positions, invisible zero-width spaces in cells, duplicate headers, all the edge cases. I'd been writing one-off scripts every time and throwing them away.

So I made csv doctor to encode those flows into one browser tool.

What it does:

- Auto-detects Shift_JIS / CP932 / UTF-8 encodings and fixes them
- Unicode normalization, invisible-character removal, whitespace cleanup
- Auto-detects coordinate columns in English, Chinese, Japanese
- If coordinates are present: exports to GeoJSON / CZML / KML
- Up to 50 MB / 100,000 rows, all local

Everything runs in-browser. Files never leave your machine — important when you're handling sensitive data at work.

Stack: React 19 + TypeScript + Vite, [PapaParse](https://www.papaparse.com/) for CSV, [encoding-japanese](https://github.com/polygonplanet/encoding.js) for Japanese encodings.

Built with [Claude Code](https://www.claude.com/product/claude-code) as an early collaboration. Will keep refining.

</div>