DataSango クレンジングルール一覧

「ルール追加」ダイアログで選択できるクレンジングルールを、種類ごとに何をするか・Before→Afterの例つきで説明します。ルール作成そのものの操作手順は「09. クレンジングルールを作成する」を参照してください。

1. ルールの選び方

「ルール追加」ダイアログでは、対象フィールドを選ぶと、そのフィールドのタイプに応じて設定できるルールだけが一覧に表示されます。たとえば名前フィールド（短文テキスト）を選ぶと「制御文字・不可視文字除去」から「連続スペース→全角1つに圧縮」までが、電話フィールドを選ぶと電話専用の3ルールだけが表示されます。

フィールドタイプ別にどのルールが表示されるかは次のとおりです（●=表示される）。

制御文字・不可視文字除去 — 対応フィールド: 短文, 長文, リッチ, メール, 電話, URL, 住所
Unicode互換正規化(NFKC) — 対応フィールド: 短文, 長文, リッチ, メール, URL, 住所
前後空白除去(TRIM) — 対応フィールド: 短文, 長文, リッチ, メール, 電話, URL, 住所
改行を半角スペースへ変換 — 対応フィールド: 短文, 長文, リッチ, 住所
空白完全除去 — 対応フィールド: メール, 電話, URL
全角スペース→半角スペース — 対応フィールド: 短文, 長文, リッチ, 住所
半角スペース→全角スペース — 対応フィールド: 短文, 長文, リッチ, 住所
連続スペース→半角1つに圧縮 — 対応フィールド: 短文, 長文, リッチ, 住所
連続スペース→全角1つに圧縮 — 対応フィールド: 短文, 長文, リッチ, 住所
全角英数字→半角英数 — 対応フィールド: 短文, 長文, メール, 電話, URL, 住所
半角英数字→全角英数 — 対応フィールド: 短文, 長文
半角カナ→全角カナ — 対応フィールド: 短文, 長文, リッチ, 住所
全角カナ→半角カナ — 対応フィールド: 短文, 長文, リッチ, 住所
ハイフン類を「-」に統一 — 対応フィールド: 短文, 長文, メール, 電話, 住所
括弧類を半角に統一 — 対応フィールド: 短文, 長文, 住所
波ダッシュ類を「~」に統一 — 対応フィールド: 短文, 長文
敬称削除 — 対応フィールド: 短文, 長文
法人格略記を正式化 — 対応フィールド: 短文, 長文
法人格を除去 — 対応フィールド: 短文, 長文
電話（ハイフン区切り／数字のみ／E.164） — 対応フィールド: 電話
メール正規化 — 対応フィールド: メール
URL（正規化／UTM除去／トラッキング除去／host小文字化） — 対応フィールド: URL
住所（都道府県正規化／郵便番号整形／番地半角化／ビル名分離） — 対応フィールド: 住所

数値系（桁区切り除去、通貨記号除去など）と真偽値系（true/false統一）のルールは、上表の7タイプとは別のフィールドタイプ（数値・通貨・パーセンテージ・真偽値・単一選択）に適用されます。詳細は§10・§12を参照してください。

タイプ別のルール件数は、短文・長文が最も多く各18件、次いで住所17件、URL 9件、電話8件、メール7件、リッチ10件です。

2. テキスト共通

すべてのテキスト系フィールドに共通する、表記の土台を整えるルールです。

制御文字・不可視文字除去

タブ・制御文字とゼロ幅スペース等の不可視文字を削除

Hello[TAB]World → HelloWorld（タブは削除。スペースには置換されない点に注意）

Unicode互換正規化(NFKC)

全角英数字・記号・㈱等をUnicode標準の互換形式へ一括正規化

ＡＢＣ１２３ → ABC123、㈱ → (株)

前後空白除去(TRIM)

先頭・末尾の空白（全角含む）を除去。中間の空白は残す

　　ABC　　 → ABC

改行を半角スペースへ変換

改行（連続改行は1つ扱い）を半角スペース1個に置換し前後をTRIM

ABC[改行]DEF → ABC DEF

3. 空白

空白完全除去

すべての空白（半角・全角・タブ）を削除

090 1234 5678 → 09012345678

全角スペース→半角スペース

全角スペースだけを半角に置換（個数は維持）

ABC　DEF → ABC DEF

半角スペース→全角スペース

半角スペースだけを全角に置換

ABC DEF → ABC　DEF

連続スペース→半角1つに圧縮

連続する空白（全角半角混在OK）を半角スペース1個にまとめる

ABC DEF → ABC DEF

連続スペース→全角1つに圧縮

連続する空白を全角スペース1個にまとめる

ABC　　DEF → ABC　DEF

「全角スペース→半角スペース」と「半角スペース→全角スペース」、「連続スペース→半角1つに圧縮」と「連続スペース→全角1つに圧縮」は、それぞれ同じフィールドに同時設定できません。

4. 英数字

全角英数字→半角英数

全角の英字・数字のみを半角化。記号（＠や－等）は対象外

Ｔａｒｏ＠ｅｘａｍｐｌｅ → Taro＠example（英字は半角化されるが＠は残る）

半角英数字→全角英数

半角の英字・数字のみを全角化。記号は対象外

ABC123 → ＡＢＣ１２３

全角＠入りメールアドレスを直したい場合は、「全角英数字→半角英数」ではなく「Unicode互換正規化(NFKC)」の方が適切です。メールフィールドのデフォルトルールもこの理由でNFKCを使っています。

5. カナ

半角カナ→全角カナ

半角カナを全角に変換。濁点・半濁点は1文字に合成（ｶﾞ→ガ）。カナ以外には触れない

ｱｲｳｴｵ → アイウエオ、ﾃﾞｰﾀ → データ（データにはならない）

全角カナ→半角カナ

全角カナを半角に変換（ガ→ｶﾞの2文字分解）

アイウエオ → ｱｲｳｴｵ

6. 記号

ハイフン類を「-」に統一

全角ハイフン・長音記号・ダッシュ類を半角-に統一。カタカナの長音「ー」も変換対象なので社名等では注意

03－1234－5678 → 03-1234-5678

括弧類を半角に統一

全角括弧（）【】「」『』〔〕｛｝を半角の() [] {}に統一

（株）テスト → (株)テスト、「注」 → [注]

波ダッシュ類を「~」に統一

〜～ ∼ ≂ 〰を半角~に統一

東京〜大阪 → 東京~大阪

「ハイフン類を-に統一」はカタカナ社名（例: データー → デ-タ-）に適用すると崩れます。会社名フィールドに設定する場合は注意が必要です。

7. 名前・法人格

敬称削除

末尾の敬称（様・氏・さん・くん・君・ちゃん・先生・殿・御中・Mr./Ms./Mrs./Dr./Prof.）を削除。先頭や中間の敬称は残る

田中様 → 田中

法人格略記を正式化

（株）(株)㈱→株式会社、（有）㈲→有限会社、（合）→合同会社、（資）→合資会社、（名）→合名会社に展開（位置は問わない）

（株）テスト → 株式会社テスト

法人格を除去

株式会社・有限会社・合同会社・合資会社・合名会社・各種法人（社団/財団/医療/学校/社会福祉/宗教）・略記（株）㈱等をすべて削除

株式会社テスト → テスト

「法人格略記を正式化」と「法人格を除去」は同じフィールドに同時設定できません。

8. 電話（電話番号フィールドのみ）

国内ハイフン区切り

数字だけを抽出して再整形。11桁=3-4-4、10桁=3-3-4（03/06始まりは2-4-4）。それ以外の桁数は変更しない

0312345678 → 03-1234-5678、09012345678 → 090-1234-5678

国内数字のみ

全角も半角化した上で数字以外をすべて削除

03-1234-5678 → 0312345678

E.164（国際形式）

0始まり10/11桁なら先頭0を+81に置換。条件を満たさなければ元の値のまま

03-1234-5678 → +81312345678

3つとも同じフィールドに同時設定できません（1つのみ選べます）。

9. メール（メールフィールドのみ）

メール正規化

前後空白除去＋全体を小文字化。[email protected]形式でない場合は「無効なメールアドレス形式」の警告を付けて無効フラグを立てる

[email protected] → [email protected]

10. URL（URLフィールドのみ）

URL正規化

スキーム部分（http/HTTPS等）だけを小文字化。スキームがない値には何もしない

HTTP://Example.COM/Path → http://Example.COM/Path（ホストは別ルールの担当）

UTMパラメータ除去

クエリのうちutm_で始まるパラメータを削除

example.com/?utm_source=x&id=1 → example.com/?id=1

トラッキングパラメータ除去

gclid, fbclid, msclkid, yclid, ttclid, twclid, li_fat_id, _ga, _gl, mc_cid, mc_eid, ref, ref_src, igshid を削除

example.com/?fbclid=xxx&p=1 → example.com/?p=1

URL host小文字化

ホスト名（ドメイン部分）だけを小文字化。パスの大文字は維持

https://EXAMPLE.COM/Path → https://example.com/Path

現状のURL系ルールは、スキーム小文字化・UTM除去・特定トラッキングパラメータ除去・ホスト小文字化までで、クエリパラメータの全除去やアンカー（#以降）の除去はしていません。

11. 数値

桁区切り(カンマ)除去

カンマをすべて削除

1,234,567 → 1234567

通貨記号除去

¥ ￥ $ € £ ₩ ₪ ฿ ₫ を削除しTRIM

¥1,234 → 1,234

全角数字→半角数字

全角数字のみ半角化

１２３４ → 1234

%除去(内部小数化)

末尾が%なら数値を100で割った小数にする

75% → 0.75

通貨小数桁ガード

通貨別の小数桁に四捨五入（JPY=0桁、USD/EUR等=2桁）

1234.567 →（USD）1234.57／（JPY）1235

12. 住所（住所フィールドのみ＝実質Pipedrive接続時）

都道府県名正規化

先頭の都道府県略称をフル表記に（東京→東京都、大阪→大阪府等）

東京渋谷区 → 東京都渋谷区

郵便番号整形

数字だけ抽出し、ちょうど7桁のときだけXXX-XXXX形式に

1234567 → 123-4567、12-34567 → 123-4567

番地数字を半角化

全角数字のみ半角化

渋谷区１-２-３ → 渋谷区1-2-3（ハイフンは別ルールの担当）

ビル名・部屋番号を分離

末尾の「〜ビル/タワー/マンション/コーポ等＋部屋番号」や「N階/NF/N号室」を除去（別カラム保存ではなく削除）

渋谷区1-2-3 ○○ビル101 → 渋谷区1-2-3

13. 真偽値

真偽値辞書統一

yes/1/on/はい → true、no/0/off/いいえ → falseに統一（大文字小文字不問）。辞書にない値はそのまま

はい → true、OFF → false、多分 → 多分

14. CRM別の制約

同期先CRMによって、フィールドタイプの対応状況が異なります。ルールの表示可否はこの型判定に依存します。

短文テキスト — Pipedrive: varchar, autocomplete / HubSpot: string / Salesforce: string
長文テキスト — Pipedrive: text / HubSpot: textarea / Salesforce: textarea
リッチテキスト — Pipedrive: — / HubSpot: richtext / Salesforce: richtext, richtextarea
メール — Pipedrive: email / HubSpot: email / Salesforce: email
電話 — Pipedrive: phone / HubSpot: phonenumber / Salesforce: phone
URL — Pipedrive: url / HubSpot: マッピングなし / Salesforce: url
住所 — Pipedrive: address / HubSpot: — / Salesforce: —
HubSpot接続時はURL型フィールドが存在しないため、URL系ルールは実質表示されません。
住所ネイティブ型はPipedriveのみです。 HubSpot/Salesforceでは住所は短文テキスト扱いとなり、住所系ルール（都道府県正規化等）は使えません。

15. 実務上の注意点

複数ルールを同一フィールドに設定した場合はチェーン適用されます（追加した順に順次変換）。クレンジング候補の判定は「チェーン適用後の最終結果が現在値と異なるか」で行われます。
同時に設定できない組み合わせ: 「全角スペース→半角スペース」⇔「半角スペース→全角スペース」、「連続スペース→半角1つに圧縮」⇔「連続スペース→全角1つに圧縮」、電話の3ルール同士、「法人格略記を正式化」⇔「法人格を除去」
「デフォルトを適用」機能では、氏名＝「全角スペース→半角スペース」→「前後空白除去(TRIM)」→「連続スペース→半角1つに圧縮」、メール＝「ハイフン類を-に統一」→「前後空白除去(TRIM)」→「全角英数字→半角英数」、会社名＝「前後空白除去(TRIM)」→「全角スペース→半角スペース」→「連続スペース→半角1つに圧縮」→「半角カナ→全角カナ」→「全角英数字→半角英数」→「敬称削除」→「法人格略記を正式化」のチェーンが自動で入ります（例: 　　ﾃｽﾄ　（株）　様 → テスト株式会社）。このプリセット機能は「ルール追加」ダイアログとは別の操作です。