Hassas dosyaları ve bunların taahhütlerini Git geçmişinden kaldırın

GitHub'a bir Git projesi koymak istiyorum ama hassas verilerle (capistrano için /config/deploy.rb gibi kullanıcı adları ve şifreler) belirli dosyalar içeriyor.

Bu dosya adlarını .gitignore'a ekleyebileceğimi biliyorum , ancak bu Git'teki geçmişlerini kaldırmaz.

Ayrıca /.git dizinini silerek yeniden başlamak istemiyorum.

Git geçmişinizdeki belirli bir dosyanın tüm izlerini kaldırmanın bir yolu var mı ?

Tüm pratik amaçlar için, endişelenmeniz gereken ilk şey ŞİFRELERİNİZİ DEĞİŞTİRMEK! Git deponuzun tamamen yerel olup olmadığı veya başka bir yerde uzak bir deponuzun olup olmadığı sorunuzdan net değil; uzak ve başkalarından korunmuyorsa bir sorun var. Bunu düzeltmeden önce birisi bu havuzu klonladıysa, yerel makinelerinde şifrelerinizin bir kopyasına sahip olacaklar ve onları geçmişten geçmiş olan "sabit" sürümünüze güncelleme yapmaya zorlamanın hiçbir yolu yoktur. Yapabileceğiniz tek güvenli şey, şifrenizi kullandığınız her yerde başka bir şeye değiştirmektir.

Yoldan çekilince, nasıl düzeltebileceğiniz aşağıda açıklanmıştır. GitHub bu soruyu SSS olarak tam olarak yanıtladı :

Windows kullanıcıları için not : bu komuttaki single'lar yerine çift tırnak (") kullanın

git filter-branch --index-filter \
'git update-index --remove PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA' <introduction-revision-sha1>..HEAD
git push --force --verbose --dry-run
git push --force

Güncelleme 2019:

Bu SSS'deki mevcut kod:

  git filter-branch --force --index-filter \
  "git rm --cached --ignore-unmatch PATH-TO-YOUR-FILE-WITH-SENSITIVE-DATA" \
  --prune-empty --tag-name-filter cat -- --all
  git push --force --verbose --dry-run
  git push --force

Bu kodu GitHub gibi bir uzak depoya ittikten ve diğerlerinin bu uzak depoyu klonladığını, artık geçmişi yeniden yazdığınız bir durumda olduğunuzu unutmayın. Diğerleri bundan sonra son değişikliklerinizi aşağı çekmeye çalıştıklarında, değişikliklerin uygulanamayacağını belirten bir mesaj alırlar çünkü bu bir hızlı ileri değildir.

Bunu düzeltmek için, mevcut depolarını silmeleri ve yeniden klonlamaları veya git-rebase kılavuzundaki "UPSTREAM REBASE'DEN KURTARMA" bölümündeki talimatları izlemeleri gerekir .

İpucu : Yürütgit rebase --interactive

Gelecekte, hassas bilgilerle yanlışlıkla bazı değişiklikler yaparsanız, ancak uzak bir depoya göndermeden önce fark ederseniz , bazı daha kolay düzeltmeler vardır. Son bilgileri hassas bilgileri ekleyecekseniz, hassas bilgileri kaldırabilir ve ardından çalıştırabilirsiniz:

git commit -a --amend

Bu, a ile yapılan tüm dosya kaldırma işlemleri de dahil olmak üzere, yaptığınız tüm yeni değişikliklerle önceki taahhüdü değiştirir git rm. Değişiklikler geçmişte daha ilerideyse, ancak yine de uzak bir depoya aktarılmamışsa, etkileşimli bir rebase yapabilirsiniz:

git rebase -i origin/master

Bu, uzak depodaki son ortak atadan bu yana yaptığınız taahhütleri içeren bir düzenleyici açar. Hassas bilgiler içeren bir taahhüdü temsil eden herhangi bir satırda "seç" i "düzenle" olarak değiştirin ve kaydedin ve çıkın. Git değişiklikleri gözden geçirecek ve sizi aşağıdakileri yapabileceğiniz bir yerde bırakacaktır:

$EDITOR file-to-fix
git commit -a --amend
git rebase --continue

Hassas bilgiler içeren her değişiklik için. Sonunda, şubenize geri döneceksiniz ve yeni değişiklikleri güvenli bir şekilde zorlayabilirsiniz.

Parolalarınızı değiştirmek iyi bir fikirdir, ancak parolaların repo geçmişinizden kaldırılması işlemi için, Git depolarındaki özel verileri açıkça kaldırmak için daha hızlı ve daha basit bir alternatif olan BFG Repo-Cleaner'ı öneriyorum git-filter-branch.

private.txtKaldırmak istediğiniz parolaları vb. Listeleyen bir dosya oluşturun (her satıra bir giriş) ve ardından şu komutu çalıştırın:

$ java -jar bfg.jar  --replace-text private.txt  my-repo.git

Repo geçmişinizde bir eşik boyutu (varsayılan olarak 1 MB) altındaki tüm dosyalar taranır ve eşleşen tüm dizeler ( en son işleminizde bulunmayan) "*** REMOVED ***" dizesiyle değiştirilir. Daha sonra git gcölü verileri temizlemek için kullanabilirsiniz :

$ git gc --prune=now --aggressive

BFG tipik olarak koşudan 10-50x daha hızlıdır git-filter-branchve seçenekler bu iki yaygın kullanım senaryosuna göre basitleştirilmiştir ve uyarlanmıştır:

• Crazy Big Dosyalarını Kaldırma
• Parolaları, Kimlik Bilgilerini ve diğer Özel verileri kaldırma

Tam açıklama: BFG Repo-Cleaner'ın yazarıyım.

GitHub'a ittiyseniz, zorla itme yeterli değildir, havuzu silin veya desteğe başvurun

Daha sonra bir saniye itmeye zorlasanız bile, aşağıda açıklandığı gibi yeterli değildir.

Tek geçerli eylem türleri:

• şifre gibi değiştirilebilir bir kimlik sızıntısı nedir?

  • evet: şifrelerinizi hemen değiştirin ve daha fazla OAuth ve API anahtarı kullanmayı düşünün!

  • hayır (çıplak resimler):

    • depodaki tüm sorunların boşa çıkmasını umursuyor musunuz?

      • hayır: veri havuzunu sil

      • Evet:

        • iletişim desteği
        • sızıntı sizin için çok kritikse, sızıntı olasılığını azaltmak için depo kesintisi almak istediğiniz noktaya kadar, GitHub desteğinin size cevap vermesini beklerken özel yapın

Bir saniye sonra zorlamak yeterli değildir çünkü:

• GitHub uzun süre sarkan taahhütlere devam ediyor.

  Bununla birlikte, GitHub personeli bu tür sarkan taahhütleri silme yetkisine sahiptir.

  Tüm GitHub taahhüt e-postalarını indirmemi istedikleri bir repoya yüklediğimde bu ilk elden yaşadım , bu yüzden yaptım ve yaptılar gc. Ancak verileri içeren çekme isteklerinin silinmesi gerekir : bu repo verilerine bu nedenle ilk yayından kaldırmadan bir yıl sonrasına kadar erişilebilir kaldı.

  Sarkan taahhütler şu şekilde görülebilir:

  • taahhüt web kullanıcı arayüzü: https://github.com/cirosantilli/test-dangling/commit/53df36c09f092bbb59f2faa34eba15cd89ef8e83 ( Wayback makinesi )
  • API: https://api.github.com/repos/cirosantilli/test-dangling/commits/53df36c09f092bbb59f2faa34eba15cd89ef8e83 ( Wayback makinesi )

  Bu taahhütte kaynağı almanın uygun bir yolu, herhangi bir referansı kabul edebilen indirme zip yöntemini kullanmaktır, örneğin: https://github.com/cirosantilli/myrepo/archive/SHA.zip

• Eksik SHA'ları şu şekilde getirmek mümkündür:

  • ile API etkinliklerini listeleme type": "PushEvent". Örneğin benimki: https://api.github.com/users/cirosantilli/events/public ( Wayback makinesi )
  • bazen içeriği kaldırmaya çalışan çekme isteklerinin SHA'larına bakarak

• GitHub verilerini düzenli olarak havuzlayan ve başka bir yerde saklayan http://ghtorrent.org/ ve https://www.githubarchive.org/ gibi sıyırıcılar vardır .

  Gerçek taahhüt farkını kazıyacaklarını bulamadım ve bunun çok fazla veri olması muhtemel değildir, ancak teknik olarak mümkündür ve NSA ve arkadaşlarının sadece insanlarla veya ilgili taahhütlerle bağlantılı şeyleri arşivlemek için filtreleri vardır.

Bununla birlikte, depoyu yalnızca zorla itmek yerine silerseniz, taahhütler hemen API'dan kaybolur ve 404 verir, örneğin https://api.github.com/repos/cirosantilli/test-dangling-delete/commits/8c08448b5fbf0f891696819f3b2b2d653 Bu çalışır aynı ada sahip başka bir havuzu yeniden oluştursanız bile.

Bunu test etmek için bir repo oluşturdum: https://github.com/cirosantilli/test-dangling ve yaptım:

git init
git remote add origin git@github.com:cirosantilli/test-dangling.git

touch a
git add .
git commit -m 0
git push

touch b
git add .
git commit -m 1
git push

touch c
git rm b
git add .
git commit --amend --no-edit
git push -f

Ayrıca bkz: GitHub'dan sarkan bir taahhüt nasıl kaldırılır?

David Underhill'in bu senaryosunu tavsiye ederim , benim için bir cazibe gibi çalıştı.

Arkasında bıraktığı pisliği temizlemek için natacado'nun filtre dalına ek olarak bu komutları ekler:

rm -rf .git/refs/original/
git reflog expire --all
git gc --aggressive --prune

Tam komut dosyası (tümü David Underhill'e aittir)

#!/bin/bash
set -o errexit

# Author: David Underhill
# Script to permanently delete files/folders from your git repository.  To use 
# it, cd to your repository's root and then run the script with a list of paths
# you want to delete, e.g., git-delete-history path1 path2

if [ $# -eq 0 ]; then
    exit 0
fi

# make sure we're at the root of git repo
if [ ! -d .git ]; then
    echo "Error: must run this script from the root of a git repository"
    exit 1
fi

# remove all paths passed as arguments from the history of the repo
files=$@
git filter-branch --index-filter \
"git rm -rf --cached --ignore-unmatch $files" HEAD

# remove the temporary history git-filter-branch
# otherwise leaves behind for a long time
rm -rf .git/refs/original/ && \
git reflog expire --all && \
git gc --aggressive --prune

Son iki komut, aşağıdakine değiştirilirse daha iyi çalışabilir:

git reflog expire --expire=now --all && \
git gc --aggressive --prune=now

Açık olmak gerekirse: Kabul edilen cevap doğrudur. Önce deneyin. Bununla birlikte, özellikle 'ölümcül: kötü revizyon - boş-boş' gibi iğrenç hatalarla karşılaşırsanız veya repounuzun geçmişini gerçekten umursamıyorsanız, bazı kullanım durumları için gereksiz yere karmaşık olabilir.

Bir alternatif:

1. Projenin temel şubesine cd
2. Hassas kodu / dosyayı kaldırın
3. rm -rf .git / # Kodunuzdaki tüm git bilgilerini kaldır
4. Github'a gidin ve deponuzu silin
5. Kodunuzu normalde yaptığınız gibi yeni bir depoya göndermek için bu kılavuzu izleyin - https://help.github.com/articles/adding-an-existing-project-to-github-using-the-command-line/

Bu elbette tüm taahhüt geçmişi dallarını ve hem github deponuzdan hem de yerel git repodan gelen sorunları kaldıracaktır. Bu kabul edilemezse, alternatif bir yaklaşım kullanmanız gerekecektir.

Buna nükleer seçenek deyin.

Kullanabilirsiniz git forget-blob.

Kullanımı oldukça basit git forget-blob file-to-forget. Buradan daha fazla bilgi alabilirsiniz

https://ownyourbits.com/2017/01/18/completely-remove-a-file-from-a-git-repository-with-git-forget-blob/

Geçmişiniz, reflogunuz, etiketleriniz vb. Tüm taahhütlerden kaybolacaktır.

Her seferinde aynı problemle karşılaşıyorum ve her zaman bu gönderiye ve diğerlerine geri dönmem gerektiğinde, bu yüzden süreci otomatikleştirdim.

Stack Overflow katılımcılarına bunu bir araya getirmeme olanak tanıyan krediler

İşte benim çözümüm pencerelerde

git filter-branch - ağaç-filtre "rm -f 'filedir / dosyaadı'" KAFA

git push - kuvvet

yolun doğru olduğundan emin olun, aksi takdirde çalışmaz

Umut ediyorum bu yardım eder

Filtre kolu kullanın :

git filter-branch --force --index-filter 'git rm --cached --ignore-unmatch *file_path_relative_to_git_repo*' --prune-empty --tag-name-filter cat -- --all

git push origin *branch_name* -f

Bunu bugüne kadar birkaç kez yapmak zorunda kaldım. Bunun aynı anda yalnızca 1 dosyada çalıştığını unutmayın.

1. Bir dosyayı değiştiren tüm taahhütlerin bir listesini alın. En alttaki ilk taahhüt:

   git log --pretty=oneline --branches -- pathToFile

2. Dosyayı geçmişten kaldırmak için, ilk komut sha1'i ve önceki komuttan dosyaya giden yolu kullanın ve bu komutla doldurun:

   git filter-branch --index-filter 'git rm --cached --ignore-unmatch <path-to-file>' -- <sha1-where-the-file-was-first-added>..

Yani, şuna benzer:

git rm --cached /config/deploy.rb
echo /config/deploy.rb >> .gitignore

İzlenen dosya için önbelleği git'ten kaldır ve bu dosyayı .gitignorelisteye ekle

Benim android projede app / src / main / res / değerleri / klasöründe ayrılmış xml dosyası olarak admob_keys.xml vardı . Bu hassas dosyayı kaldırmak için komut dosyasının altında kullandım ve mükemmel çalıştım.

git filter-branch --force --index-filter \
'git rm --cached --ignore-unmatch  app/src/main/res/values/admob_keys.xml' \
--prune-empty --tag-name-filter cat -- --all